JP5259449B2 - 画像処理装置及び方法並びにプログラム - Google Patents

Description

本発明は、入力画像信号に対して孤立点の補正を行うのに好適な画像処理装置及び方法並びにプログラムに関するものである。

従来、映像信号の欠陥を検出する方法として、同色の画素情報に基づいて欠陥画素を検出し、補正する方法が提案されている。例えば、特開２００１−３０７０７９号公報には、同色の近傍画素を用いて注目画素の欠陥を検出する方法が開示されている。また、特開２００２−１０２７４号公報には、隣接する３画素から色成分を抽出し、斜め方向の差の程度から欠陥を検出補正する方法が開示されている。

特開２００１−３０７０７９号公報 特開２００２−１０２７４号公報

しかしながら、特開２００１−３０７０７９号公報に開示されている方法では、以下のような理由により、欠陥画素の検出精度が低くなるという問題があった。
例えば、単板Ｂａｙｅｒ型の色フィルタから入力された映像信号の場合、出現頻度の低い赤色、青色については、２画素おきに同色の画素が配列されることとなる。従って、赤色、青色については、２画素隣という離れた位置の画素を用いて欠陥検出をすることとなり、欠陥画素の検出を精度良く行えなかった。

本発明は、上記問題を解決するためになされたもので、欠陥画素の検出補正の精度を向上させることのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を提供する。
本発明の第一の態様は、他の色信号とは出現頻度の異なる色信号を含む複数の色信号からなる入力画像信号または該入力画像信号に含まれる出現頻度の最も多い色信号である主色信号を用いてエッジを検出するエッジ検出手段と、前記主色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する主色パラメータ値を算出する主色パラメータ算出手段と、前記主色信号以外の色信号である副色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する副色パラメータ値を算出する副色パラメータ算出手段と、前記主色パラメータ算出手段によって算出された主色パラメータ値に応じて前記注目画素の補正を行う主色孤立点補正手段と、前記副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの情報とを用いて、前記注目画素が孤立点か否かを判定する副色孤立点判定手段と、前記副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの情報とに基づいて、前記副色孤立点判定手段によって孤立点と判定された前記注目画素の補正を行う副色孤立点補正手段と、を備え、前記エッジ検出手段が、前記主色孤立点補正手段によって補正された前記主色信号を用いてエッジ検出を行う画像処理装置である。

本発明の第二の態様は、他の色信号とは出現頻度の異なる色信号を含む複数の色信号からなる入力画像信号または該入力画像信号に含まれる出現頻度の最も多い色信号である主色信号を用いてエッジを検出するエッジ検出過程と、前記主色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する主色パラメータ値を算出する主色パラメータ算出過程と、前記主色信号以外の色信号である副色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する副色パラメータ値を算出する副色パラメータ算出過程と、前記主色パラメータ算出手段によって算出された主色パラメータ値に応じて前記注目画素の補正を行う主色孤立点補正過程と、前記副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの情報とを用いて、前記注目画素が孤立点か否かを判定する副色孤立点判定過程と、前記副色パラメータ算出過程において算出された副色パラメータ値と前記エッジ検出過程において検出されたエッジの情報に基づいて、前記副色孤立点判定手段によって孤立点と判定された前記注目画素の補正を行う副色孤立点補正過程と、を備え、前記エッジ検出過程が、前記主色孤立点補正過程によって補正された前記主色信号を用いてエッジ検出を行う画像処理方法である。

本発明の第三の態様は、他の色信号とは出現頻度の異なる色信号を含む複数の色信号からなる入力画像信号または該入力画像信号に含まれる出現頻度の最も多い色信号である主色信号を用いてエッジを検出するエッジ検出処理と、前記主色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する主色パラメータ値を算出する主色パラメータ算出処理と、前記主色信号以外の色信号である副色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する副色パラメータ値を算出する副色パラメータ算出処理と、前記主色パラメータ算出手段によって算出された主色パラメータ値に応じて前記注目画素の補正を行う主色孤立点補正処理と、前記副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの情報とを用いて、前記注目画素が孤立点か否かを判定する副色孤立点判定処理と、前記副色パラメータ算出処理において算出された副色パラメータ値と前記エッジ検出処理において検出されたエッジの情報に基づいて、前記副色孤立点判定手段によって孤立点と判定された前記注目画素の補正を行う副色孤立点補正処理と、ををコンピュータに実行させ、前記エッジ検出処理において、前記主色孤立点補正処理によって補正された前記主色信号を用いてエッジ検出を行う画像処理プログラムである。

本発明の第四の態様は、撮像部と、前記撮像部によって取得された画像信号に対して画像処理を行う、上記に記載の画像処理装置とを有することを特徴とする撮像システムである。

本発明は、欠陥画素の検出補正の精度を向上させることができるという効果を奏する。

本発明の第１の実施形態に係る画像処理装置の構成例を示した図である。 Ｂａｙｅｒ配列の画素を示した図である。 斜め方向のラプラシアンフィルタの一例を示した図である。 本発明の第１の実施形態に係る画像処理装置の動作フローを示した図である。 図４の主色パラメータ算出処理の動作フローを示した図である。 図４の主色孤立点判定処理の動作フローを示した図である。 図４の主色孤立点補正処理の動作フローを示した図である。 図４の主色エッジ検出処理の動作フローを示した図である。 図４の副色パラメータ算出処理の動作フローを示した図である。 図４の副色孤立点判定処理の動作フローを示した図である。 図４の副色孤立点補正処理の動作フローを示した図である。 本発明の第２の実施形態に係る画像処理装置の構成例を示した図である。 ２板式の主色の画素配列を示した図である。 ２板式の副色の画素配列を示した図である。 本発明の第３の実施形態における画像処理装置で用いられる上下左右斜め方向のラプラシアンフィルタの一例を示した図である。

以下、本発明に係る画像処理装置の各実施形態について、図面を参照して説明する。

〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理装置の一構成例を示したブロック図である。図１において、入力部１０１はバッファ１０２に接続されている。バッファ１０２は主色パラメータ算出部１０３及び副色パラメータ算出部１０４に接続されている。主色パラメータ算出部１０３は主色孤立点判定部１０５に接続されている。主色孤立点判定部１０５は、主色孤立点補正部１０６及び主色孤立点バッファ１０７に接続されている。主色孤立点補正部１０６は、主色エッジ検出部１０８及び主色孤立点補正バッファ１０９に接続されている。主色孤立点バッファ１０７は、出力部１１４に接続されている。主色孤立点補正バッファ１０９は、出力部１１４に接続されている。主色エッジ検出部１０８は副色孤立点判定部１１０に接続されている。

副色パラメータ算出部１０４は副色孤立点判定部１１０に接続されている。副色孤立点判定部１１０は副色孤立点補正部１１１と副色孤立点バッファ１１２に接続されている。副色孤立点補正部１１１は副色孤立点補正バッファ１１３に接続されている。副色孤立点バッファ１１２は出力部１１４に接続されている。副色孤立点補正バッファ１１３は出力部１１４に接続されている。

また、マイクロコンピュータなどの制御部１１５は、入力部１０１、主色パラメータ算出部１０３、副色パラメータ算出部１０４、主色孤立点判定部１０５、主色孤立点補正部１０６、主色エッジ検出部１０８、副色孤立点判定部１１０、副色孤立点補正部１１１、出力部１１４と双方向に接続されており、前記各部は、制御部１１５からの制御指令に基づいて作動する。制御部１１５は、電源のオン／オフ、閾値設定の切り替えをユーザが入力するための外部インターフェース部（以下「外部Ｉ／Ｆ部」という。）１１６に接続されている。

上記バッファ１０２には、入力部１０１から入力された画像信号が格納される。本実施形態において、入力される画像信号はＢａｙｅｒ配列の赤（Ｒ）、緑（Ｇ）、青（Ｂ）色の単板画像であり、以下、赤色や青色の倍の出現頻度である緑色を主色、それ以外である赤色、青色を副色と定義する。

主色パラメータ算出部１０３は、バッファ１０２から緑色画像信号を読み出し、読み出した緑色画像信号を元に主色パラメータ値を画素毎に算出し、この主色パラメータ値を主色孤立点判定部１０５に出力する。

例えば、主色パラメータ算出手段１０３は、注目画素と、その周辺画素との画素値の差分の絶対値を算出し、該絶対値のうち、値の小さい方から前記周辺画素の半分の個数の絶対値を選定し、選定した前記絶対値を積算することにより、主色パラメータ値を算出する。

以下、上記主色パラメータ値の算出方法について、図２を用いて具体的に説明する。図２はＢａｙｅｒ配列の画素を示した図である。まず、注目画素と同色の周辺画素を選択する。周辺画素の選択は、注目画素と斜めに隣接する４画素及び注目画素の上下左右に1画素おいた４画素の計８画素とする。図２において、注目画素をＧ３４とした場合、周辺画素として、Ｇ１４、Ｇ２３、Ｇ２５、Ｇ３２、Ｇ３６、Ｇ４３、Ｇ４５、Ｇ５４が選定される。

続いて、選定した各周辺画素と注目画素との画素値の差分の絶対値を算出する。これにより、８つの差分の絶対値が算出される。そして、８つの差分の絶対値のうち、個数の半分に当たる４つの差分の絶対値を小さい方から抽出し、抽出した４つの差分の絶対値を積算する。積算した値が注目画素の主色パラメータ値となる。

なお、上記算出方法において、周辺画素の選定方法については任意であり、例えば、注目画素の上下左右斜めに１画素おいた８画素を周辺画素として選定することも可能である。この場合、注目画素をＧ３４とすれば、Ｇ１２、Ｇ１４、Ｇ１６、Ｇ３２、Ｇ３６、Ｇ５２、Ｇ５４、Ｇ５６が周辺画素として選定されることとなる。
また、主色パラメータ値の算出方法については、上記例に限定されない。例えば、主色パラメータ算出手段１０３は、周辺画素の平均値を算出し、前記平均値と注目画素との差の絶対値を注目画素の主色パラメータ値としてもよい。

主色孤立点判定部１０５は、緑色画像信号の各画素について孤立点か否かを判定する。具体的には、主色孤立点判定部１０５は、主色パラメータ算出部１０３にて算出された主色パラメータ値を既定の閾値と比較し、前記主色パラメータ値が既定の閾値以上である場合に、前記注目画素を孤立点であると判定し、主色パラメータ値が既定の閾値未満である場合に孤立点でないと判定する。前記判定結果は、注目画素の情報とともに主色孤立点補正部１０６及び主色孤立点バッファ１０７に出力される。

主色孤立点バッファ１０７は、主色孤立点判定部１０５より取得した前記判定結果及び緑色画像信号を一時的に格納し、出力部１１４に出力する。

主色孤立点補正部１０６は、緑色画像信号のうち、主色孤立点判定部１０５において孤立点であると判定された画素に対してのみ孤立点補正を行い、処理後の緑色画像信号を主色エッジ検出部１０８及び主色孤立点バッファ１０９に出力する。これにより、孤立点であると判定された画素についてのみ孤立点補正が施され、それ以外の画素には孤立点補正が施されていない緑色画像信号が主色エッジ検出部１０８及び主色孤立点バッファ１０９に出力される。

上記孤立点補正は、メディアンフィルタを用いて行われる。例えば、注目画素と８個の周辺画素を合わせた計９画素の画素値をソートし、注目画素の画素値を前記ソートした画素値の中央値に置き換えることで、注目画素の孤立点補正を行う。

主色孤立点補正バッファ１０９は、主色孤立点補正部１０６より取得した孤立点補正後の緑色画像信号を一時的に格納し、出力部１１４に出力する。

主色エッジ検出部１０８は、孤立点補正後の緑色画像信号からエッジを検出し、検出したエッジの情報を副色孤立点判定部１１０に出力する。
具体的には、主色エッジ検出部１０８は、図３に示す斜め方向のラプラシアンフィルタを用い、主色信号に該ラプラシアンフィルタをかけることにより各画素でのエッジ強度を算出する。

副色パラメータ算出部１０４は、バッファ１０２から副色である赤色画像信号及び青色画像信号を読み出し、読み出したこれらの副色画像信号から各副色パラメータ値を画素毎に算出し、この副色パラメータ値を副色孤立点判定部１１０に出力する。
副色パラメータ値の算出については、上記主色パラメータ算出部１０３と同様であるが、副色の場合は、主色と画素の配列が異なるため、上記周辺画素の選定方法が異なる。具体的には、副色の場合、周辺画素は、注目画素と上下左右斜めに１画素置いた８画素とする。例えば、赤色画像信号を例に挙げて説明すると、図２において、注目画素をＲ３３とした場合、Ｒ１１、Ｒ１３、Ｒ１５、Ｒ３１、Ｒ３５、Ｒ５１、Ｒ５３、Ｒ５５が周辺画素として選定される。なお、青色画像信号についても同様の手法により選定される。

副色孤立点判定部１１０は、赤色画像信号及び青色画像信号の各画素について孤立点か否かを判定する。具体的には、副色孤立点判定部１１０は、副色パラメータ算出部１０４にて算出された副色パラメータ値と、主色エッジ検出部１０８にて検出された緑色画像信号におけるエッジを元に、注目画素が孤立点か否かを判定する。

例えば、副色孤立点判定部１１０は、副色パラメータ算出部１０４で算出した副色パラメータ値が予め定められた閾値以上であり、かつ主色エッジ検出部１０８で検出された２つ以上の主色対応画素におけるエッジ強度の絶対値が予め定められた閾値以下のときに、注目画素を孤立点と判定する。なお、主色対応画素は、例えば、図２に示されるＲ３３を注目画素とした場合に、注目画素Ｒ３３の上下左右に隣接されるＧ２３、Ｇ３２、Ｇ３４、Ｇ４３の４つの画素とする。また、上記孤立点か否かの判定結果及び注目画素の情報は、副色孤立点補正部１１１及び副色孤立点バッファ１１２に出力される。

副色孤立点バッファ１１２は、副色孤立点判定部１１０より取得した前記判定結果及び副色の画像信号を一時的に格納し、出力部１１４に出力する。

副色孤立点補正部１１１は、赤色画像信号及び青色画像信号において、副色孤立点判定部１１０により孤立点であると判定された画素に対して孤立点補正を行い、処理後の赤色画像信号及び青色画像信号を副色孤立点補正バッファ１１３に出力する。孤立点補正の方法については、上述した主色孤立点補正部１０６と同様である。副色孤立点補正バッファ１１３は、副色孤立点判定部１１０より取得した副色孤立点補正後の信号を出力部１１４に出力する。

出力部１１４は、主色孤立点補正バッファ１０９に格納される補正後の主色信号と、副色孤立点補正バッファ１１３に格納される補正後の副色信号を合成して、Ｂａｙｅｒ配列の色信号を生成して、出力する。例えば、出力部１１４は、不図示の補間処理部に出力することとしても良いし、外部記憶装置に出力しても良い。また、出力部１１４は、上記Ｂａｙｅｒ配列の色信号とともに、主色孤立点バッファ１０７に格納される色信号の孤立点の情報と、副色孤立点バッファ１１２に格納される副色信号の孤立点の情報を出力しても良い。この場合、不図示の孤立点補正処理部に出力することも可能である。

次に、上記構成を備える画像処理装置の作用について説明する。
まず、撮像部（図示略）によって取得された画像信号が入力部１０１を介してバッファ１０２に格納される。バッファ１０２に格納された画像信号のうち、主色である緑色画像信号については、主色パラメータ算出部１０３により主色パラメータ値が画素毎に算出され、この主色パラメータ値に基づく孤立点の判定が主色孤立点判定部１０５により行われる。主色孤立点判定部１０５による判定結果及び各画素の情報は、主色孤立点バッファ１０７及び主色孤立点補正部１０６に出力される。主色孤立点バッファ１０７では、この判定結果及び画素の情報が一時的に格納された後、出力部１１４に出力される。

また、主色孤立点補正部１０６では、主色孤立点判定部１０５によって孤立点であると判定された画素にのみ孤立点補正が行われる。孤立点補正処理後の緑色画像信号は、主色エッジ検出部１０８及び主色孤立点補正バッファ１０９に出力される。主色エッジ検出部１０８では、緑色画像信号のエッジが検出され、副色孤立点判定部１１０に出力される。また、主色孤立点補正バッファ１０９に出力された孤立点補正後の緑色画像信号は、一時的に格納された後、出力部１１４に出力される。

次に、バッファ１０２に格納された画像信号のうち、副色である赤色画像信号及び青色画像信号については、副色パラメータ算出部１０４により副色パラメータ値が画素毎に算出され、この副色パラメータ値が副色孤立点判定部１１０に出力される。副色孤立点判定部１１０では、この副色パラメータ値及び主色エッジ検出部１０８により検出された主色のエッジ情報に基づき孤立点の判定が行われ、判定結果と各画素の情報とが副色孤立点補正部１１１及び副色孤立点バッファ１１２に出力される。副色孤立点バッファ１１２に出力された副色孤立点判定部１１０の判定結果及び副色の画素情報は、一時的に格納された後、出力部１１４に出力される。

また、副色孤立点補正部１１１では、副色孤立点判定部１１０により孤立点であると判定された画素についてのみ孤立点補正が行われる。孤立点補正後の副色信号は、副色孤立点補正バッファ１１３に一時的に格納された後、出力部１１４に出力される。
出力部１１４では、孤立点補正が行われた緑色画像信号及び赤色画像信号並びに青色画像信号が合成され、孤立点補正後のＢａｙｅｒ配列の画像信号が生成される。

本実施形態では、画像処理装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

以下、ＣＰＵが画像処理プログラムを実行することにより実現される画像処理方法の処理手順について図４を参照して説明する。図４は、上述した画像処理装置により実現される画像信号処理に関する動作フローを示した図である。

ステップＳＡ１にて、入力画像信号及びヘッダ情報を取得する。ステップＳＡ２にて、取得した画像信号から出現頻度の最も多い色信号である主色信号の主色パラメータ値を算出する。ステップＳＡ３にて、ステップＳＡ２で算出した主色パラメータ値を用いて注目画素が孤立点か否かの判定を行う。ステップＳＡ４にて、ステップＳＡ３で孤立点であると判定した主色の画素を孤立点補正する。ステップＳＡ５にて、主色信号のエッジを検出する。ステップＳＡ６にて、副色信号の副色パラメータ値を算出する。

ステップＳＡ７にて、ステップＳＡ６で算出した副色パラメータ値とステップＳＡ５にて検出したエッジ情報を用いて、注目画素が孤立点か否かの判定を行う。ステップＳＡ８にて、ステップＳＡ７で孤立点であると判定した副色の画素を孤立点補正する。ステップＳＡ９にて、孤立点補正後の主色信号と副色信号とを合成し、これを出力して、本処理を終了する。

図５は、図４のステップＳＡ２における主色パラメータ算出処理に関する動作フローを示した図である。ステップＳＡ１０にて、注目画素の周辺画素を設定する条件を取得する。ステップＳＡ１１にて、ステップＳＡ１０で取得した注目画素の周辺画素設定条件により、注目画素の周辺画素を選択する。ステップＳＡ１２にて、注目画素とステップＳＡ１１にて選択した各周辺画素との画素値の差分の絶対値を計算する。ステップＳＡ１３にて、ステップＳＡ１２にて計算した差分の絶対値を小さい順に並べる。

ステップＳＡ１４にて、ステップＳＡ１３にて並べた該絶対値のうち、全体の個数のうち半分の個数の絶対値を小さい順に抽出し、抽出した絶対値を積算する。ここで、積算した値をＲＯ（Ｒａｎｋ Ｏｒｄｅｒ）値とする。ステップＳＡ１５にて、ステップＳＡ１４にて算出したＲＯ値を主色パラメータ値として出力し、本処理を終了する。

図６は、図４のステップＳＡ３における主色孤立点判定処理に関する動作フローを示した図である。ステップＳＡ１６にて、孤立点か否かを判定するための閾値等の条件を取得する。ステップＳＡ１７にて、主色パラメータ値が既定の閾値以上か否かを比較し、主色パラメータ値が既定の閾値以上の場合にはステップＳＡ１８へ移行し、当該注目画素が孤立点であると判定し、本処理を終了する。一方、ステップＳＡ１７にて、主色パラメータ値が既定の閾値未満の場合には、そのまま本処理を終了する。

図７は、図４のステップＳＡ４における主色孤立点補正処理に関する動作フローを示した図である。ステップＳＡ１９にて、上記孤立点判定処理による処理結果を参照し、注目画素が孤立点ならばステップＳＡ２０に移行し、メディアンフィルタを用いて当該注目画素の信号値を補正し、本処理を終了する。一方、ステップＳＡ１９にて、注目画素が孤立点でなければ補正を行わずに、本処理を終了する。

図８は、図４のステップＳＡ５における主色エッジ検出処理に関する動作フローである。ステップＳＡ２１にて、ラプラシアンフィルタを用いて主色信号のエッジ強度を算出する。ステップＳＡ２２にて、ステップＳＡ２１にて算出されたエッジ強度を出力し、本処理を終了する。

図９は、図４のステップＳＡ６における副色パラメータ算出処理に関する動作フローである。ステップＳＡ２３にて、注目画素の周辺画素を設定する条件を入力する。ステップＳＡ２４にて、ステップＳＡ２３で入力された注目画素の周辺画素設定条件により、注目画素の周辺画素を選択する。ステップＳＡ２５にて、注目画素とステップＳＡ２４にて選択された注目画素の周辺画素との差分の絶対値を算出する。ステップＳＡ２６にて、ステップＳＡ２５にて算出された該絶対値を小さい順に並べる。ステップＳＡ２７にて、ステップＳＡ２６にて並べた該絶対値の小さい方から半分の個数分を積算し、前記積算された値をＲＯ値（ＲａｎｋＯｒｄｅｒ値）とする。ステップＳＡ２８にて、ステップＳＡ２７にて算出された前記ＲＯ値を副色パラメータ値として出力し、本処理を終了する。

図１０は、図４のステップＳＡ７における副色孤立点判定処理に関する動作フローである。ステップＳＡ２９にて、副色の注目画素が孤立点であるかどうかを判定するための閾値などの条件を入力する。ステップＳＡ３０にて、前記ＲＯ値が既定の閾値以上かどうか比較し、前記ＲＯ値が既定の閾値以上の場合には、ステップＳＡ３１に移行する。ステップＳＡ３１にて、副色の注目画素の主色対応画素を設定する条件を入力する。

ステップＳＡ３２にて、主色対応画素のエッジ強度が既定の閾値以下かどうかを比較し、エッジ強度が既定の閾値以下の場合にはステップＳＡ３３に移行する。ステップＳＡ３３にて、副色の注目画素が孤立点か否かを判定し、本処理を終了する。一方、ステップＳＡ３０にて前記ＲＯ値が既定の閾値未満の場合、並びに、ステップＳＡ３２にて、主色対応画素のエッジ強度が既定の閾値より大きい場合には、そのまま本処理を終了する。

図１１は、図４のステップＳＡ８における副色孤立点補正処理に関する動作フローである。ステップＳＡ３４にて、注目画素が孤立点か否かを判定し、孤立点ならばステップＳＡ３５に移行し、メディアンフィルタを用いて当該注目画素の信号値を補正し、本処理を終了する。一方、ステップＳＡ３４にて、孤立点でないならばそのまま本処理を終了する。

以上、説明してきたように、本実施形態に係る画像処理装置、画像処理方法、及び画像処理プログラムによれば、入力画像信号から主色信号の孤立点補正後の主色のエッジ情報を用い、副色信号の孤立点補正を行う。これにより、欠陥画素の判断が難しい副色信号に対して、より詳細な画像情報に基づく孤立点補正を行うことができ、孤立点補正の精度を向上させることが可能となる。

本実施形態では入力信号を単板のＲＧＢとしていたが、それに限定するものではなく、その他の信号でも良い。例えば輝度や色差等の信号でも良い。

また、本実施形態では補正を行う場合にメディアンフィルタを用いたが、それに限定するものではなく、その他の補正方法でもよい。例えば周辺画素の平均値に補正することも可能である。

また、本実施形態ではラプラシアンフィルタを用いてエッジを検出していたが、それに限定するものではなく、その他のエッジ検出方法でも良い。

〔第２の実施形態〕
次に、本発明の第２の実施形態に係る画像信号処理装置について図を参照して説明する。
第１の実施形態では、孤立点であると判定された画素に対してのみ孤立点補正を行っていたが、本実施形態は孤立点の度合いを算出し、その孤立点の度合いに応じた重み付けにより注目画素の画素値と周辺画素の画素値とを混合することで注目画素の補正を行う。以下、本実施形態に係る画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図１２は、本発明の第２の実施形態に係る画像処理装置の一構成例を示したブロック図である。図１２に示すように、本実施形態に係る画像処理装置では、上述した第１の実施形態に係る主色孤立判定部１０５（図１参照）を省略するとともに、副色孤立点判定部１１０（図１参照）に代えて、副色孤立点度合算出部１１７を備えている。また、主色孤立点補正部１０６´及び副色孤立点補正部１１１´における補正処理が異なる。

主色孤立点補正部１０６´は、主色パラメータ算出部１０３によって算出された主色パラメータ値に応じた孤立点補正を行う。具体的には、主色パラメータ値に応じたメディアンフィルタを作成し、このメディアンフィルタを用いて孤立点補正する。

また、副色孤立点度合算出部１１７は、赤色画像信号及び青色画像信号の各画素について孤立点度合を示す副色パラメータ値を算出する。具体的には、副色孤立点度合算出部１１７は、副色パラメータ算出部１０４によって算出された副色パラメータ値と、主色エッジ検出部１０８によって検出された緑色画像信号におけるエッジの強度との積を求め、これを孤立点度合として副色孤立点補正部１１１´及び副色孤立点バッファ１１２に出力する。ここで、前記孤立点度合とは、孤立点か否かを決定するものでなく、孤立点補正の強度（効き具合）を決めるパラメータ値である。

副色孤立点補正部１１１´は、副色孤立点度合算出部１１７によって算出された副色の孤立点度合に応じた重み付けにより副色の注目画素の画素値及び周辺画素の画素値とを混合することで孤立点補正する。具体的には、注目画素と周辺画素の８画素との計９画素でメディアンフィルタを用い、中央値と注目画素の信号値とを孤立点の度合いに応じてブレンドする。また、孤立点の度合いが高いほど中央値の重みを重く、孤立点の度合が小さいほど注目画素の信号値の重みを重くしてブレンドする。

以上、説明してきたように、本実施形態に係る画像処理装置、画像処理方法、及び画像処理プログラムによれば、入力画像信号から主色信号の孤立点補正後の主色のエッジ情報を用い、副色信号の孤立点度合を算出し、度合に応じた補正を行う。これにより、欠陥画素の判断が難しい副色信号に対して、より詳細な画像情報に基づく孤立点補正を行うことができ、孤立点補正の精度を向上させることが可能となる。

〔第３の実施形態〕
次に、本発明の第３の実施形態に係る画像信号処理装置について図を参照して説明する。
第１の実施形態では入力画像信号はＢａｙｅｒ配列の赤（Ｒ）、緑（Ｇ）、青（Ｂ）色の単板画像を使用したが、本実施形態では入力画像信号は画素配列の緑（Ｇ）が全画素、赤（Ｒ）と青（Ｂ）が交互に発生する２板式の画素配列を使用する点で異なる。以下、上述第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図１における信号の流れは第１の実施形態と同様であるが、入力部１０１から入力される画像信号は、２板式の画素配列であり、緑（Ｇ）色が全画素、赤（Ｂ）色と青（Ｂ）色が交互に発生する。このため、緑色は赤色や青色の倍の出現頻度となる。

主色パラメータ算出手段１０３における主色パラメータ値の算出方法は、第１の実施形態と同様であるため説明は省略するが、選定される注目画素と同色の周辺画素が異なる。本実施形態では、図１３に示す２板式の画素配列を使用し、画素を選定する。
まず、注目画素と同色の周辺画素を選択する。主色信号は緑（Ｇ）色信号となる。図１３では注目画素をＧ３３とする。周辺画素の選択は、注目画素と上下左右斜めに隣接する８画素とする。図１３では、Ｇ２２、Ｇ２３、Ｇ２４、Ｇ３２、Ｇ３４、Ｇ４２、Ｇ４３、Ｇ４４が選定される。

副色パラメータ算出部１０４における副色パラメータ値の算出方法は、第１の実施形態と同様であるため説明は省略するが、選定される注目画素と同色の周辺画素が異なる。本実施形態では、図１４に示す２板式の画素配列を使用し、画素を選定する。
まず、注目画素の同色の周辺画素を選択する。図１４では注目画素をＲ３３とする。周辺画素の選択は、注目画素と上下左右斜めに１画素置いた８画素とする。図１４では、Ｒ１１、Ｒ１３、Ｒ１５、Ｒ３１、Ｒ３５、Ｒ５１、Ｒ５３、Ｒ５５が周辺画素となる。

主色エッジ検出部１０８は、孤立点補正後の緑色画像信号からエッジを検出し、検出したエッジの情報を副色孤立点判定部１１０に出力する。
具体的には、主色エッジ検出部１０８は、図１５に示す斜め方向のラプラシアンフィルタを用い、主色信号に該ラプラシアンフィルタをかけることにより各画素でのエッジ強度を算出する。

出力部１１４は、主色孤立点補正バッファ１０９に格納される補正後の主色信号及び副色孤立点補正バッファ１１３に格納される補正後の副色信号を合わせて、２板式の色信号を生成し、前記生成した信号を出力する。例えば不図示の補間処理部に出力することとしても良いし、外部記憶装置に出力しても良い。また、上記２板式の色信号とともに、主色孤立点バッファ１０７に格納される主色信号の孤立点の情報と、副色孤立点バッファ１１２に格納される副色信号の孤立点の情報を出力しても良い。この場合、不図示の孤立点補正処理部に出力することも可能である。

本説明では入力信号を２板式で主色信号を緑色信号、副色信号を赤色画像信号及び青色画像信号としていたが、それに限定するものではなく、その他の信号でも良い。例えば主色信号を輝度信号、副色信号を色差信号とするなど他の信号でも良い。

以上、説明してきたように、本実施形態においては、画素配列が第１の実施形態と異なるものであっても、第１の実施形態と同様に孤立点の補正が可能である。また、第３の実施形態は第２の実施形態にも適用できるものである。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１０１ 入力部
１０２ バッファ
１０３ 主色パラメータ算出部
１０４ 副色パラメータ算出部
１０５ 主色孤立点判定部
１０６、１０６´ 主色孤立点補正部
１０８ 主色エッジ検出部
１１０ 副色孤立点判定部
１１１、１１１´ 副色孤立点補正部
１１４ 出力部
１１５ 制御部
１１６ 外部Ｉ／Ｆ部
１１７ 副色孤立点度合算出部

Claims (10)

1. 他の色信号とは出現頻度の異なる色信号を含む複数の色信号からなる入力画像信号または該入力画像信号に含まれる出現頻度の最も多い色信号である主色信号を用いてエッジを検出するエッジ検出手段と、
   前記主色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する主色パラメータ値を算出する主色パラメータ算出手段と、
   前記主色信号以外の色信号である副色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する副色パラメータ値を算出する副色パラメータ算出手段と、
   前記主色パラメータ算出手段によって算出された主色パラメータ値に応じて前記注目画素の補正を行う主色孤立点補正手段と、
   前記副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの情報とを用いて、前記注目画素が孤立点か否かを判定する副色孤立点判定手段と、
   前記副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの情報とに基づいて、前記副色孤立点判定手段によって孤立点と判定された前記注目画素の補正を行う副色孤立点補正手段と、を備え、
   前記エッジ検出手段が、前記主色孤立点補正手段によって補正された前記主色信号を用いてエッジ検出を行う画像処理装置。
2. 前記副色孤立点判定手段は、前記副色パラメータ算出手段によって算出された前記副色パラメータ値が既定の閾値以上であり、かつ、前記エッジ検出手段によって検出されたエッジの強度が既定の閾値以下である場合に、前記注目画素を孤立点と判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記副色孤立点補正手段が、前記副色パラメータ算出手段によって算出された副色パラメータ値に応じたメディアンフィルタを作成し、作成したメディアンフィルタを用いて前記注目画素の補正を行うことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記副色パラメータ算出手段が、
   前記注目画素と各前記周辺画素との画素値の差分の絶対値を算出し、
   該絶対値のうち、値の小さい方から前記周辺画素の半分の個数の前記差分の絶対値を選定し、
   選定した前記差分の絶対値を積算することにより前記副色パラメータ値を算出することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記副色パラメータ算出手段が、前記注目画素の画素値と前記周辺画素の平均画素値との差分を前記副色パラメータ値として算出することを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
6. 前記主色パラメータ算出手段が、
   注目画素と各前記周辺画素との画素値の差分の絶対値を算出し、
   該絶対値のうち、値の小さい方から前記周辺画素の半分の個数の絶対値を選定し、
   選定した前記絶対値を積算することにより前記主色パラメータ値を算出する請求項１から請求項５のいずれかに記載の画像処理装置。
7. 前記主色パラメータ算出手段が、前記注目画素の画素値と前記周辺画素の平均画素値との差分を前記主色パラメータ値として算出する請求項１から請求項５のいずれかに記載の画像処理装置。
8. 他の色信号とは出現頻度の異なる色信号を含む複数の色信号からなる入力画像信号または該入力画像信号に含まれる出現頻度の最も多い色信号である主色信号を用いてエッジを検出するエッジ検出過程と、
   前記主色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する主色パラメータ値を算出する主色パラメータ算出過程と、
   前記主色信号以外の色信号である副色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する副色パラメータ値を算出する副色パラメータ算出過程と、
   前記主色パラメータ算出手段によって算出された主色パラメータ値に応じて前記注目画素の補正を行う主色孤立点補正過程と、
   前記副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの情報とを用いて、前記注目画素が孤立点か否かを判定する副色孤立点判定過程と、
   前記副色パラメータ算出過程において算出された副色パラメータ値と前記エッジ検出過程において検出されたエッジの情報に基づいて、前記副色孤立点判定手段によって孤立点と判定された前記注目画素の補正を行う副色孤立点補正過程と、を備え、
   前記エッジ検出過程が、前記主色孤立点補正過程によって補正された前記主色信号を用いてエッジ検出を行う画像処理方法。
9. 他の色信号とは出現頻度の異なる色信号を含む複数の色信号からなる入力画像信号または該入力画像信号に含まれる出現頻度の最も多い色信号である主色信号を用いてエッジを検出するエッジ検出処理と、
   前記主色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する主色パラメータ値を算出する主色パラメータ算出処理と、
   前記主色信号以外の色信号である副色信号について、注目画素及び該注目画素と同色の周辺画素から、前記注目画素の孤立点度合に関する副色パラメータ値を算出する副色パラメータ算出処理と、
   前記主色パラメータ算出手段によって算出された主色パラメータ値に応じて前記注目画素の補正を行う主色孤立点補正処理と、
   前記副色パラメータ算出手段によって算出された副色パラメータ値と前記エッジ検出手段によって検出されたエッジの情報とを用いて、前記注目画素が孤立点か否かを判定する副色孤立点判定処理と、
   前記副色パラメータ算出処理において算出された副色パラメータ値と前記エッジ検出処理において検出されたエッジの情報に基づいて、前記副色孤立点判定手段によって孤立点と判定された前記注目画素の補正を行う副色孤立点補正処理と、ををコンピュータに実行させ、
   前記エッジ検出処理において、前記主色孤立点補正処理によって補正された前記主色信号を用いてエッジ検出を行う画像処理プログラム。
10. 撮像部と、
    前記撮像部によって取得された画像信号を入力画像信号として画像処理を行う請求項１から請求項７のいずれかに記載の画像処理装置と
    を有することを特徴とする撮像システム。

Images