JP4045645B2 - 補間処理装置および補間処理プログラムを記録した記録媒体 - Google Patents
補間処理装置および補間処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4045645B2 JP4045645B2 JP13656098A JP13656098A JP4045645B2 JP 4045645 B2 JP4045645 B2 JP 4045645B2 JP 13656098 A JP13656098 A JP 13656098A JP 13656098 A JP13656098 A JP 13656098A JP 4045645 B2 JP4045645 B2 JP 4045645B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- interpolation
- image
- interpolation processing
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Description
【０００１】
【発明の属する技術分野】
本発明は、予め決められた複数の色成分から成る表色系によって示されるカラー画像に対して、画素毎に欠落する色成分の値に相当する補間量を決定する補間処理を施す補間処理装置およびこのような補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来から、電子スチルカメラでは、複数の色（例えば、ＲＧＢ：赤色・緑色・青色）のカラーフィルタから成るＣＦＡ（カラーフィルタアレイ）を透過した被写体像を撮像することによってカラー画像が生成されている。
ＣＦＡ（カラーフィルタアレイ）には、図７に示すようにＲＧＢの３色のカラーフィルタがベイア配列されて構成されるものがある。このような構成のＣＦＡ（カラーフィルタアレイ）を透過した被写体像を撮像する撮像素子では、個々の画素において１色の色情報が生成される。
【０００３】
すなわち、３つの色成分から成る表色系によって示されるカラー画像であっても、個々の画素では、１つの色成分しか得られないことになる。
そこで、電子スチルカメラやカラー画像を画像処理の対象とする画像処理装置には、画素単位で全ての色成分を得るため、ディジタル化したカラー画像に対して補間処理（欠落する色成分の値に相当する補間量を決定する処理）を施す機能を有するものがある。
【０００４】
一般のカラー画像は、同一の色成分を有する画素の空間的な類似度が強く、異なる色成分を有する画素の空間的な類似度（異なる色成分間の類似度）が弱いという特徴を示す。そのため、補間処理の対象となる画素の補間量を決定する方法として、その画素の周辺に位置し、かつその画素に欠落する色成分を有する画素の色成分の値を用いる方法が一般化している。
【０００５】
例えば、「赤色や青色の色成分を有する画素」の緑色の補間処理を行う場合には、「赤色や青色の色成分を有する画素」に隣接する「緑色の色成分を有する複数の画素（図７では、４つの画素）」の色成分の値の平均値を補間量とする。
ここで、図８に示すようなグレーの縦縞状のカラー画像に対し、このような補間処理を行う場合を考える。
【０００６】
ただし、図８に示す画像が図７に示すカラーフィルタに投影されると、各画素の色成分の値は、図９に示す値になると仮定する。また、図９において、G(0,0)、G(0,2)、…、G(7,7)は緑色の色成分の値を示し、R(0,1)、R(0,3)、…、R(6,7)は赤色の色成分の値を示し、B(1,0)、B(1,2)、…、B(7,6)は青色の色成分の値を示す。
【０００７】
例えば、赤色の色成分を有する画素(4,3)の緑色の補間量G(4,3)は、
となる。
【０００８】
【発明が解決しようとする課題】
ところで、図８に示すカラー画像は縦方向の類似度が強いため、G(4,3)はG(3,3)およびG(5,3)との連続性が保持される必要がある。しかし、上述したように
G(4,3)≒８７
とすると、G(4,3)とG(3,3)およびG(5,3)との連続性は、損なわれることになる。
【０００９】
すなわち、グレー画像に対して上述した補間処理を行うと、適切な補間量を求めることができず、原画像にない偽色が生じるという問題があった。また、このような問題は、グレー画像に上述した補間処理を行う場合に限らず、単一色相画像（例えば、セピア色調の画像など）に対して上述した補間処理を行う場合にも発生する。
【００１０】
なお、このような問題は、全てのカラー画像が上述した特性（同一の色成分を有する画素の空間的な類似度が強く、異なる色成分を有する画素の空間的な類似度が弱い）を示すものとして補間処理が行われることに起因する可能性が高い。
【００１１】
ところで、カラー画像の特徴に応じた補間処理を行うために、例えば、グレー画像用の撮影モードと通常のカラー画像用の撮影モードとを切り換える「撮影モードの切り換えスイッチ」を電子スチルカメラの筐体に設ける方法が考えられる。しかし、このような方法では、文書やモノクロのテストチャートを撮影する場合、操作者は、「撮影モードの切り換えスイッチ」を操作してグレー画像用の撮影モードを選択する必要がある。
【００１２】
そこで、請求項１ないし請求項３に記載の発明は、カラー画像の特性を認識し、その特性に適応した補間処理を確実に行うことができる補間装置を提供することを目的とする。
また、請求項４に記載の発明は、カラー画像の特性を認識し、その特性に適応した補間処理を確実に行うことができる補間処理プログラムを記録した記録媒体を提供することを目的とする。
【００１３】
【課題を解決するための手段】
請求項１に記載の補間処理装置は、予め決められた複数の色成分から成る表色系によって示されるカラー画像に対して、画素毎に欠落する色成分の値に相当する補間量を決定する補間処理を施す補間処理装置において、カラー画像の色成分の構成を認識する色構成認識手段と、予め決められた複数の補間処理のうち、色構成認識手段によって認識された色成分の構成に対応する補間処理を選択し、カラー画像に対して選択した補間処理を施す補間処理手段とを備え、補間処理手段は、色構成認識手段で認識された色成分の構成によってカラー画像が単一色相画像であると判断した場合、補間処理の対象となる画素の色成分の値に対する加重を大きくしつつ、該画素の色成分の値と該画素の周辺に位置する画素の色成分の値とを加重加算して該画素の補間量を決定する補間処理を選択する。
【００１５】
請求項２に記載の補間処理装置は、請求項１に記載の補間処理装置において、色構成認識手段は、カラー画像を複数の領域に分割し、各領域内の１画素当たりの色成分の平均値を示す色平均を算出すると共に、各色成分間の色平均の差または比を算出することによって、各領域毎の色成分の構成を認識し、補間処理手段は、全ての領域に対する各色成分間の色平均の差または比が予め決められた範囲内である場合、カラー画像が単一色相画像であると判断する。
【００１６】
ところで、補間処理の対象となるカラー画像が単一色相画像（セピア色調の画像など）である場合、分割された全ての領域において各色成分の構成が酷似する可能性が高い。すなわち、全ての領域について、各色成分間の色平均の差または比は近似する可能性が高い。
そのため、全ての領域に対して各色成分間の色平均の差または比が予め決められた範囲内であることを判定することによって、補間処理の対象となるカラー画像が単一色相画像であるか否かを容易に判定することができる。
【００１７】
請求項３に記載の補間処理装置は、予め決められた複数の色成分から成る表色系によって示されるカラー画像に対して、画素毎に欠落する色成分の値に相当する補間量を決定する補間処理を施す補間処理装置において、カラー画像の色成分の構成を認識する色構成認識手段と、予め決められた複数の補間処理のうち、色構成認識手段によって認識された色成分の構成に対応する補間処理を選択し、カラー画像に対して選択した補間処理を施す補間処理手段とを備え、色構成認識手段は、カラー画像を複数の領域に分割し、各領域内の１画素当たりの色成分の平均値を示す色平均を算出すると共に、各色成分間の色平均の差または比を算出することによって、各領域毎の色成分の構成を認識し、補間処理手段は、全ての領域に対する各色成分間の色平均の差が予め決められた値以下または各色成分間の色平均の比が予め決められた範囲内である場合、カラー画像がグレー画像であると判断し、補間処理の対象となる画素の色成分の値に対する加重を大きくしつつ、該画素の色成分の値と該画素の周辺に位置する画素の色成分の値とを加重加算して該画素の補間量を決定する補間処理を選択する。
【００１８】
ところで、補間処理の対象となるカラー画像がグレー画像である場合、分割された全ての領域において各色成分の色平均が酷似する可能性が高い。すなわち、全ての領域について、各色成分間の色平均の差は０に近似し、各色成分間の色平均の比は１に近似する可能性が高い。
そのため、全ての領域に対する各色成分間の色平均の差が予め決められた値以下であることを判定したり、各色成分間の色平均の比が予め決められた範囲内であることを判定することによって、補間処理の対象となるカラー画像がグレー画像であるか否かを容易に判定することができる。
【００１９】
請求項４に記載の補間処理プログラムを記録した記録媒体は、予め決められた複数の色成分から成る表色系によって示されるカラー画像に対して、画素毎に欠落する色成分の値に相当する補間量を決定する補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体において、カラー画像の色成分の構成を認識する色構成認識手順と、予め決められた複数の補間処理のうち、色構成認識手順によって認識された色成分の構成に対応する補間処理を選択し、カラー画像に対して選択した補間処理を施す補間処理手順とを備え、補間処理手順では、色構成認識手順で認識された色成分の構成によってカラー画像が単一色相画像であると判断した場合、補間処理の対象となる画素の色成分の値に対する加重を大きくしつつ、該画素の色成分の値と該画素の周辺に位置する画素の色成分の値とを加重加算して該画素の補間量を決定する補間処理を選択することを特徴とする補間処理をコンピュータに実行させる補間処理プログラムを記録する。
【００２０】
【発明の実施の形態】
以下、図面に基づいて本発明の実施形態について詳細を説明する。
なお、請求項１ないし請求項３に記載の発明に対応した実施形態については、これらの発明にかかわる補間装置が適用された電子スチルカメラを用いて説明を行う。
【００２１】
（第一の実施形態）
図１は、第一の実施形態の電子スチルカメラの機能ブロック図である。
なお、第一の実施形態は、請求項３に記載の発明に対応した実施形態に相当する。
【００２２】
図１において、電子スチルカメラ１０は、制御部１１、レンズ１２、絞り１３、ＣＦＡ（カラーフィルタアレイ）１４、撮像素子１５、Ａ／Ｄ変換部１６、前置処理部１７、画像処理部１８および記録部１９を有する。
前置処理部１７は、ＡＦ（自動焦点調節）、ＡＥ（自動露出）、ホワイトバランスを行うためのパラメータを決定するパラメータ決定部２０、ホワイトバランスを行うＷＢ処理部２１および色成分の構成を認識する色構成認識部２２を有する。
【００２３】
また、画像処理部１８は、補間処理部２３を有する。さらに、補間処理部２３は、後述する「グレー画像用の補間処理」および「通常のカラー画像用の補間処理」を行う機能を有する。
なお、図１では、説明を簡略化するため、画像処理部１８内に補間処理部２３のみを記載しているが、画像処理部１８内には、例えば、エッジ検出など他の画像処理を行うブロックが設けられても良い。
【００２４】
図１において、制御部１１は、不図示のレンズ駆動部を介してレンズ１２に接続され、不図示の絞り駆動部を介して絞り１３に接続されると共に、撮像素子１５、前置処理部１７、画像処理部１８および記録部１９に接続される。特に、制御部１１は、前置処理部１７との間において双方向に接続される。
なお、請求項３に記載の発明と第一の実施形態との対応関係については、色構成認識手段は、色構成認識部２２に対応し、補間処理手段は、制御部１１の「色平均の差を閾値と比較する機能」および補間処理部２３に対応する。
【００２５】
図２は、第一の実施形態の動作フローチャートである。
以下、図１および図２を参照して第一の実施形態の動作を説明する。
主電源が投入されている状態において、撮像素子１５では、レンズ１２および絞り１３を介して与えられる光学像が光電変換面（図示されない）に結像され、光電変換によって信号電荷が生成される。また、撮像素子１５は、このように生成された信号電荷を走査して画像信号を生成し、Ａ／Ｄ変換部１６に供給する。
【００２６】
なお、画像信号の生成にかかわる処理は、制御部１１によるタイミング制御に基づいて行われる。
Ａ／Ｄ変換部１６は、撮像素子１５から供給された画像信号をＡ／Ｄ変換して画像データを生成する（図２Ｓ１）。なお、第一の実施形態および後述する各実施形態において、画像データは、撮像素子１５の各画素の色成分の値に相当する。
【００２７】
なお、このように生成された画像データは、前置処理部１７に供給されると共に、前置処理部１７内のＷＢ処理部２１によってホワイトバランスが行われて画像処理部１８に供給される。
前置処理部１７内のパラメータ決定部２０は、Ａ／Ｄ変換部１６から供給された画像データに基づき、ＡＦ（自動焦点調節）、ＡＥ（自動露出）を行うためのパラメータを決定して制御部１１に通知すると共に、ホワイトバランスを行うためのパラメータを決定してＷＢ処理部２１に通知する。
【００２８】
このようにしてパラメータが通知されると、制御部１１は、不図示のレンズ駆動部や絞り駆動部を介してＡＦ（自動焦点調節）およびＡＥ（自動露出）を行い、ＷＢ処理部２１は、ホワイトバランスを行う（図２Ｓ２）。
また、制御部１１は、電子スチルカメラ１０の筐体に設けられたレリーズボタン（図示されない）が押下されたか否かを判定する（図２Ｓ３）。
【００２９】
このような判定によってレリーズボタンが押下されていないことが認識される度に、上述した画像データの生成（図２Ｓ１）およびＡＦ（自動焦点調節）、ＡＥ（自動露出）、ホワイトバランス（図２Ｓ３）が繰り返し行われる。
一方、レリーズボタンが押下されたことを認識すると、制御部１１は、前置処理部１７内の色構成認識部２２に対し、「画像データの色成分の構成を認識する処理」の実行を指示する。
【００３０】
色構成認識部２２は、このように指示されると、図３に示すように、重複を許容しつつ、１フレームに相当する画像データをｎ個の領域に分割する（図２Ｓ４）。
ここで、制御部１１は、各領域の識別番号を示す変数ｉに１を代入する（図２Ｓ５）。
色構成認識部２２は、変数ｉが示す領域の１画素当たりの色成分の平均値を示す色平均を算出する（図２Ｓ６）。
【００３１】
なお、第一の実施形態および後述する各実施形態では、各領域内の各色成分の色平均をＲi、Ｇi、Ｂi（i＝1,2,・・・,n）によって示す。
例えば、領域１が８画素×８画素で構成され、各画素の色成分が図９に示す値となる場合、領域１の色平均Ｒ1、Ｇ1、Ｂ1は、
となる。
【００３２】
また、色構成認識部２２は、このように色平均を算出すると、各色成分間の色平均の差を算出する（図２Ｓ７）。
すなわち、領域１における各色成分間の色平均の差は、
｜Ｒ1−Ｇ1｜＝４
｜Ｂ1−Ｇ1｜＝４
｜Ｒ1−Ｂ1｜＝８
となる。
【００３３】
なお、このようにして算出された各色成分間の色平均の差は、制御部１１に通知される。
制御部１１は、このように通知された各色成分間の色平均の差が閾値以下となるか否かを判定する（図２Ｓ８）。
例えば、制御部１１は、変数ｉが示す領域において、各色成分間の色平均の差に対して、
（｜Ｒi−Ｇi｜≦Ｔ１）
∩（｜Ｂi−Ｇi｜≦Ｔ２）
∩（｜Ｒi−Ｂi｜≦Ｔ３）
が成り立つか否かを判定する。なお、Ｔ１、Ｔ２およびＴ３は任意の値であるが、第一の実施形態では、
Ｔ１＝Ｔ２＝Ｔ３＝１０
とする。
【００３４】
制御部１１は、このような判定によって各色成分間の色平均の差が閾値以下であることを認識した場合、変数ｉをインクリメントし（図２Ｓ９）、変数ｉがｎを上回ったか否かを判定する（図２Ｓ１０）。
制御部１１は、各色成分間の色平均の差が閾値以下であり、変数ｉがｎ以下であることを認識した場合、色構成認識部２２に対して「変数ｉが示す領域の色平均の算出（図２Ｓ６）」および「各色成分間の色平均の差の算出（図２Ｓ７）」を繰り返し指示し、「色平均の差の判定（図２Ｓ８に相当する）」を繰り返し行う。
【００３５】
また、制御部１１は、このように図２Ｓ６〜Ｓ１０の処理が繰り返し行われている過程で、変数ｉがｎを上回ったことを認識した場合、画像処理部１８内の補間処理部２３に対して、グレー画像用の補間処理の実行を指示する（図２Ｓ１１）。
すなわち、制御部１１は、全ての領域において各色成分間の色平均の差が閾値以下である場合、全ての領域において各色成分の色平均が酷似すると判断し、補間処理の対象となる画像データがグレー画像であるとみなす。
【００３６】
ところで、制御部１１は、「色平均の差の判定（図２Ｓ８に相当する）」によって、各色成分間の色平均の差が閾値を上回ったことを認識した場合、変数ｉの値に関係なく、画像処理部１８内の補間処理部２３に対して、通常のカラー画像用の補間処理の実行を指示する（図２Ｓ１２）。
すなわち、制御部１１は、各色成分間の色平均の差が閾値を上回るような領域が１つでも存在する場合、異なる色成分間の類似度が弱いと判断し、補間処理の対象となる画像データが通常のカラー画像であるとみなす。
【００３７】
補間処理部２３は、制御部１１によってグレー画像用の補間処理の実行が指示されると、補間処理の対象となる画素の色成分の値をその画素の補間量とする。
例えば、赤色の色成分を有する画素(4,3)の緑色の補間量G(4,3)は、
となり、青色の補間量B(4,3)は、
となる。
【００３８】
一方、補間処理部２３は、制御部１１によって通常のカラー画像用の補間処理の実行が指示されると、従来の補間処理方法と同様に、補間処理の対象となる画素の周辺に位置し、かつその画素に欠落する色成分を有する画素の色成分の値を用いて補間量を決定する。
なお、このように補間量が決定されることによって、補間処理が施された画像データは、記録部１９を介してメモリカードなどの記録媒体に記録される（図２Ｓ１３）。
【００３９】
以上説明したように、第一の実施形態では、全ての領域において、各色成分の色平均が酷似する場合、画像データにグレー画像用の補間処理を施し、各色成分間の色平均の差が閾値を上回るような領域が１つでも存在する場合、画像データに通常のカラー画像用の補間処理を施す。
ところで、画像データ全体の色平均を算出して色平均の差の判定を行う方法が考えられるが、このような方法では、色平均にばらつきが生じる可能性が高いために色成分の構成を精度良く認識することができない。一方、第一の実施形態では、画像データを複数の領域に分割して領域単位で色平均を算出しているため、色成分の構成を精度良く認識することができる。
【００４０】
すなわち、第一の実施形態では、補間処理の対象となる画像データがグレー画像であるか、通常のカラー画像であるかの判定を容易に、かつ精度良く行うことができ、このような判定結果に応じて画像データの色成分の構成に適した補間処理を選択することができる。
したがって、第一の実施形態によれば、速やかに、かつ的確に補間処理を行うことができる。
【００４１】
なお、第一の実施形態では、補間処理の対象となる画像データの色成分の構成を認識する際、図２Ｓ８に示すように、各色成分間の色平均の差が閾値以下であるか否かを判定しているが、各色成分間の色平均の比が所定範囲内であるか否かを判定しても良い。
例えば、変数ｉが示す領域の色平均に対して、
（｜Ｒi／Ｇi−１｜≦Ｔ４）
∩（｜Ｂi／Ｇi−１｜≦Ｔ５）
∩（｜Ｒi／Ｂi−１｜≦Ｔ６）
が成り立つか否かを判定しても良い。なお、Ｔ４、Ｔ５およびＴ６は、任意の値であるが、例えば、
Ｔ４＝Ｔ５＝Ｔ６＝０．０５
が考えられる。
【００４２】
また、第一の実施形態では、画像データを複数の領域に分割する際、１つの領域の大きさを８画素×８画素としているが、単位面積当たりの画素数が多い撮像素子を用いる場合、各領域毎の色平均にばらつきが生じる可能性が高いため、各領域の大きさを狭くしても良い。また、単位面積当たりの画素数が少ない撮像素子を用いる場合、各領域の大きさを広くしても良い。
【００４３】
さらに、第一の実施形態では、領域毎に「色平均の算出」と「各色成分間の色平均の差の算出」とを行った直後に「色平均の差の判定」を行っているが、例えば、全ての領域における各色成分間の色平均の差を算出した後に、各領域毎に「色平均の差の判定」を行っても良い。
（第二の実施形態）
図４は、第二の実施形態の動作フローチャートである。
【００４４】
なお、第二の実施形態は、請求項１および請求項２に記載の発明に対応した実施形態に相当する。
ところで、第二の実施形態の特徴は、「色成分の構成を認識する処理」および「補間処理」の方法にあり、ハードウエアの構成については、図１に示す第一の実施形態と同じであるから、ここでは、その説明を省略する。
【００４５】
ただし、第二の実施形態では、補間処理部２３は、後述する「単一色相画像用の補間処理」および「通常のカラー画像用の補間処理」を行う機能を有する。
また、図４Ｓ１〜Ｓ６、Ｓ９、Ｓ１０およびＳ１３の処理は、図２に示す第一の実施形態の処理（図２Ｓ１〜Ｓ６、Ｓ９、Ｓ１０およびＳ１３）と同じであるため、詳細な動作の説明を省略する。
【００４６】
なお、請求項１および請求項２に記載の発明と第二の実施形態との対応関係については、色構成認識手段は、色構成認識部２２に対応し、補間処理手段は、制御部１１の「色平均の比が所定範囲内であるか否かを判定する機能」および補間処理部２３に対応する。
【００４７】
以下、図１および図４を参照して第二の実施形態の動作を説明する。
制御部１１は、第一の実施形態と同様に、レリーズボタンが押下されたことを認識すると、前置処理部１７内の色構成認識部２２に対し、「画像データの色成分の構成を認識する処理」の実行を指示する。
色構成認識部２２は、このように指示されると、第一の実施形態と同様に、画像データをｎ個の領域に分割する（図４Ｓ４）。
【００４８】
ここで、制御部１１は、第一の実施形態と同様に、各領域の識別番号を示す変数ｉに１を代入する（図４Ｓ５）。
色構成認識部２２は、第一の実施形態と同様に、変数ｉが示す領域の色平均を算出する（図４Ｓ６）と共に、色成分間の色平均の比を算出する（図４Ｓ７）。すなわち、色構成認識部２２は、変数ｉが示す領域における各色成分間の色平均の比として
Ｒi／Ｇi
Ｂi／Ｇi
Ｒi／Ｂi
を算出する。
【００４９】
なお、このようにして算出された各色成分間の色平均の比は、制御部１１に通知される。
制御部１１は、このように通知された各色成分間の色平均の比が所定範囲内か否かを判定する（図４Ｓ８）。
例えば、制御部１１は、変数ｉが示す領域において、各色成分間の色平均の比に対して、
（｜Ｒi／Ｇi−Ｔ１０｜≦Ｔ１１）
∩（｜Ｂi／Ｇi−Ｔ２０｜≦Ｔ２１）
∩（｜Ｒi／Ｂi−Ｔ３０｜≦Ｔ３１）
が成り立つか否かを判定する。
【００５０】
なお、Ｔ１０、Ｔ１１、Ｔ２０、Ｔ２１、Ｔ３０およびＴ３１は任意の値であるが、第二の実施形態では、
Ｔ１０＝Ｒ1／Ｇ1
Ｔ１１＝Ｔ１０×０．０５
Ｔ２０＝Ｂ1／Ｇ1
Ｔ２１＝Ｔ２０×０．０５
Ｔ３０＝Ｒ1／Ｂ1
Ｔ３１＝Ｔ３０×０．０５
とする。すなわち、第二の実施形態では、領域１における各色成分間の色平均の比を基準として、全ての領域において各色成分間の色平均の比が酷似するか否かを判定する。
【００５１】
制御部１１は、このような判定によって各色成分間の色平均の比が所定範囲内であることを認識した場合、変数ｉをインクリメントし（図４Ｓ９）、変数ｉがｎを上回ったか否かを判定する（図４Ｓ１０）。
制御部１１は、各色成分間の色平均の比が所定範囲内であり、変数ｉがｎ以下であることを認識した場合、色構成認識部２２に対して「変数ｉが示す領域の色平均の算出（図４Ｓ６）」および「色成分間の色平均の比の算出（図４Ｓ７）」を繰り返し指示し、「色平均の比の判定（図４Ｓ８に相当する）」を繰り返し行う。
【００５２】
また、制御部１１は、このように図４Ｓ６〜Ｓ１０の処理が繰り返し行われている過程で、変数ｉがｎを上回ったことを認識した場合、画像処理部１８内の補間処理部２３に対して、単一色相画像用の補間処理の実行を指示する（図４Ｓ１１）。
すなわち、制御部１１は、全ての領域において各色成分間の色平均の比が上述した所定範囲内である場合、全ての領域において各色成分間の色平均の比が酷似すると判断し、補間処理の対象となる画像データが単一色相画像であるとみなす。
【００５３】
ところで、制御部１１は、「色平均の比の判定（図４Ｓ８に相当する）」によって各色成分間の色平均の比が所定範囲外であることを認識した場合、変数ｉの値に関係なく、画像処理部１８内の補間処理部２３に対して、通常のカラー画像用の補間処理の実行を指示する（図４Ｓ１２）。
すなわち、制御部１１は、各色成分間の色平均の比が所定範囲外となるような領域が１つでも存在する場合、異なる色成分間の類似度が弱いと判断し、補間処理の対象となる画像データが通常のカラー画像であるとみなす。
【００５４】
補間処理部２３は、制御部１１によって単一色相画像用の補間処理の実行が指示されると、補間処理の対象となる画素の色成分の値と、その画素の周辺に位置する画素の色成分の値とを加重加算して補間量を決定する。ただし、補間処理の対象となる画素の色成分の値に対する加重を大きくする。
例えば、補間処理部２３は、赤色の色成分を有する画素(4,3) に対する緑色の補間量G(4,3)および青色の補間量B(4,3)を以下のように算出する。
【００５５】
G(4,3)＝Q11×R(4,3)＋Q12×(G(3,3)＋G(4,2)＋G(4,4)＋G(5,3))／４
B(4,3)＝Q21×R(4,3)＋Q22×(B(3,2)＋B(5,2)＋B(3,4)＋B(5,4))／４
ただし、Q11、Q12、Q21およびQ22は、
Q11＋Q12＝1
Q11＞Q12
Q21＋Q22＝1
Q21＞Q22
を満足する重み係数である。
【００５６】
なお、重み係数に、補間処理の対象となる画素からの距離に反比例する条件を反映する場合には、例えば、
Q11＝４／５
Q12＝１／４
Q21＝７／８
Q22＝１／８
のように、Q11、Q12、Q21およびQ22に対して
Q21−Q22＞Q11−Q12
の条件を付加しても良い。
【００５７】
さらに、重み係数に、色成分の構成を反映する場合には、例えば、
f(Ｘ)＝Ｘ／１００
とし、Q11、Q12、Q21およびQ22を
Q11＝１−f(｜Ｒ1−Ｇ1｜)
Q12＝f(｜Ｒ1−Ｇ1｜)
Q21＝１−f(｜Ｒ1−Ｂ1｜)／２
Q22＝f(｜Ｒ1−Ｇ1｜)／２
としても良い。
【００５８】
なお、緑色の色成分を有する画素(3,3)に対する赤色の補間量R(3,3)および青色の補間量B(3,3)については、以下のように算出する。
R(3,3)＝Q31×G(3,3)＋Q32×(R(2,3)＋R(4,3))／２
B(3,3)＝Q41×G(3,3)＋Q42×(B(3,2)＋B(3,4))／２
ただし、Q31、Q32、Q41およびQ42は、
Q31＋Q32＝１
Q31＞Q32
Q41＋Q42＝１
Q41＞Q42
を満足する重み係数である。
【００５９】
ところで、補間処理部２３は、上述したように制御部１１によって通常のカラー画像用の補間処理の実行が指示されると、従来の補間処理方法と同様に、補間処理の対象となる画素の周辺に位置し、かつその画素に欠落する色成分を有する画素の色成分の値を用いて補間量を決定する。
【００６０】
以上説明したように、第二の実施形態では、全ての領域において、各色成分の色平均の比が酷似する場合、画像データに単一色相画像用の補間処理を施し、各色成分間の色平均の比が所定範囲外となる領域が１つでも存在する場合、画像データに通常のカラー画像用の補間処理を施す。
ところで、第二の実施形態では、第一の実施形態と同様に、画像データを複数の領域に分割して領域単位で色平均を算出しているため、色成分の構成を精度良く認識することができる。
【００６１】
すなわち、第二の実施形態では、補間処理の対象となる画像データが単一色相画像であるか、通常のカラー画像であるかの判定を容易に、かつ精度良く行うことができ、このような判定結果に応じて画像データの色成分の構成に適した補間処理を選択することができる。
したがって、第二の実施形態によれば、速やかに、かつ的確に補間処理を行うことができる。
【００６２】
なお、第二の実施形態では、補間処理の対象となる画像データの色成分の構成を認識する際、図４Ｓ８に示すように、各色成分間の色平均の比が所定範囲内であるか否かを判定しているが、各色成分間の色平均の差が所定範囲内であるか否かを判定しても良い。
例えば、変数ｉが示す領域の色平均に対して、
（｜Ｒi−Ｇi−Ｔ４０｜≦Ｔ４１）
∩（｜Ｂi−Ｇi−Ｔ５０｜≦Ｔ５１）
∩（｜Ｒi−Ｂi−Ｔ６０｜≦Ｔ６１）
が成り立つか否かを判定しても良い。なお、Ｔ４０、Ｔ４１、Ｔ５０、Ｔ５１、Ｔ６０およびＴ６１は、任意の値であるが、例えば、
Ｔ４０＝Ｒ1−Ｇ1
Ｔ５０＝Ｂ1−Ｇ1
Ｔ６０＝Ｒ1−Ｂ1
Ｔ４１＝Ｔ５１＝Ｔ６１＝１０
が考えられる。
【００６３】
また、第二の実施形態では、補間処理の対象となる画素（補間対象画素）の色成分の値に対する加重を大きくしつつ、補間対象画素の色成分の値と補間対象画素の周辺に位置する画素の色成分の値とを加重加算して補間対象画素の補間量を決定して単一色相画像用の補間処理を行っているが、補間対象画素の色成分の値をその画素の補間量として補間処理を行っても良い。
さらに、第二の実施形態では、領域毎に「色平均の算出」と「各色成分間の色平均の差の算出」とを行った直後に「色平均の比の判定」を行っているが、例えば、全ての領域における各色成分間の色平均の差を算出した後に、各領域毎に「色平均の比の判定」と行っても良い。
【００６４】
ところで、上述した第一の実施形態では、画像データがグレー画像であることを認識した際にグレー画像用の補間処理を行い、第二の実施形態では、画像データが単一色相画像であることを認識した際に単一色相画像用の補間処理を行うが、「グレー画像用の補間処理」、「単一色相画像用の補間処理」および「通常のカラー画像用の補間処理」を行う機能を有する補間処理部を設け、第一の実施形態と第二の実施形態とを組み合わせることによって、グレー画像、単一色相画像（グレー画像を除く）および通常のカラー画像を認識し、各画像に適応した補間処理を行っても良い。
【００６５】
また、グレー画像や単一色相画像に限定されず、色成分の構成に応じて特徴が認識できる画像であれば、その特徴に適応した補間処理を行うこともできる。
（第三の実施形態）
図５は、第三の実施形態の機能ブロック図である。
なお、第三の実施形態は、請求項４に記載の「補間処理プログラムを記録した記録媒体」を用い、パーソナルコンピュータによって補間処理を行うことに相当する。
【００６６】
図５において、機能が図１に示す機能ブロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。
なお、図５に示す電子スチルカメラ５０と図１に示す電子スチルカメラ１０との構成の相違点は、制御部５１、前置処理部５２および画像処理部５３が制御部１１、前置処理部１７および画像処理部１８に代えて設けられた点である。
【００６７】
また、図５において、パーソナルコンピュータ６０は、ＣＰＵ６１、記録再生部６２および画像メモリ６３を有する。
ＣＰＵ６１は、記録再生部６２および画像メモリ６３に接続される。記録再生部６２の出力は、画像メモリ６３に接続され、画像メモリ６３の出力は、ＣＰＵ６１および記録再生部６２に接続される。また、ＣＰＵ６１の出力は、画像メモリ６３に接続される。
【００６８】
ところで、ＣＤ−ＲＯＭ６４には、図１の色構成認識部２２および補間処理部２３によって行われる図２Ｓ４〜Ｓ１２または図４Ｓ４〜Ｓ１２に相当する処理をＣＰＵ６１に実行させるための補間処理プログラムが記録されている。
また、第三の実施形態において、ＣＰＵ６１には、このような補間処理プログラムが予めインストールされていることとする。
【００６９】
なお、請求項４に記載の「補間処理プログラムを記録した記録媒体」は、ＣＤ−ＲＯＭ６４に対応し、色構成認識手順および補間処理手順は、ＣＰＵ６１によって行われる「画像データの色成分の構成を認識する機能」および「補間処理を行う機能」に対応する。
図６は、第三の実施形態の動作フローチャートである。
【００７０】
以下、図５および図６を参照して第三の実施形態の動作を説明する。
まず、電子スチルカメラ５０の動作について説明する。
主電源が投入されている状態において、撮像素子１５では、第一の実施形態と同様に画像信号が生成され、Ａ／Ｄ変換部１６では、第一の実施形態と同様に、画像信号をＡ／Ｄ変換して画像データを生成する（図６Ｓ１）。
【００７１】
このように生成された画像データは、前置処理部５２に供給されると共に、前置処理部５２内でホワイトバランスが行われて画像処理部５３に供給される。
前置処理部５２では、Ａ／Ｄ変換部１６から供給された画像データに基づき、ＡＦ（自動焦点調節），ＡＥ（自動露出），ホワイトバランスを行うためのパラメータを決定する。
【００７２】
制御部５１は、このように決定されたＡＦ（自動焦点調節）およびＡＥ（自動露出）に応じて不図示のレンズ駆動部や絞り駆動部を介してＡＦ（自動焦点調節）およびＡＥ（自動露出）を行い、前置処理部５２は、ホワイトバランスを行うためのパラメータに応じてホワイトバランスを行う（図６Ｓ２）。
また、制御部５１は、電子スチルカメラ５０の筐体に設けられたレリーズボタン（図示されない）が押下されたか否かを判定する（図６Ｓ３）。
【００７３】
制御部５１は、レリーズボタンが押下されたことを認識すると、画像処理部５３および記録部１９に対して、画像データをメモリカード５４に記録することを指示する（図６Ｓ４）。
なお、本実施形態おいて、画像処理部５３は、前置処理部５２から供給された画像データに対して画像処理を行わず、記録部１９に直接供給することとする。
【００７４】
記録部１９は、画像データを画像ファイルの形式でメモリカード５４に記録すると共に、画像ファイルのヘッダ部に設けられた「補間要求フラグ」（画像データが補間処理を必要とする旨を示すフラグ）を立てる。
次に、パーソナルコンピュータ６０の動作について説明する。
パーソナルコンピュータ６０において、画像ファイルが記録されたメモリカード５４が装着されると、ＣＰＵ６１は、記録再生部６２を介して画像ファイルのヘッダ部を読み出す（図６Ｓ５）。
【００７５】
ＣＰＵ６１は、このようにして画像ファイルのヘッダ部を読み出すと、「補間要求フラグ」が立っているか否かを判定する（図６Ｓ６）。
ＣＰＵ６１は、このような判定によって「補間要求フラグ」が立っていることを認識した場合に限り、記録再生部６２を介してメモリカード５４内の画像データを読み出して画像メモリ６３に格納する（図６Ｓ７）。
【００７６】
また、ＣＰＵ６１は、上述した補間処理プログラムを実行することによって、画像メモリ６３内の画像データに対し、「色成分の構成を認識する処理」および「補間処理」を行う（図６Ｓ８）。
すなわち、ＣＰＵ６１は、図１の色構成認識部２２および補間処理部２３によって行われる図２Ｓ４〜Ｓ１２または図４Ｓ４〜Ｓ１２に相当する処理を行う。
【００７７】
ＣＰＵ６１は、このような処理が終了した時点で、補間処理が施された画像データを記録再生部６２を介してメモリカード５４に再度記録する（図６Ｓ９）。なお、補間処理が施された画像データをメモリカード５４に記録するか否かは、操作者がパーソナルコンピュータ６０の入力装置（例えば、キーボードなど）によって選択できるようにしても良い。
【００７８】
以上説明したように、第三の実施形態では、第一の実施形態または第二の実施形態と同様の補間処理をパーソナルコンピュータ６０によって行うことができる。
したがって、第三の実施形態によれば、第一の実施形態または第二の実施形態と同様に、速やかに、かつ的確に補間処理を行うことができる。
なお、本実施形態では、パーソナルコンピュータ６０は補間処理を行うべき画像データをメモリカード５４を介して取得しているが、このような画像データを取得する方法については、如何なる方法であっても良い。
【００７９】
例えば、通信手段を備えたパーソナルコンピュータに本発明を適用する場合、その通信手段を介して与えられる画像データに対して補間処理を行うことも可能である。
【００８０】
【発明の効果】
上述したように、請求項１および請求項４に記載の発明では、補間処理の対象となるカラー画像の色成分の構成を認識し、予め決められた複数の補間処理のうち、カラー画像の色成分の構成に対応する補間処理を選択することができる。
すなわち、カラー画像の特性に適応した補間処理を確実に行うことができる。
【００８１】
請求項１および請求項４に記載の発明では、補間処理の対象となるカラー画像が単一色相画像であると判断した場合、単一色相画像に適した補間処理を確実に行うことができる。
請求項２に記載の発明では、補間処理の対象となるカラー画像が単一色相画像であるか否かを容易に、かつ確実に判断することができる。
【００８２】
請求項３に記載の発明では、補間処理の対象となるカラー画像がグレー画像であるか否かを容易に、かつ確実に判断することができる。また、補間処理の対象となるカラー画像がグレー画像である場合には、グレー画像に適した補間処理を行うことができる。
したがって、請求項１ないし請求項４の何れか一項に記載の発明によれば、偽色が少なく高解像度のカラー画像を得ることができる。
【図面の簡単な説明】
【図１】電子スチルカメラの機能ブロック図である。
【図２】第一の実施形態の動作フローチャートである。
【図３】画像データを分割する例を示す図である。
【図４】第二の実施形態の動作フローチャートである。
【図５】第三の実施形態の機能ブロック図である。
【図６】第三の実施形態の動作フローチャートである。
【図７】カラーフィルタの構成を示す図である。
【図８】グレーの縦縞状の画像の一部を示す図である。
【図９】各画素の色成分の値を示す図である。
【符号の説明】
１０、５０ 電子スチルカメラ
１１、５１ 制御部
１２ レンズ
１３ 絞り
１４ ＣＦＡ（カラーフィルタアレイ）
１５ 撮像素子
１６ Ａ／Ｄ変換部
１７、５２ 前置処理部
１８、５３ 画像処理部
１９ 記録部
２０ パラメータ決定部
２１ ＷＢ処理部
２２ 色構成認識部
２３ 補間処理部
５４ メモリカード
６０ パーソナルコンピュータ
６１ ＣＰＵ
６２ 記録再生部
６３ 画像メモリ
６４ ＣＤ−ＲＯＭ
【発明の属する技術分野】
本発明は、予め決められた複数の色成分から成る表色系によって示されるカラー画像に対して、画素毎に欠落する色成分の値に相当する補間量を決定する補間処理を施す補間処理装置およびこのような補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来から、電子スチルカメラでは、複数の色（例えば、ＲＧＢ：赤色・緑色・青色）のカラーフィルタから成るＣＦＡ（カラーフィルタアレイ）を透過した被写体像を撮像することによってカラー画像が生成されている。
ＣＦＡ（カラーフィルタアレイ）には、図７に示すようにＲＧＢの３色のカラーフィルタがベイア配列されて構成されるものがある。このような構成のＣＦＡ（カラーフィルタアレイ）を透過した被写体像を撮像する撮像素子では、個々の画素において１色の色情報が生成される。
【０００３】
すなわち、３つの色成分から成る表色系によって示されるカラー画像であっても、個々の画素では、１つの色成分しか得られないことになる。
そこで、電子スチルカメラやカラー画像を画像処理の対象とする画像処理装置には、画素単位で全ての色成分を得るため、ディジタル化したカラー画像に対して補間処理（欠落する色成分の値に相当する補間量を決定する処理）を施す機能を有するものがある。
【０００４】
一般のカラー画像は、同一の色成分を有する画素の空間的な類似度が強く、異なる色成分を有する画素の空間的な類似度（異なる色成分間の類似度）が弱いという特徴を示す。そのため、補間処理の対象となる画素の補間量を決定する方法として、その画素の周辺に位置し、かつその画素に欠落する色成分を有する画素の色成分の値を用いる方法が一般化している。
【０００５】
例えば、「赤色や青色の色成分を有する画素」の緑色の補間処理を行う場合には、「赤色や青色の色成分を有する画素」に隣接する「緑色の色成分を有する複数の画素（図７では、４つの画素）」の色成分の値の平均値を補間量とする。
ここで、図８に示すようなグレーの縦縞状のカラー画像に対し、このような補間処理を行う場合を考える。
【０００６】
ただし、図８に示す画像が図７に示すカラーフィルタに投影されると、各画素の色成分の値は、図９に示す値になると仮定する。また、図９において、G(0,0)、G(0,2)、…、G(7,7)は緑色の色成分の値を示し、R(0,1)、R(0,3)、…、R(6,7)は赤色の色成分の値を示し、B(1,0)、B(1,2)、…、B(7,6)は青色の色成分の値を示す。
【０００７】
例えば、赤色の色成分を有する画素(4,3)の緑色の補間量G(4,3)は、
【０００８】
【発明が解決しようとする課題】
ところで、図８に示すカラー画像は縦方向の類似度が強いため、G(4,3)はG(3,3)およびG(5,3)との連続性が保持される必要がある。しかし、上述したように
G(4,3)≒８７
とすると、G(4,3)とG(3,3)およびG(5,3)との連続性は、損なわれることになる。
【０００９】
すなわち、グレー画像に対して上述した補間処理を行うと、適切な補間量を求めることができず、原画像にない偽色が生じるという問題があった。また、このような問題は、グレー画像に上述した補間処理を行う場合に限らず、単一色相画像（例えば、セピア色調の画像など）に対して上述した補間処理を行う場合にも発生する。
【００１０】
なお、このような問題は、全てのカラー画像が上述した特性（同一の色成分を有する画素の空間的な類似度が強く、異なる色成分を有する画素の空間的な類似度が弱い）を示すものとして補間処理が行われることに起因する可能性が高い。
【００１１】
ところで、カラー画像の特徴に応じた補間処理を行うために、例えば、グレー画像用の撮影モードと通常のカラー画像用の撮影モードとを切り換える「撮影モードの切り換えスイッチ」を電子スチルカメラの筐体に設ける方法が考えられる。しかし、このような方法では、文書やモノクロのテストチャートを撮影する場合、操作者は、「撮影モードの切り換えスイッチ」を操作してグレー画像用の撮影モードを選択する必要がある。
【００１２】
そこで、請求項１ないし請求項３に記載の発明は、カラー画像の特性を認識し、その特性に適応した補間処理を確実に行うことができる補間装置を提供することを目的とする。
また、請求項４に記載の発明は、カラー画像の特性を認識し、その特性に適応した補間処理を確実に行うことができる補間処理プログラムを記録した記録媒体を提供することを目的とする。
【００１３】
【課題を解決するための手段】
請求項１に記載の補間処理装置は、予め決められた複数の色成分から成る表色系によって示されるカラー画像に対して、画素毎に欠落する色成分の値に相当する補間量を決定する補間処理を施す補間処理装置において、カラー画像の色成分の構成を認識する色構成認識手段と、予め決められた複数の補間処理のうち、色構成認識手段によって認識された色成分の構成に対応する補間処理を選択し、カラー画像に対して選択した補間処理を施す補間処理手段とを備え、補間処理手段は、色構成認識手段で認識された色成分の構成によってカラー画像が単一色相画像であると判断した場合、補間処理の対象となる画素の色成分の値に対する加重を大きくしつつ、該画素の色成分の値と該画素の周辺に位置する画素の色成分の値とを加重加算して該画素の補間量を決定する補間処理を選択する。
【００１５】
請求項２に記載の補間処理装置は、請求項１に記載の補間処理装置において、色構成認識手段は、カラー画像を複数の領域に分割し、各領域内の１画素当たりの色成分の平均値を示す色平均を算出すると共に、各色成分間の色平均の差または比を算出することによって、各領域毎の色成分の構成を認識し、補間処理手段は、全ての領域に対する各色成分間の色平均の差または比が予め決められた範囲内である場合、カラー画像が単一色相画像であると判断する。
【００１６】
ところで、補間処理の対象となるカラー画像が単一色相画像（セピア色調の画像など）である場合、分割された全ての領域において各色成分の構成が酷似する可能性が高い。すなわち、全ての領域について、各色成分間の色平均の差または比は近似する可能性が高い。
そのため、全ての領域に対して各色成分間の色平均の差または比が予め決められた範囲内であることを判定することによって、補間処理の対象となるカラー画像が単一色相画像であるか否かを容易に判定することができる。
【００１７】
請求項３に記載の補間処理装置は、予め決められた複数の色成分から成る表色系によって示されるカラー画像に対して、画素毎に欠落する色成分の値に相当する補間量を決定する補間処理を施す補間処理装置において、カラー画像の色成分の構成を認識する色構成認識手段と、予め決められた複数の補間処理のうち、色構成認識手段によって認識された色成分の構成に対応する補間処理を選択し、カラー画像に対して選択した補間処理を施す補間処理手段とを備え、色構成認識手段は、カラー画像を複数の領域に分割し、各領域内の１画素当たりの色成分の平均値を示す色平均を算出すると共に、各色成分間の色平均の差または比を算出することによって、各領域毎の色成分の構成を認識し、補間処理手段は、全ての領域に対する各色成分間の色平均の差が予め決められた値以下または各色成分間の色平均の比が予め決められた範囲内である場合、カラー画像がグレー画像であると判断し、補間処理の対象となる画素の色成分の値に対する加重を大きくしつつ、該画素の色成分の値と該画素の周辺に位置する画素の色成分の値とを加重加算して該画素の補間量を決定する補間処理を選択する。
【００１８】
ところで、補間処理の対象となるカラー画像がグレー画像である場合、分割された全ての領域において各色成分の色平均が酷似する可能性が高い。すなわち、全ての領域について、各色成分間の色平均の差は０に近似し、各色成分間の色平均の比は１に近似する可能性が高い。
そのため、全ての領域に対する各色成分間の色平均の差が予め決められた値以下であることを判定したり、各色成分間の色平均の比が予め決められた範囲内であることを判定することによって、補間処理の対象となるカラー画像がグレー画像であるか否かを容易に判定することができる。
【００１９】
請求項４に記載の補間処理プログラムを記録した記録媒体は、予め決められた複数の色成分から成る表色系によって示されるカラー画像に対して、画素毎に欠落する色成分の値に相当する補間量を決定する補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体において、カラー画像の色成分の構成を認識する色構成認識手順と、予め決められた複数の補間処理のうち、色構成認識手順によって認識された色成分の構成に対応する補間処理を選択し、カラー画像に対して選択した補間処理を施す補間処理手順とを備え、補間処理手順では、色構成認識手順で認識された色成分の構成によってカラー画像が単一色相画像であると判断した場合、補間処理の対象となる画素の色成分の値に対する加重を大きくしつつ、該画素の色成分の値と該画素の周辺に位置する画素の色成分の値とを加重加算して該画素の補間量を決定する補間処理を選択することを特徴とする補間処理をコンピュータに実行させる補間処理プログラムを記録する。
【００２０】
【発明の実施の形態】
以下、図面に基づいて本発明の実施形態について詳細を説明する。
なお、請求項１ないし請求項３に記載の発明に対応した実施形態については、これらの発明にかかわる補間装置が適用された電子スチルカメラを用いて説明を行う。
【００２１】
（第一の実施形態）
図１は、第一の実施形態の電子スチルカメラの機能ブロック図である。
なお、第一の実施形態は、請求項３に記載の発明に対応した実施形態に相当する。
【００２２】
図１において、電子スチルカメラ１０は、制御部１１、レンズ１２、絞り１３、ＣＦＡ（カラーフィルタアレイ）１４、撮像素子１５、Ａ／Ｄ変換部１６、前置処理部１７、画像処理部１８および記録部１９を有する。
前置処理部１７は、ＡＦ（自動焦点調節）、ＡＥ（自動露出）、ホワイトバランスを行うためのパラメータを決定するパラメータ決定部２０、ホワイトバランスを行うＷＢ処理部２１および色成分の構成を認識する色構成認識部２２を有する。
【００２３】
また、画像処理部１８は、補間処理部２３を有する。さらに、補間処理部２３は、後述する「グレー画像用の補間処理」および「通常のカラー画像用の補間処理」を行う機能を有する。
なお、図１では、説明を簡略化するため、画像処理部１８内に補間処理部２３のみを記載しているが、画像処理部１８内には、例えば、エッジ検出など他の画像処理を行うブロックが設けられても良い。
【００２４】
図１において、制御部１１は、不図示のレンズ駆動部を介してレンズ１２に接続され、不図示の絞り駆動部を介して絞り１３に接続されると共に、撮像素子１５、前置処理部１７、画像処理部１８および記録部１９に接続される。特に、制御部１１は、前置処理部１７との間において双方向に接続される。
なお、請求項３に記載の発明と第一の実施形態との対応関係については、色構成認識手段は、色構成認識部２２に対応し、補間処理手段は、制御部１１の「色平均の差を閾値と比較する機能」および補間処理部２３に対応する。
【００２５】
図２は、第一の実施形態の動作フローチャートである。
以下、図１および図２を参照して第一の実施形態の動作を説明する。
主電源が投入されている状態において、撮像素子１５では、レンズ１２および絞り１３を介して与えられる光学像が光電変換面（図示されない）に結像され、光電変換によって信号電荷が生成される。また、撮像素子１５は、このように生成された信号電荷を走査して画像信号を生成し、Ａ／Ｄ変換部１６に供給する。
【００２６】
なお、画像信号の生成にかかわる処理は、制御部１１によるタイミング制御に基づいて行われる。
Ａ／Ｄ変換部１６は、撮像素子１５から供給された画像信号をＡ／Ｄ変換して画像データを生成する（図２Ｓ１）。なお、第一の実施形態および後述する各実施形態において、画像データは、撮像素子１５の各画素の色成分の値に相当する。
【００２７】
なお、このように生成された画像データは、前置処理部１７に供給されると共に、前置処理部１７内のＷＢ処理部２１によってホワイトバランスが行われて画像処理部１８に供給される。
前置処理部１７内のパラメータ決定部２０は、Ａ／Ｄ変換部１６から供給された画像データに基づき、ＡＦ（自動焦点調節）、ＡＥ（自動露出）を行うためのパラメータを決定して制御部１１に通知すると共に、ホワイトバランスを行うためのパラメータを決定してＷＢ処理部２１に通知する。
【００２８】
このようにしてパラメータが通知されると、制御部１１は、不図示のレンズ駆動部や絞り駆動部を介してＡＦ（自動焦点調節）およびＡＥ（自動露出）を行い、ＷＢ処理部２１は、ホワイトバランスを行う（図２Ｓ２）。
また、制御部１１は、電子スチルカメラ１０の筐体に設けられたレリーズボタン（図示されない）が押下されたか否かを判定する（図２Ｓ３）。
【００２９】
このような判定によってレリーズボタンが押下されていないことが認識される度に、上述した画像データの生成（図２Ｓ１）およびＡＦ（自動焦点調節）、ＡＥ（自動露出）、ホワイトバランス（図２Ｓ３）が繰り返し行われる。
一方、レリーズボタンが押下されたことを認識すると、制御部１１は、前置処理部１７内の色構成認識部２２に対し、「画像データの色成分の構成を認識する処理」の実行を指示する。
【００３０】
色構成認識部２２は、このように指示されると、図３に示すように、重複を許容しつつ、１フレームに相当する画像データをｎ個の領域に分割する（図２Ｓ４）。
ここで、制御部１１は、各領域の識別番号を示す変数ｉに１を代入する（図２Ｓ５）。
色構成認識部２２は、変数ｉが示す領域の１画素当たりの色成分の平均値を示す色平均を算出する（図２Ｓ６）。
【００３１】
なお、第一の実施形態および後述する各実施形態では、各領域内の各色成分の色平均をＲi、Ｇi、Ｂi（i＝1,2,・・・,n）によって示す。
例えば、領域１が８画素×８画素で構成され、各画素の色成分が図９に示す値となる場合、領域１の色平均Ｒ1、Ｇ1、Ｂ1は、
【００３２】
また、色構成認識部２２は、このように色平均を算出すると、各色成分間の色平均の差を算出する（図２Ｓ７）。
すなわち、領域１における各色成分間の色平均の差は、
｜Ｒ1−Ｇ1｜＝４
｜Ｂ1−Ｇ1｜＝４
｜Ｒ1−Ｂ1｜＝８
となる。
【００３３】
なお、このようにして算出された各色成分間の色平均の差は、制御部１１に通知される。
制御部１１は、このように通知された各色成分間の色平均の差が閾値以下となるか否かを判定する（図２Ｓ８）。
例えば、制御部１１は、変数ｉが示す領域において、各色成分間の色平均の差に対して、
（｜Ｒi−Ｇi｜≦Ｔ１）
∩（｜Ｂi−Ｇi｜≦Ｔ２）
∩（｜Ｒi−Ｂi｜≦Ｔ３）
が成り立つか否かを判定する。なお、Ｔ１、Ｔ２およびＴ３は任意の値であるが、第一の実施形態では、
Ｔ１＝Ｔ２＝Ｔ３＝１０
とする。
【００３４】
制御部１１は、このような判定によって各色成分間の色平均の差が閾値以下であることを認識した場合、変数ｉをインクリメントし（図２Ｓ９）、変数ｉがｎを上回ったか否かを判定する（図２Ｓ１０）。
制御部１１は、各色成分間の色平均の差が閾値以下であり、変数ｉがｎ以下であることを認識した場合、色構成認識部２２に対して「変数ｉが示す領域の色平均の算出（図２Ｓ６）」および「各色成分間の色平均の差の算出（図２Ｓ７）」を繰り返し指示し、「色平均の差の判定（図２Ｓ８に相当する）」を繰り返し行う。
【００３５】
また、制御部１１は、このように図２Ｓ６〜Ｓ１０の処理が繰り返し行われている過程で、変数ｉがｎを上回ったことを認識した場合、画像処理部１８内の補間処理部２３に対して、グレー画像用の補間処理の実行を指示する（図２Ｓ１１）。
すなわち、制御部１１は、全ての領域において各色成分間の色平均の差が閾値以下である場合、全ての領域において各色成分の色平均が酷似すると判断し、補間処理の対象となる画像データがグレー画像であるとみなす。
【００３６】
ところで、制御部１１は、「色平均の差の判定（図２Ｓ８に相当する）」によって、各色成分間の色平均の差が閾値を上回ったことを認識した場合、変数ｉの値に関係なく、画像処理部１８内の補間処理部２３に対して、通常のカラー画像用の補間処理の実行を指示する（図２Ｓ１２）。
すなわち、制御部１１は、各色成分間の色平均の差が閾値を上回るような領域が１つでも存在する場合、異なる色成分間の類似度が弱いと判断し、補間処理の対象となる画像データが通常のカラー画像であるとみなす。
【００３７】
補間処理部２３は、制御部１１によってグレー画像用の補間処理の実行が指示されると、補間処理の対象となる画素の色成分の値をその画素の補間量とする。
例えば、赤色の色成分を有する画素(4,3)の緑色の補間量G(4,3)は、
【００３８】
一方、補間処理部２３は、制御部１１によって通常のカラー画像用の補間処理の実行が指示されると、従来の補間処理方法と同様に、補間処理の対象となる画素の周辺に位置し、かつその画素に欠落する色成分を有する画素の色成分の値を用いて補間量を決定する。
なお、このように補間量が決定されることによって、補間処理が施された画像データは、記録部１９を介してメモリカードなどの記録媒体に記録される（図２Ｓ１３）。
【００３９】
以上説明したように、第一の実施形態では、全ての領域において、各色成分の色平均が酷似する場合、画像データにグレー画像用の補間処理を施し、各色成分間の色平均の差が閾値を上回るような領域が１つでも存在する場合、画像データに通常のカラー画像用の補間処理を施す。
ところで、画像データ全体の色平均を算出して色平均の差の判定を行う方法が考えられるが、このような方法では、色平均にばらつきが生じる可能性が高いために色成分の構成を精度良く認識することができない。一方、第一の実施形態では、画像データを複数の領域に分割して領域単位で色平均を算出しているため、色成分の構成を精度良く認識することができる。
【００４０】
すなわち、第一の実施形態では、補間処理の対象となる画像データがグレー画像であるか、通常のカラー画像であるかの判定を容易に、かつ精度良く行うことができ、このような判定結果に応じて画像データの色成分の構成に適した補間処理を選択することができる。
したがって、第一の実施形態によれば、速やかに、かつ的確に補間処理を行うことができる。
【００４１】
なお、第一の実施形態では、補間処理の対象となる画像データの色成分の構成を認識する際、図２Ｓ８に示すように、各色成分間の色平均の差が閾値以下であるか否かを判定しているが、各色成分間の色平均の比が所定範囲内であるか否かを判定しても良い。
例えば、変数ｉが示す領域の色平均に対して、
（｜Ｒi／Ｇi−１｜≦Ｔ４）
∩（｜Ｂi／Ｇi−１｜≦Ｔ５）
∩（｜Ｒi／Ｂi−１｜≦Ｔ６）
が成り立つか否かを判定しても良い。なお、Ｔ４、Ｔ５およびＴ６は、任意の値であるが、例えば、
Ｔ４＝Ｔ５＝Ｔ６＝０．０５
が考えられる。
【００４２】
また、第一の実施形態では、画像データを複数の領域に分割する際、１つの領域の大きさを８画素×８画素としているが、単位面積当たりの画素数が多い撮像素子を用いる場合、各領域毎の色平均にばらつきが生じる可能性が高いため、各領域の大きさを狭くしても良い。また、単位面積当たりの画素数が少ない撮像素子を用いる場合、各領域の大きさを広くしても良い。
【００４３】
さらに、第一の実施形態では、領域毎に「色平均の算出」と「各色成分間の色平均の差の算出」とを行った直後に「色平均の差の判定」を行っているが、例えば、全ての領域における各色成分間の色平均の差を算出した後に、各領域毎に「色平均の差の判定」を行っても良い。
（第二の実施形態）
図４は、第二の実施形態の動作フローチャートである。
【００４４】
なお、第二の実施形態は、請求項１および請求項２に記載の発明に対応した実施形態に相当する。
ところで、第二の実施形態の特徴は、「色成分の構成を認識する処理」および「補間処理」の方法にあり、ハードウエアの構成については、図１に示す第一の実施形態と同じであるから、ここでは、その説明を省略する。
【００４５】
ただし、第二の実施形態では、補間処理部２３は、後述する「単一色相画像用の補間処理」および「通常のカラー画像用の補間処理」を行う機能を有する。
また、図４Ｓ１〜Ｓ６、Ｓ９、Ｓ１０およびＳ１３の処理は、図２に示す第一の実施形態の処理（図２Ｓ１〜Ｓ６、Ｓ９、Ｓ１０およびＳ１３）と同じであるため、詳細な動作の説明を省略する。
【００４６】
なお、請求項１および請求項２に記載の発明と第二の実施形態との対応関係については、色構成認識手段は、色構成認識部２２に対応し、補間処理手段は、制御部１１の「色平均の比が所定範囲内であるか否かを判定する機能」および補間処理部２３に対応する。
【００４７】
以下、図１および図４を参照して第二の実施形態の動作を説明する。
制御部１１は、第一の実施形態と同様に、レリーズボタンが押下されたことを認識すると、前置処理部１７内の色構成認識部２２に対し、「画像データの色成分の構成を認識する処理」の実行を指示する。
色構成認識部２２は、このように指示されると、第一の実施形態と同様に、画像データをｎ個の領域に分割する（図４Ｓ４）。
【００４８】
ここで、制御部１１は、第一の実施形態と同様に、各領域の識別番号を示す変数ｉに１を代入する（図４Ｓ５）。
色構成認識部２２は、第一の実施形態と同様に、変数ｉが示す領域の色平均を算出する（図４Ｓ６）と共に、色成分間の色平均の比を算出する（図４Ｓ７）。すなわち、色構成認識部２２は、変数ｉが示す領域における各色成分間の色平均の比として
Ｒi／Ｇi
Ｂi／Ｇi
Ｒi／Ｂi
を算出する。
【００４９】
なお、このようにして算出された各色成分間の色平均の比は、制御部１１に通知される。
制御部１１は、このように通知された各色成分間の色平均の比が所定範囲内か否かを判定する（図４Ｓ８）。
例えば、制御部１１は、変数ｉが示す領域において、各色成分間の色平均の比に対して、
（｜Ｒi／Ｇi−Ｔ１０｜≦Ｔ１１）
∩（｜Ｂi／Ｇi−Ｔ２０｜≦Ｔ２１）
∩（｜Ｒi／Ｂi−Ｔ３０｜≦Ｔ３１）
が成り立つか否かを判定する。
【００５０】
なお、Ｔ１０、Ｔ１１、Ｔ２０、Ｔ２１、Ｔ３０およびＴ３１は任意の値であるが、第二の実施形態では、
Ｔ１０＝Ｒ1／Ｇ1
Ｔ１１＝Ｔ１０×０．０５
Ｔ２０＝Ｂ1／Ｇ1
Ｔ２１＝Ｔ２０×０．０５
Ｔ３０＝Ｒ1／Ｂ1
Ｔ３１＝Ｔ３０×０．０５
とする。すなわち、第二の実施形態では、領域１における各色成分間の色平均の比を基準として、全ての領域において各色成分間の色平均の比が酷似するか否かを判定する。
【００５１】
制御部１１は、このような判定によって各色成分間の色平均の比が所定範囲内であることを認識した場合、変数ｉをインクリメントし（図４Ｓ９）、変数ｉがｎを上回ったか否かを判定する（図４Ｓ１０）。
制御部１１は、各色成分間の色平均の比が所定範囲内であり、変数ｉがｎ以下であることを認識した場合、色構成認識部２２に対して「変数ｉが示す領域の色平均の算出（図４Ｓ６）」および「色成分間の色平均の比の算出（図４Ｓ７）」を繰り返し指示し、「色平均の比の判定（図４Ｓ８に相当する）」を繰り返し行う。
【００５２】
また、制御部１１は、このように図４Ｓ６〜Ｓ１０の処理が繰り返し行われている過程で、変数ｉがｎを上回ったことを認識した場合、画像処理部１８内の補間処理部２３に対して、単一色相画像用の補間処理の実行を指示する（図４Ｓ１１）。
すなわち、制御部１１は、全ての領域において各色成分間の色平均の比が上述した所定範囲内である場合、全ての領域において各色成分間の色平均の比が酷似すると判断し、補間処理の対象となる画像データが単一色相画像であるとみなす。
【００５３】
ところで、制御部１１は、「色平均の比の判定（図４Ｓ８に相当する）」によって各色成分間の色平均の比が所定範囲外であることを認識した場合、変数ｉの値に関係なく、画像処理部１８内の補間処理部２３に対して、通常のカラー画像用の補間処理の実行を指示する（図４Ｓ１２）。
すなわち、制御部１１は、各色成分間の色平均の比が所定範囲外となるような領域が１つでも存在する場合、異なる色成分間の類似度が弱いと判断し、補間処理の対象となる画像データが通常のカラー画像であるとみなす。
【００５４】
補間処理部２３は、制御部１１によって単一色相画像用の補間処理の実行が指示されると、補間処理の対象となる画素の色成分の値と、その画素の周辺に位置する画素の色成分の値とを加重加算して補間量を決定する。ただし、補間処理の対象となる画素の色成分の値に対する加重を大きくする。
例えば、補間処理部２３は、赤色の色成分を有する画素(4,3) に対する緑色の補間量G(4,3)および青色の補間量B(4,3)を以下のように算出する。
【００５５】
G(4,3)＝Q11×R(4,3)＋Q12×(G(3,3)＋G(4,2)＋G(4,4)＋G(5,3))／４
B(4,3)＝Q21×R(4,3)＋Q22×(B(3,2)＋B(5,2)＋B(3,4)＋B(5,4))／４
ただし、Q11、Q12、Q21およびQ22は、
Q11＋Q12＝1
Q11＞Q12
Q21＋Q22＝1
Q21＞Q22
を満足する重み係数である。
【００５６】
なお、重み係数に、補間処理の対象となる画素からの距離に反比例する条件を反映する場合には、例えば、
Q11＝４／５
Q12＝１／４
Q21＝７／８
Q22＝１／８
のように、Q11、Q12、Q21およびQ22に対して
Q21−Q22＞Q11−Q12
の条件を付加しても良い。
【００５７】
さらに、重み係数に、色成分の構成を反映する場合には、例えば、
f(Ｘ)＝Ｘ／１００
とし、Q11、Q12、Q21およびQ22を
Q11＝１−f(｜Ｒ1−Ｇ1｜)
Q12＝f(｜Ｒ1−Ｇ1｜)
Q21＝１−f(｜Ｒ1−Ｂ1｜)／２
Q22＝f(｜Ｒ1−Ｇ1｜)／２
としても良い。
【００５８】
なお、緑色の色成分を有する画素(3,3)に対する赤色の補間量R(3,3)および青色の補間量B(3,3)については、以下のように算出する。
R(3,3)＝Q31×G(3,3)＋Q32×(R(2,3)＋R(4,3))／２
B(3,3)＝Q41×G(3,3)＋Q42×(B(3,2)＋B(3,4))／２
ただし、Q31、Q32、Q41およびQ42は、
Q31＋Q32＝１
Q31＞Q32
Q41＋Q42＝１
Q41＞Q42
を満足する重み係数である。
【００５９】
ところで、補間処理部２３は、上述したように制御部１１によって通常のカラー画像用の補間処理の実行が指示されると、従来の補間処理方法と同様に、補間処理の対象となる画素の周辺に位置し、かつその画素に欠落する色成分を有する画素の色成分の値を用いて補間量を決定する。
【００６０】
以上説明したように、第二の実施形態では、全ての領域において、各色成分の色平均の比が酷似する場合、画像データに単一色相画像用の補間処理を施し、各色成分間の色平均の比が所定範囲外となる領域が１つでも存在する場合、画像データに通常のカラー画像用の補間処理を施す。
ところで、第二の実施形態では、第一の実施形態と同様に、画像データを複数の領域に分割して領域単位で色平均を算出しているため、色成分の構成を精度良く認識することができる。
【００６１】
すなわち、第二の実施形態では、補間処理の対象となる画像データが単一色相画像であるか、通常のカラー画像であるかの判定を容易に、かつ精度良く行うことができ、このような判定結果に応じて画像データの色成分の構成に適した補間処理を選択することができる。
したがって、第二の実施形態によれば、速やかに、かつ的確に補間処理を行うことができる。
【００６２】
なお、第二の実施形態では、補間処理の対象となる画像データの色成分の構成を認識する際、図４Ｓ８に示すように、各色成分間の色平均の比が所定範囲内であるか否かを判定しているが、各色成分間の色平均の差が所定範囲内であるか否かを判定しても良い。
例えば、変数ｉが示す領域の色平均に対して、
（｜Ｒi−Ｇi−Ｔ４０｜≦Ｔ４１）
∩（｜Ｂi−Ｇi−Ｔ５０｜≦Ｔ５１）
∩（｜Ｒi−Ｂi−Ｔ６０｜≦Ｔ６１）
が成り立つか否かを判定しても良い。なお、Ｔ４０、Ｔ４１、Ｔ５０、Ｔ５１、Ｔ６０およびＴ６１は、任意の値であるが、例えば、
Ｔ４０＝Ｒ1−Ｇ1
Ｔ５０＝Ｂ1−Ｇ1
Ｔ６０＝Ｒ1−Ｂ1
Ｔ４１＝Ｔ５１＝Ｔ６１＝１０
が考えられる。
【００６３】
また、第二の実施形態では、補間処理の対象となる画素（補間対象画素）の色成分の値に対する加重を大きくしつつ、補間対象画素の色成分の値と補間対象画素の周辺に位置する画素の色成分の値とを加重加算して補間対象画素の補間量を決定して単一色相画像用の補間処理を行っているが、補間対象画素の色成分の値をその画素の補間量として補間処理を行っても良い。
さらに、第二の実施形態では、領域毎に「色平均の算出」と「各色成分間の色平均の差の算出」とを行った直後に「色平均の比の判定」を行っているが、例えば、全ての領域における各色成分間の色平均の差を算出した後に、各領域毎に「色平均の比の判定」と行っても良い。
【００６４】
ところで、上述した第一の実施形態では、画像データがグレー画像であることを認識した際にグレー画像用の補間処理を行い、第二の実施形態では、画像データが単一色相画像であることを認識した際に単一色相画像用の補間処理を行うが、「グレー画像用の補間処理」、「単一色相画像用の補間処理」および「通常のカラー画像用の補間処理」を行う機能を有する補間処理部を設け、第一の実施形態と第二の実施形態とを組み合わせることによって、グレー画像、単一色相画像（グレー画像を除く）および通常のカラー画像を認識し、各画像に適応した補間処理を行っても良い。
【００６５】
また、グレー画像や単一色相画像に限定されず、色成分の構成に応じて特徴が認識できる画像であれば、その特徴に適応した補間処理を行うこともできる。
（第三の実施形態）
図５は、第三の実施形態の機能ブロック図である。
なお、第三の実施形態は、請求項４に記載の「補間処理プログラムを記録した記録媒体」を用い、パーソナルコンピュータによって補間処理を行うことに相当する。
【００６６】
図５において、機能が図１に示す機能ブロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。
なお、図５に示す電子スチルカメラ５０と図１に示す電子スチルカメラ１０との構成の相違点は、制御部５１、前置処理部５２および画像処理部５３が制御部１１、前置処理部１７および画像処理部１８に代えて設けられた点である。
【００６７】
また、図５において、パーソナルコンピュータ６０は、ＣＰＵ６１、記録再生部６２および画像メモリ６３を有する。
ＣＰＵ６１は、記録再生部６２および画像メモリ６３に接続される。記録再生部６２の出力は、画像メモリ６３に接続され、画像メモリ６３の出力は、ＣＰＵ６１および記録再生部６２に接続される。また、ＣＰＵ６１の出力は、画像メモリ６３に接続される。
【００６８】
ところで、ＣＤ−ＲＯＭ６４には、図１の色構成認識部２２および補間処理部２３によって行われる図２Ｓ４〜Ｓ１２または図４Ｓ４〜Ｓ１２に相当する処理をＣＰＵ６１に実行させるための補間処理プログラムが記録されている。
また、第三の実施形態において、ＣＰＵ６１には、このような補間処理プログラムが予めインストールされていることとする。
【００６９】
なお、請求項４に記載の「補間処理プログラムを記録した記録媒体」は、ＣＤ−ＲＯＭ６４に対応し、色構成認識手順および補間処理手順は、ＣＰＵ６１によって行われる「画像データの色成分の構成を認識する機能」および「補間処理を行う機能」に対応する。
図６は、第三の実施形態の動作フローチャートである。
【００７０】
以下、図５および図６を参照して第三の実施形態の動作を説明する。
まず、電子スチルカメラ５０の動作について説明する。
主電源が投入されている状態において、撮像素子１５では、第一の実施形態と同様に画像信号が生成され、Ａ／Ｄ変換部１６では、第一の実施形態と同様に、画像信号をＡ／Ｄ変換して画像データを生成する（図６Ｓ１）。
【００７１】
このように生成された画像データは、前置処理部５２に供給されると共に、前置処理部５２内でホワイトバランスが行われて画像処理部５３に供給される。
前置処理部５２では、Ａ／Ｄ変換部１６から供給された画像データに基づき、ＡＦ（自動焦点調節），ＡＥ（自動露出），ホワイトバランスを行うためのパラメータを決定する。
【００７２】
制御部５１は、このように決定されたＡＦ（自動焦点調節）およびＡＥ（自動露出）に応じて不図示のレンズ駆動部や絞り駆動部を介してＡＦ（自動焦点調節）およびＡＥ（自動露出）を行い、前置処理部５２は、ホワイトバランスを行うためのパラメータに応じてホワイトバランスを行う（図６Ｓ２）。
また、制御部５１は、電子スチルカメラ５０の筐体に設けられたレリーズボタン（図示されない）が押下されたか否かを判定する（図６Ｓ３）。
【００７３】
制御部５１は、レリーズボタンが押下されたことを認識すると、画像処理部５３および記録部１９に対して、画像データをメモリカード５４に記録することを指示する（図６Ｓ４）。
なお、本実施形態おいて、画像処理部５３は、前置処理部５２から供給された画像データに対して画像処理を行わず、記録部１９に直接供給することとする。
【００７４】
記録部１９は、画像データを画像ファイルの形式でメモリカード５４に記録すると共に、画像ファイルのヘッダ部に設けられた「補間要求フラグ」（画像データが補間処理を必要とする旨を示すフラグ）を立てる。
次に、パーソナルコンピュータ６０の動作について説明する。
パーソナルコンピュータ６０において、画像ファイルが記録されたメモリカード５４が装着されると、ＣＰＵ６１は、記録再生部６２を介して画像ファイルのヘッダ部を読み出す（図６Ｓ５）。
【００７５】
ＣＰＵ６１は、このようにして画像ファイルのヘッダ部を読み出すと、「補間要求フラグ」が立っているか否かを判定する（図６Ｓ６）。
ＣＰＵ６１は、このような判定によって「補間要求フラグ」が立っていることを認識した場合に限り、記録再生部６２を介してメモリカード５４内の画像データを読み出して画像メモリ６３に格納する（図６Ｓ７）。
【００７６】
また、ＣＰＵ６１は、上述した補間処理プログラムを実行することによって、画像メモリ６３内の画像データに対し、「色成分の構成を認識する処理」および「補間処理」を行う（図６Ｓ８）。
すなわち、ＣＰＵ６１は、図１の色構成認識部２２および補間処理部２３によって行われる図２Ｓ４〜Ｓ１２または図４Ｓ４〜Ｓ１２に相当する処理を行う。
【００７７】
ＣＰＵ６１は、このような処理が終了した時点で、補間処理が施された画像データを記録再生部６２を介してメモリカード５４に再度記録する（図６Ｓ９）。なお、補間処理が施された画像データをメモリカード５４に記録するか否かは、操作者がパーソナルコンピュータ６０の入力装置（例えば、キーボードなど）によって選択できるようにしても良い。
【００７８】
以上説明したように、第三の実施形態では、第一の実施形態または第二の実施形態と同様の補間処理をパーソナルコンピュータ６０によって行うことができる。
したがって、第三の実施形態によれば、第一の実施形態または第二の実施形態と同様に、速やかに、かつ的確に補間処理を行うことができる。
なお、本実施形態では、パーソナルコンピュータ６０は補間処理を行うべき画像データをメモリカード５４を介して取得しているが、このような画像データを取得する方法については、如何なる方法であっても良い。
【００７９】
例えば、通信手段を備えたパーソナルコンピュータに本発明を適用する場合、その通信手段を介して与えられる画像データに対して補間処理を行うことも可能である。
【００８０】
【発明の効果】
上述したように、請求項１および請求項４に記載の発明では、補間処理の対象となるカラー画像の色成分の構成を認識し、予め決められた複数の補間処理のうち、カラー画像の色成分の構成に対応する補間処理を選択することができる。
すなわち、カラー画像の特性に適応した補間処理を確実に行うことができる。
【００８１】
請求項１および請求項４に記載の発明では、補間処理の対象となるカラー画像が単一色相画像であると判断した場合、単一色相画像に適した補間処理を確実に行うことができる。
請求項２に記載の発明では、補間処理の対象となるカラー画像が単一色相画像であるか否かを容易に、かつ確実に判断することができる。
【００８２】
請求項３に記載の発明では、補間処理の対象となるカラー画像がグレー画像であるか否かを容易に、かつ確実に判断することができる。また、補間処理の対象となるカラー画像がグレー画像である場合には、グレー画像に適した補間処理を行うことができる。
したがって、請求項１ないし請求項４の何れか一項に記載の発明によれば、偽色が少なく高解像度のカラー画像を得ることができる。
【図面の簡単な説明】
【図１】電子スチルカメラの機能ブロック図である。
【図２】第一の実施形態の動作フローチャートである。
【図３】画像データを分割する例を示す図である。
【図４】第二の実施形態の動作フローチャートである。
【図５】第三の実施形態の機能ブロック図である。
【図６】第三の実施形態の動作フローチャートである。
【図７】カラーフィルタの構成を示す図である。
【図８】グレーの縦縞状の画像の一部を示す図である。
【図９】各画素の色成分の値を示す図である。
【符号の説明】
１０、５０ 電子スチルカメラ
１１、５１ 制御部
１２ レンズ
１３ 絞り
１４ ＣＦＡ（カラーフィルタアレイ）
１５ 撮像素子
１６ Ａ／Ｄ変換部
１７、５２ 前置処理部
１８、５３ 画像処理部
１９ 記録部
２０ パラメータ決定部
２１ ＷＢ処理部
２２ 色構成認識部
２３ 補間処理部
５４ メモリカード
６０ パーソナルコンピュータ
６１ ＣＰＵ
６２ 記録再生部
６３ 画像メモリ
６４ ＣＤ−ＲＯＭ
Claims (4)
- 予め決められた複数の色成分から成る表色系によって示されるカラー画像に対して、画素毎に欠落する色成分の値に相当する補間量を決定する補間処理を施す補間処理装置において、
前記カラー画像の色成分の構成を認識する色構成認識手段と、
予め決められた複数の補間処理のうち、前記色構成認識手段によって認識された色成分の構成に対応する補間処理を選択し、前記カラー画像に対して選択した補間処理を施す補間処理手段とを備え、
前記補間処理手段は、
前記色構成認識手段で認識された色成分の構成によって前記カラー画像が単一色相画像であると判断した場合、補間処理の対象となる画素の色成分の値に対する加重を大きくしつつ、該画素の色成分の値と該画素の周辺に位置する画素の色成分の値とを加重加算して該画素の補間量を決定する補間処理を選択する
ことを特徴とする補間処理装置。 - 請求項１に記載の補間処理装置において、
前記色構成認識手段は、
前記カラー画像を複数の領域に分割し、各領域内の１画素当たりの色成分の平均値を示す色平均を算出すると共に、各色成分間の色平均の差または比を算出することによって、各領域毎の色成分の構成を認識し、
前記補間処理手段は、
全ての領域に対する各色成分間の色平均の差または比が予め決められた範囲内である場合、前記カラー画像が単一色相画像であると判断する
ことを特徴とする補間処理装置。 - 予め決められた複数の色成分から成る表色系によって示されるカラー画像に対して、画素毎に欠落する色成分の値に相当する補間量を決定する補間処理を施す補間処理装置において、
前記カラー画像の色成分の構成を認識する色構成認識手段と、
予め決められた複数の補間処理のうち、前記色構成認識手段によって認識された色成分の構成に対応する補間処理を選択し、前記カラー画像に対して選択した補間処理を施す補間処理手段とを備え、
前記色構成認識手段は、
前記カラー画像を複数の領域に分割し、各領域内の１画素当たりの色成分の平均値を示す色平均を算出すると共に、各色成分間の色平均の差または比を算出することによって、各領域毎の色成分の構成を認識し、
前記補間処理手段は、
全ての領域に対する各色成分間の色平均の差が予め決められた値以下または各色成分間の色平均の比が予め決められた範囲内である場合、前記カラー画像がグレー画像であると判断し、補間処理の対象となる画素の色成分の値に対する加重を大きくしつつ、該画素の色成分の値と該画素の周辺に位置する画素の色成分の値とを加重加算して該画素の補間量を決定する補間処理を選択する
ことを特徴とする補間処理装置。 - 予め決められた複数の色成分から成る表色系によって示されるカラー画像に対して、画素毎に欠落する色成分の値に相当する補間量を決定する補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体において、
前記カラー画像の色成分の構成を認識する色構成認識手順と、
予め決められた複数の補間処理のうち、前記色構成認識手順によって認識された色成分の構成に対応する補間処理を選択し、前記カラー画像に対して選択した補間処理を施す補間処理手順とを備え、
前記補間処理手順では、
前記色構成認識手順で認識された色成分の構成によって前記カラー画像が単一色相画像 であると判断した場合、補間処理の対象となる画素の色成分の値に対する加重を大きくしつつ、該画素の色成分の値と該画素の周辺に位置する画素の色成分の値とを加重加算して該画素の補間量を決定する補間処理を選択する
ことを特徴とする補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13656098A JP4045645B2 (ja) | 1998-05-19 | 1998-05-19 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| US09/313,656 US6487309B1 (en) | 1998-05-19 | 1999-05-18 | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13656098A JP4045645B2 (ja) | 1998-05-19 | 1998-05-19 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11331860A JPH11331860A (ja) | 1999-11-30 |
| JP4045645B2 true JP4045645B2 (ja) | 2008-02-13 |
Family
ID=15178100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13656098A Expired - Lifetime JP4045645B2 (ja) | 1998-05-19 | 1998-05-19 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6487309B1 (ja) |
| JP (1) | JP4045645B2 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4162111B2 (ja) * | 1999-07-27 | 2008-10-08 | 富士フイルム株式会社 | 画像処理方法および装置並びに記録媒体 |
| US7158183B1 (en) * | 1999-09-03 | 2007-01-02 | Nikon Corporation | Digital camera |
| JP4748278B2 (ja) * | 1999-12-21 | 2011-08-17 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP4599672B2 (ja) | 1999-12-21 | 2010-12-15 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| EP1377072A4 (en) * | 2001-03-05 | 2006-09-13 | Nikon Corp | PROGRAM AND DEVICE FOR PROCESSING IMAGES |
| JP3796422B2 (ja) * | 2001-09-14 | 2006-07-12 | キヤノン株式会社 | 変換データ調整方法、装置およびプログラム |
| US6995791B2 (en) * | 2002-04-02 | 2006-02-07 | Freescale Semiconductor, Inc. | Automatic white balance for digital imaging |
| JP3984858B2 (ja) * | 2002-05-01 | 2007-10-03 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| JP4066803B2 (ja) * | 2002-12-18 | 2008-03-26 | 株式会社ニコン | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ |
| JP4305071B2 (ja) * | 2003-06-30 | 2009-07-29 | 株式会社ニコン | 信号補正方法 |
| KR100744111B1 (ko) * | 2004-11-12 | 2007-08-01 | 삼성전자주식회사 | 영상 신호의 회색 성분 보상 장치 |
| JP4840740B2 (ja) * | 2004-12-01 | 2011-12-21 | 株式会社メガチップス | 画素補間方法および画像判定方法 |
| KR100721338B1 (ko) * | 2004-12-30 | 2007-05-28 | 엘지전자 주식회사 | 디지털 촬영장치의 색상 보간법 |
| US7881563B2 (en) * | 2006-02-15 | 2011-02-01 | Nokia Corporation | Distortion correction of images using hybrid interpolation technique |
| JP4682070B2 (ja) * | 2006-03-23 | 2011-05-11 | Ｈｏｙａ株式会社 | 画像信号処理装置 |
| JP5006731B2 (ja) * | 2007-07-31 | 2012-08-22 | キヤノン株式会社 | 画像形成装置及び画像補正方法 |
| JP5144161B2 (ja) * | 2007-07-31 | 2013-02-13 | キヤノン株式会社 | カラー画像形成装置及びカラー画像形成方法 |
| JP4950798B2 (ja) * | 2007-07-31 | 2012-06-13 | キヤノン株式会社 | 画像形成装置とその制御方法、及び、コンピュータプログラム |
| JP5074851B2 (ja) * | 2007-07-31 | 2012-11-14 | キヤノン株式会社 | 画像形成装置および画像形成方法 |
| KR101516963B1 (ko) * | 2008-12-11 | 2015-05-04 | 삼성전자주식회사 | 유효 영역을 이용한 자동 화이트 밸런스 조정 장치 및 방법 |
| JP5191407B2 (ja) * | 2009-01-20 | 2013-05-08 | 三洋電機株式会社 | 画像処理装置 |
| KR101590771B1 (ko) * | 2009-08-27 | 2016-02-02 | 삼성전자주식회사 | 유효 영역 검출을 통한 자동 화이트 밸런스 조정 장치 및 방법 |
| US8340462B1 (en) * | 2011-02-14 | 2012-12-25 | DigitalOptics Corporation Europe Limited | Pixel mapping using a lookup table and linear approximation |
| US8577186B1 (en) | 2011-02-14 | 2013-11-05 | DigitalOptics Corporation Europe Limited | Forward interpolation approach using forward and backward mapping |
| US8675115B1 (en) | 2011-02-14 | 2014-03-18 | DigitalOptics Corporation Europe Limited | Forward interpolation approach for constructing a second version of an image from a first version of the image |
| JP6865589B2 (ja) * | 2017-01-10 | 2021-04-28 | キヤノン株式会社 | 撮像装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5970091A (ja) * | 1982-10-13 | 1984-04-20 | Nippon Kogaku Kk <Nikon> | 電子スチルカメラ |
| US5317426A (en) * | 1990-11-26 | 1994-05-31 | Konica Corporation | Color estimation method for expanding a color image for reproduction in a different color gamut |
| US5363218A (en) * | 1990-11-26 | 1994-11-08 | Konica Corporation | Color estimation method for compressing color image data for image reproduction |
| JPH09261535A (ja) * | 1996-03-25 | 1997-10-03 | Sharp Corp | 撮像装置 |
-
1998
- 1998-05-19 JP JP13656098A patent/JP4045645B2/ja not_active Expired - Lifetime
-
1999
- 1999-05-18 US US09/313,656 patent/US6487309B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6487309B1 (en) | 2002-11-26 |
| JPH11331860A (ja) | 1999-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4045645B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| US8345127B2 (en) | Image processing apparatus and method of processing image for reducing noise of the image | |
| JP5791336B2 (ja) | 画像処理装置及びその制御方法 | |
| EP2063390B1 (en) | Image processing device and its program | |
| US6836572B2 (en) | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein | |
| US7667738B2 (en) | Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera | |
| EP2323374A1 (en) | Image pickup apparatus, image pickup method, and program | |
| JP2004088149A (ja) | 撮像システムおよび画像処理プログラム | |
| US20090002518A1 (en) | Image processing apparatus, method, and computer program product | |
| JP4329542B2 (ja) | 画素の類似度判定を行う画像処理装置、および画像処理プログラム | |
| JP7285791B2 (ja) | 画像処理装置、および出力情報制御方法、並びにプログラム | |
| KR100867049B1 (ko) | 화상 보정 장치 및 화상 보정 방법 | |
| EP1109411A1 (en) | Interpolation processor and recording medium recording interpolation processing program | |
| JP2007184888A (ja) | 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム | |
| CN101854462A (zh) | 图像处理设备、图像处理方法和计算机程序 | |
| JP3862506B2 (ja) | 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 | |
| US11330177B2 (en) | Image processing apparatus and image processing method | |
| JP5414216B2 (ja) | 撮像装置、その制御方法及びプログラム | |
| KR101612853B1 (ko) | 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 | |
| JP2000069492A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| JP2002247410A (ja) | 画像処理装置、画像処理方法および記録媒体 | |
| JP5056006B2 (ja) | 撮像装置およびプログラム | |
| JPH1042151A (ja) | 画像処理装置及び方法 | |
| JPH1013845A (ja) | 画像処理装置 | |
| JP3801177B2 (ja) | 画像処理装置、画像処理プログラム、および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050413 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071112 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |