JPH11331860A - 補間処理装置および補間処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、予め決められた複数の色成分から
成る表色系によって示されるカラー画像に対して、画素
毎に欠落する色成分の値に相当する補間量を決定する補
間処理を施す補間処理装置およびこのような補間処理を
コンピュータに実行させる補間処理プログラムを記録し
た記録媒体に関し、カラー画像の特性を認識し、その特
性に適応した補間処理を確実に行うことを目的とする。 【解決手段】 予め決められた複数の色成分から成る表
色系によって示されるカラー画像に対して、画素毎に欠
落する色成分の値に相当する補間量を決定する補間処理
を施す補間処理装置において、カラー画像の色成分の構
成を認識する色構成認識手段と、予め決められた複数の
補間処理のうち、色構成認識手段によって認識された色
成分の構成に対応する補間処理を選択し、カラー画像に
対して選択した補間処理を施す補間処理手段とを備えて
構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、予め決められた複
数の色成分から成る表色系によって示されるカラー画像
に対して、画素毎に欠落する色成分の値に相当する補間
量を決定する補間処理を施す補間処理装置およびこのよ
うな補間処理をコンピュータに実行させる補間処理プロ
グラムを記録した記録媒体に関する。

【０００２】

【従来の技術】従来から、電子スチルカメラでは、複数
の色（例えば、ＲＧＢ：赤色・緑色・青色）のカラーフ
ィルタから成るＣＦＡ（カラーフィルタアレイ）を透過
した被写体像を撮像することによってカラー画像が生成
されている。ＣＦＡ（カラーフィルタアレイ）には、図
７に示すようにＲＧＢの３色のカラーフィルタがベイア
配列されて構成されるものがある。このような構成のＣ
ＦＡ（カラーフィルタアレイ）を透過した被写体像を撮
像する撮像素子では、個々の画素において１色の色情報
が生成される。

【０００３】すなわち、３つの色成分から成る表色系に
よって示されるカラー画像であっても、個々の画素で
は、１つの色成分しか得られないことになる。そこで、
電子スチルカメラやカラー画像を画像処理の対象とする
画像処理装置には、画素単位で全ての色成分を得るた
め、ディジタル化したカラー画像に対して補間処理（欠
落する色成分の値に相当する補間量を決定する処理）を
施す機能を有するものがある。

【０００４】一般のカラー画像は、同一の色成分を有す
る画素の空間的な類似度が強く、異なる色成分を有する
画素の空間的な類似度（異なる色成分間の類似度）が弱
いという特徴を示す。そのため、補間処理の対象となる
画素の補間量を決定する方法として、その画素の周辺に
位置し、かつその画素に欠落する色成分を有する画素の
色成分の値を用いる方法が一般化している。

【０００５】例えば、「赤色や青色の色成分を有する画
素」の緑色の補間処理を行う場合には、「赤色や青色の
色成分を有する画素」に隣接する「緑色の色成分を有す
る複数の画素（図７では、４つの画素）」の色成分の値
の平均値を補間量とする。ここで、図８に示すようなグ
レーの縦縞状のカラー画像に対し、このような補間処理
を行う場合を考える。

【０００６】ただし、図８に示す画像が図７に示すカラ
ーフィルタに投影されると、各画素の色成分の値は、図
９に示す値になると仮定する。また、図９において、G
(0,0)、G(0,2)、…、G(7,7)は緑色の色成分の値を示
し、R(0,1)、R(0,3)、…、R(6,7)は赤色の色成分の値を
示し、B(1,0)、B(1,2)、…、B(7,6)は青色の色成分の値
を示す。

【０００７】例えば、赤色の色成分を有する画素(4,3)
の緑色の補間量G(4,3)は、 G(4,3)＝（G(3,3)＋G(4,2)＋G(4,4)＋G(5,3)）／４ ＝（３４＋３８＋２５５＋２３）／４ ≒８７ となる。

【０００８】

【発明が解決しようとする課題】ところで、図８に示す
カラー画像は縦方向の類似度が強いため、G(4,3)はG(3,
3)およびG(5,3)との連続性が保持される必要がある。し
かし、上述したように G(4,3)≒８７ とすると、G(4,3)とG(3,3)およびG(5,3)との連続性は、
損なわれることになる。

【０００９】すなわち、グレー画像に対して上述した補
間処理を行うと、適切な補間量を求めることができず、
原画像にない偽色が生じるという問題があった。また、
このような問題は、グレー画像に上述した補間処理を行
う場合に限らず、単一色相画像（例えば、セピア色調の
画像など）に対して上述した補間処理を行う場合にも発
生する。

【００１０】なお、このような問題は、全てのカラー画
像が上述した特性（同一の色成分を有する画素の空間的
な類似度が強く、異なる色成分を有する画素の空間的な
類似度が弱い）を示すものとして補間処理が行われるこ
とに起因する可能性が高い。

【００１１】ところで、カラー画像の特徴に応じた補間
処理を行うために、例えば、グレー画像用の撮影モード
と通常のカラー画像用の撮影モードとを切り換える「撮
影モードの切り換えスイッチ」を電子スチルカメラの筐
体に設ける方法が考えられる。しかし、このような方法
では、文書やモノクロのテストチャートを撮影する場
合、操作者は、「撮影モードの切り換えスイッチ」を操
作してグレー画像用の撮影モードを選択する必要があ
る。

【００１２】そこで、請求項１ないし請求項５に記載の
発明は、カラー画像の特性を認識し、その特性に適応し
た補間処理を確実に行うことができる補間装置を提供す
ることを目的とする。また、請求項６に記載の発明は、
カラー画像の特性を認識し、その特性に適応した補間処
理を確実に行うことができる補間処理プログラムを記録
した記録媒体を提供することを目的とする。

【００１３】

【課題を解決するための手段】請求項１に記載の補間処
理装置は、予め決められた複数の色成分から成る表色系
によって示されるカラー画像に対して、画素毎に欠落す
る色成分の値に相当する補間量を決定する補間処理を施
す補間処理装置において、カラー画像の色成分の構成を
認識する色構成認識手段と、予め決められた複数の補間
処理のうち、色構成認識手段によって認識された色成分
の構成に対応する補間処理を選択し、カラー画像に対し
て選択した補間処理を施す補間処理手段とを備えたこと
を特徴とする。

【００１４】請求項２に記載の補間処理装置は、請求項
１に記載の補間処理装置において、補間処理手段は、色
構成認識手段で認識された色成分の構成によってカラー
画像が単一色相画像であると判断した場合、補間処理の
対象となる画素の色成分の値を該画素の補間量とする補
間処理を選択することを特徴する。請求項３に記載の補
間処理装置は、請求項１に記載の補間処理装置におい
て、補間処理手段は、色構成認識手段で認識された色成
分の構成によってカラー画像が単一色相画像であると判
断した場合、補間処理の対象となる画素の色成分の値に
対する加重を大きくしつつ、該画素の色成分の値と該画
素の周辺に位置する画素の色成分の値とを加重加算して
該画素の補間量を決定する補間処理を選択することを特
徴する。

【００１５】請求項４に記載の補間処理装置は、請求項
２または請求項３に記載の補間処理装置において、色構
成認識手段は、カラー画像を複数の領域に分割し、各領
域内の１画素当たりの色成分の平均値を示す色平均を算
出すると共に、各色成分間の色平均の差または比を算出
することによって、各領域毎の色成分の構成を認識し、
補間処理手段は、全ての領域に対する各色成分間の色平
均の差または比が予め決められた範囲内である場合、カ
ラー画像が単一色相画像であると判断することを特徴す
る。

【００１６】ところで、補間処理の対象となるカラー画
像が単一色相画像（セピア色調の画像など）である場
合、分割された全ての領域において各色成分の構成が酷
似する可能性が高い。すなわち、全ての領域について、
各色成分間の色平均の差または比は近似する可能性が高
い。そのため、全ての領域に対して各色成分間の色平均
の差または比が予め決められた範囲内であることを判定
することによって、補間処理の対象となるカラー画像が
単一色相画像であるか否かを容易に判定することができ
る。

【００１７】請求項５に記載の補間処理装置は、請求項
１に記載の補間処理装置において、色構成認識手段は、
カラー画像を複数の領域に分割し、各領域内の１画素当
たりの色成分の平均値を示す色平均を算出すると共に、
各色成分間の色平均の差または比を算出することによっ
て、各領域毎の色成分の構成を認識し、補間処理手段
は、全ての領域に対する各色成分間の色平均の差が予め
決められた値以下または各色成分間の色平均の比が予め
決められた範囲内である場合、前記カラー画像がグレー
画像であると判断し、補間処理の対象となる画素の色成
分の値を該画素の補間量とする補間処理を選択すること
を特徴する。

【００１８】ところで、補間処理の対象となるカラー画
像がグレー画像である場合、分割された全ての領域にお
いて各色成分の色平均が酷似する可能性が高い。すなわ
ち、全ての領域について、各色成分間の色平均の差は０
に近似し、各色成分間の色平均の比は１に近似する可能
性が高い。そのため、全ての領域に対する各色成分間の
色平均の差が予め決められた値以下であることを判定し
たり、各色成分間の色平均の比が予め決められた範囲内
であることを判定することによって、補間処理の対象と
なるカラー画像がグレー画像であるか否かを容易に判定
することができる。

【００１９】請求項６に記載の補間処理プログラムを記
録した記録媒体は、予め決められた複数の色成分から成
る表色系によって示されるカラー画像に対して、画素毎
に欠落する色成分の値に相当する補間量を決定する補間
処理をコンピュータに実行させる補間処理プログラムを
記録した記録媒体において、カラー画像の色成分の構成
を認識する色構成認識手順と、予め決められた複数の補
間処理のうち、色構成認識手段によって認識された色成
分の構成に対応する補間処理を選択し、カラー画像に対
して選択した補間処理を施す補間処理手順とを備えたこ
とを特徴とする。

【００２０】

【発明の実施の形態】以下、図面に基づいて本発明の実
施形態について詳細を説明する。なお、請求項１ないし
請求項５に記載の発明に対応した実施形態については、
これらの発明にかかわる補間装置が適用された電子スチ
ルカメラを用いて説明を行う。

【００２１】（第一の実施形態）図１は、第一の実施形
態の電子スチルカメラの機能ブロック図である。なお、
第一の実施形態は、請求項１および請求項５に記載の発
明に対応した実施形態に相当する。

【００２２】図１において、電子スチルカメラ１０は、
制御部１１、レンズ１２、絞り１３、ＣＦＡ（カラーフ
ィルタアレイ）１４、撮像素子１５、Ａ／Ｄ変換部１
６、前置処理部１７、画像処理部１８および記録部１９
を有する。前置処理部１７は、ＡＦ（自動焦点調節）、
ＡＥ（自動露出）、ホワイトバランスを行うためのパラ
メータを決定するパラメータ決定部２０、ホワイトバラ
ンスを行うＷＢ処理部２１および色成分の構成を認識す
る色構成認識部２２を有する。

【００２３】また、画像処理部１８は、補間処理部２３
を有する。さらに、補間処理部２３は、後述する「グレ
ー画像用の補間処理」および「通常のカラー画像用の補
間処理」を行う機能を有する。なお、図１では、説明を
簡略化するため、画像処理部１８内に補間処理部２３の
みを記載しているが、画像処理部１８内には、例えば、
エッジ検出など他の画像処理を行うブロックが設けられ
ても良い。

【００２４】図１において、制御部１１は、不図示のレ
ンズ駆動部を介してレンズ１２に接続され、不図示の絞
り駆動部を介して絞り１３に接続されると共に、撮像素
子１５、前置処理部１７、画像処理部１８および記録部
１９に接続される。特に、制御部１１は、前置処理部１
７との間において双方向に接続される。なお、請求項１
および請求項５に記載の発明と第一の実施形態との対応
関係については、色構成認識手段は、色構成認識部２２
に対応し、補間処理手段は、制御部１１の「色平均の差
を閾値と比較する機能」および補間処理部２３に対応す
る。

【００２５】図２は、第一の実施形態の動作フローチャ
ートである。以下、図１および図２を参照して第一の実
施形態の動作を説明する。主電源が投入されている状態
において、撮像素子１５では、レンズ１２および絞り１
３を介して与えられる光学像が光電変換面（図示されな
い）に結像され、光電変換によって信号電荷が生成され
る。また、撮像素子１５は、このように生成された信号
電荷を走査して画像信号を生成し、Ａ／Ｄ変換部１６に
供給する。

【００２６】なお、画像信号の生成にかかわる処理は、
制御部１１によるタイミング制御に基づいて行われる。
Ａ／Ｄ変換部１６は、撮像素子１５から供給された画像
信号をＡ／Ｄ変換して画像データを生成する（図２Ｓ
１）。なお、第一の実施形態および後述する各実施形態
において、画像データは、撮像素子１５の各画素の色成
分の値に相当する。

【００２７】なお、このように生成された画像データ
は、前置処理部１７に供給されると共に、前置処理部１
７内のＷＢ処理部２１によってホワイトバランスが行わ
れて画像処理部１８に供給される。前置処理部１７内の
パラメータ決定部２０は、Ａ／Ｄ変換部１６から供給さ
れた画像データに基づき、ＡＦ（自動焦点調節）、ＡＥ
（自動露出）を行うためのパラメータを決定して制御部
１１に通知すると共に、ホワイトバランスを行うための
パラメータを決定してＷＢ処理部２１に通知する。

【００２８】このようにしてパラメータが通知される
と、制御部１１は、不図示のレンズ駆動部や絞り駆動部
を介してＡＦ（自動焦点調節）およびＡＥ（自動露出）
を行い、ＷＢ処理部２１は、ホワイトバランスを行う
（図２Ｓ２）。また、制御部１１は、電子スチルカメラ
１０の筐体に設けられたレリーズボタン（図示されな
い）が押下されたか否かを判定する（図２Ｓ３）。

【００２９】このような判定によってレリーズボタンが
押下されていないことが認識される度に、上述した画像
データの生成（図２Ｓ１）およびＡＦ（自動焦点調
節）、ＡＥ（自動露出）、ホワイトバランス（図２Ｓ
３）が繰り返し行われる。一方、レリーズボタンが押下
されたことを認識すると、制御部１１は、前置処理部１
７内の色構成認識部２２に対し、「画像データの色成分
の構成を認識する処理」の実行を指示する。

【００３０】色構成認識部２２は、このように指示され
ると、図３に示すように、重複を許容しつつ、１フレー
ムに相当する画像データをｎ個の領域に分割する（図２
Ｓ４）。ここで、制御部１１は、各領域の識別番号を示
す変数ｉに１を代入する（図２Ｓ５）。色構成認識部２
２は、変数ｉが示す領域の１画素当たりの色成分の平均
値を示す色平均を算出する（図２Ｓ６）。

【００３１】なお、第一の実施形態および後述する各実
施形態では、各領域内の各色成分の色平均をＲi、Ｇi、
Ｂi（i＝1,2,・・・,n）によって示す。例えば、領域１が
８画素×８画素で構成され、各画素の色成分が図９に示
す値となる場合、領域１の色平均Ｒ1、Ｇ1、Ｂ1は、 Ｒ1＝(R(0,1)＋R(0,3)＋・・・＋R(6,5)＋R(6,7))／１６ ＝(２３７＋５０＋・・・＋２５２＋５０)／１６ ≒１４８ Ｇ1＝(G(0,0)＋G(0,2)＋・・・＋G(7,5)＋G(7,7))／３２ ＝(２５５＋２６＋・・・＋２４７＋５２)／３２ ≒１４４ Ｂ1＝(B(1,0)＋B(1,2)＋・・・＋B(7,4)＋B(7,6))／１６ ＝(２５５＋２８＋・・・＋２５５＋２１)／１６ ≒１４０ となる。

【００３２】また、色構成認識部２２は、このように色
平均を算出すると、各色成分間の色平均の差を算出する
（図２Ｓ７）。すなわち、領域１における各色成分間の
色平均の差は、 ｜Ｒ1−Ｇ1｜＝４ ｜Ｂ1−Ｇ1｜＝４ ｜Ｒ1−Ｂ1｜＝８ となる。

【００３３】なお、このようにして算出された各色成分
間の色平均の差は、制御部１１に通知される。制御部１
１は、このように通知された各色成分間の色平均の差が
閾値以下となるか否かを判定する（図２Ｓ８）。例え
ば、制御部１１は、変数ｉが示す領域において、各色成
分間の色平均の差に対して、 （｜Ｒi−Ｇi｜≦Ｔ１） ∩（｜Ｂi−Ｇi｜≦Ｔ２） ∩（｜Ｒi−Ｂi｜≦Ｔ３） が成り立つか否かを判定する。なお、Ｔ１、Ｔ２および
Ｔ３は任意の値であるが、第一の実施形態では、 Ｔ１＝Ｔ２＝Ｔ３＝１０ とする。

【００３４】制御部１１は、このような判定によって各
色成分間の色平均の差が閾値以下であることを認識した
場合、変数ｉをインクリメントし（図２Ｓ９）、変数ｉ
がｎを上回ったか否かを判定する（図２Ｓ１０）。制御
部１１は、各色成分間の色平均の差が閾値以下であり、
変数ｉがｎ以下であることを認識した場合、色構成認識
部２２に対して「変数ｉが示す領域の色平均の算出（図
２Ｓ６）」および「各色成分間の色平均の差の算出（図
２Ｓ７）」を繰り返し指示し、「色平均の差の判定（図
２Ｓ８に相当する）」を繰り返し行う。

【００３５】また、制御部１１は、このように図２Ｓ６
〜Ｓ１０の処理が繰り返し行われている過程で、変数ｉ
がｎを上回ったことを認識した場合、画像処理部１８内
の補間処理部２３に対して、グレー画像用の補間処理の
実行を指示する（図２Ｓ１１）。すなわち、制御部１１
は、全ての領域において各色成分間の色平均の差が閾値
以下である場合、全ての領域において各色成分の色平均
が酷似すると判断し、補間処理の対象となる画像データ
がグレー画像であるとみなす。

【００３６】ところで、制御部１１は、「色平均の差の
判定（図２Ｓ８に相当する）」によって、各色成分間の
色平均の差が閾値を上回ったことを認識した場合、変数
ｉの値に関係なく、画像処理部１８内の補間処理部２３
に対して、通常のカラー画像用の補間処理の実行を指示
する（図２Ｓ１２）。すなわち、制御部１１は、各色成
分間の色平均の差が閾値を上回るような領域が１つでも
存在する場合、異なる色成分間の類似度が弱いと判断
し、補間処理の対象となる画像データが通常のカラー画
像であるとみなす。

【００３７】補間処理部２３は、制御部１１によってグ
レー画像用の補間処理の実行が指示されると、補間処理
の対象となる画素の色成分の値をその画素の補間量とす
る。例えば、赤色の色成分を有する画素(4,3)の緑色の
補間量G(4,3)は、 G(4,3)＝R(4,3) ＝３０ となり、青色の補間量B(4,3)は、 B(4,3)＝R(4,3) ＝３０ となる。

【００３８】一方、補間処理部２３は、制御部１１によ
って通常のカラー画像用の補間処理の実行が指示される
と、従来の補間処理方法と同様に、補間処理の対象とな
る画素の周辺に位置し、かつその画素に欠落する色成分
を有する画素の色成分の値を用いて補間量を決定する。
なお、このように補間量が決定されることによって、補
間処理が施された画像データは、記録部１９を介してメ
モリカードなどの記録媒体に記録される（図２Ｓ１
３）。

【００３９】以上説明したように、第一の実施形態で
は、全ての領域において、各色成分の色平均が酷似する
場合、画像データにグレー画像用の補間処理を施し、各
色成分間の色平均の差が閾値を上回るような領域が１つ
でも存在する場合、画像データに通常のカラー画像用の
補間処理を施す。ところで、画像データ全体の色平均を
算出して色平均の差の判定を行う方法が考えられるが、
このような方法では、色平均にばらつきが生じる可能性
が高いために色成分の構成を精度良く認識することがで
きない。一方、第一の実施形態では、画像データを複数
の領域に分割して領域単位で色平均を算出しているた
め、色成分の構成を精度良く認識することができる。

【００４０】すなわち、第一の実施形態では、補間処理
の対象となる画像データがグレー画像であるか、通常の
カラー画像であるかの判定を容易に、かつ精度良く行う
ことができ、このような判定結果に応じて画像データの
色成分の構成に適した補間処理を選択することができ
る。したがって、第一の実施形態によれば、速やかに、
かつ的確に補間処理を行うことができる。

【００４１】なお、第一の実施形態では、補間処理の対
象となる画像データの色成分の構成を認識する際、図２
Ｓ８に示すように、各色成分間の色平均の差が閾値以下
であるか否かを判定しているが、各色成分間の色平均の
比が所定範囲内であるか否かを判定しても良い。例え
ば、変数ｉが示す領域の色平均に対して、 （｜Ｒi／Ｇi−１｜≦Ｔ４） ∩（｜Ｂi／Ｇi−１｜≦Ｔ５） ∩（｜Ｒi／Ｂi−１｜≦Ｔ６） が成り立つか否かを判定しても良い。なお、Ｔ４、Ｔ５
およびＴ６は、任意の値であるが、例えば、 Ｔ４＝Ｔ５＝Ｔ６＝０．０５ が考えられる。

【００４２】また、第一の実施形態では、画像データを
複数の領域に分割する際、１つの領域の大きさを８画素
×８画素としているが、単位面積当たりの画素数が多い
撮像素子を用いる場合、各領域毎の色平均にばらつきが
生じる可能性が高いため、各領域の大きさを狭くしても
良い。また、単位面積当たりの画素数が少ない撮像素子
を用いる場合、各領域の大きさを広くしても良い。

【００４３】さらに、第一の実施形態では、領域毎に
「色平均の算出」と「各色成分間の色平均の差の算出」
とを行った直後に「色平均の差の判定」を行っている
が、例えば、全ての領域における各色成分間の色平均の
差を算出した後に、各領域毎に「色平均の差の判定」を
行っても良い。 （第二の実施形態）図４は、第二の実施形態の動作フロ
ーチャートである。

【００４４】なお、第二の実施形態は、請求項１、請求
項３および請求項４に記載の発明に対応した実施形態に
相当する。ところで、第二の実施形態の特徴は、「色成
分の構成を認識する処理」および「補間処理」の方法に
あり、ハードウエアの構成については、図１に示す第一
の実施形態と同じであるから、ここでは、その説明を省
略する。

【００４５】ただし、第二の実施形態では、補間処理部
２３は、後述する「単一色相画像用の補間処理」および
「通常のカラー画像用の補間処理」を行う機能を有す
る。また、図４Ｓ１〜Ｓ６、Ｓ９、Ｓ１０およびＳ１３
の処理は、図２に示す第一の実施形態の処理（図２Ｓ１
〜Ｓ６、Ｓ９、Ｓ１０およびＳ１３）と同じであるた
め、詳細な動作の説明を省略する。

【００４６】なお、請求項１、請求項３および請求項４
に記載の発明と第二の実施形態との対応関係について
は、色構成認識手段は、色構成認識部２２に対応し、補
間処理手段は、制御部１１の「色平均の比が所定範囲内
であるか否かを判定する機能」および補間処理部２３に
対応する。

【００４７】以下、図１および図４を参照して第二の実
施形態の動作を説明する。制御部１１は、第一の実施形
態と同様に、レリーズボタンが押下されたことを認識す
ると、前置処理部１７内の色構成認識部２２に対し、
「画像データの色成分の構成を認識する処理」の実行を
指示する。色構成認識部２２は、このように指示される
と、第一の実施形態と同様に、画像データをｎ個の領域
に分割する（図４Ｓ４）。

【００４８】ここで、制御部１１は、第一の実施形態と
同様に、各領域の識別番号を示す変数ｉに１を代入する
（図４Ｓ５）。色構成認識部２２は、第一の実施形態と
同様に、変数ｉが示す領域の色平均を算出する（図４Ｓ
６）と共に、色成分間の色平均の比を算出する（図４Ｓ
７）。すなわち、色構成認識部２２は、変数ｉが示す領
域における各色成分間の色平均の比として Ｒi／Ｇi Ｂi／Ｇi Ｒi／Ｂi を算出する。

【００４９】なお、このようにして算出された各色成分
間の色平均の比は、制御部１１に通知される。制御部１
１は、このように通知された各色成分間の色平均の比が
所定範囲内か否かを判定する（図４Ｓ８）。例えば、制
御部１１は、変数ｉが示す領域において、各色成分間の
色平均の比に対して、 （｜Ｒi／Ｇi−Ｔ１０｜≦Ｔ１１） ∩（｜Ｂi／Ｇi−Ｔ２０｜≦Ｔ２１） ∩（｜Ｒi／Ｂi−Ｔ３０｜≦Ｔ３１） が成り立つか否かを判定する。

【００５０】なお、Ｔ１０、Ｔ１１、Ｔ２０、Ｔ２１、
Ｔ３０およびＴ３１は任意の値であるが、第二の実施形
態では、 Ｔ１０＝Ｒ1／Ｇ1 Ｔ１１＝Ｔ１０×０．０５ Ｔ２０＝Ｂ1／Ｇ1 Ｔ２１＝Ｔ２０×０．０５ Ｔ３０＝Ｒ1／Ｂ1 Ｔ３１＝Ｔ３０×０．０５ とする。すなわち、第二の実施形態では、領域１におけ
る各色成分間の色平均の比を基準として、全ての領域に
おいて各色成分間の色平均の比が酷似するか否かを判定
する。

【００５１】制御部１１は、このような判定によって各
色成分間の色平均の比が所定範囲内であることを認識し
た場合、変数ｉをインクリメントし（図４Ｓ９）、変数
ｉがｎを上回ったか否かを判定する（図４Ｓ１０）。制
御部１１は、各色成分間の色平均の比が所定範囲内であ
り、変数ｉがｎ以下であることを認識した場合、色構成
認識部２２に対して「変数ｉが示す領域の色平均の算出
（図４Ｓ６）」および「色成分間の色平均の比の算出
（図４Ｓ７）」を繰り返し指示し、「色平均の比の判定
（図４Ｓ８に相当する）」を繰り返し行う。

【００５２】また、制御部１１は、このように図４Ｓ６
〜Ｓ１０の処理が繰り返し行われている過程で、変数ｉ
がｎを上回ったことを認識した場合、画像処理部１８内
の補間処理部２３に対して、単一色相画像用の補間処理
の実行を指示する（図４Ｓ１１）。すなわち、制御部１
１は、全ての領域において各色成分間の色平均の比が上
述した所定範囲内である場合、全ての領域において各色
成分間の色平均の比が酷似すると判断し、補間処理の対
象となる画像データが単一色相画像であるとみなす。

【００５３】ところで、制御部１１は、「色平均の比の
判定（図４Ｓ８に相当する）」によって各色成分間の色
平均の比が所定範囲外であることを認識した場合、変数
ｉの値に関係なく、画像処理部１８内の補間処理部２３
に対して、通常のカラー画像用の補間処理の実行を指示
する（図４Ｓ１２）。すなわち、制御部１１は、各色成
分間の色平均の比が所定範囲外となるような領域が１つ
でも存在する場合、異なる色成分間の類似度が弱いと判
断し、補間処理の対象となる画像データが通常のカラー
画像であるとみなす。

【００５４】補間処理部２３は、制御部１１によって単
一色相画像用の補間処理の実行が指示されると、補間処
理の対象となる画素の色成分の値と、その画素の周辺に
位置する画素の色成分の値とを加重加算して補間量を決
定する。ただし、補間処理の対象となる画素の色成分の
値に対する加重を大きくする。例えば、補間処理部２３
は、赤色の色成分を有する画素(4,3) に対する緑色の補
間量G(4,3)および青色の補間量B(4,3)を以下のように算
出する。

【００５５】G(4,3)＝Q11×R(4,3)＋Q12×(G(3,3)＋G
(4,2)＋G(4,4)＋G(5,3))／４ B(4,3)＝Q21×R(4,3)＋Q22×(B(3,2)＋B(5,2)＋B(3,4)
＋B(5,4))／４ ただし、Q11、Q12、Q21およびQ22は、 Q11＋Q12＝1 Q11＞Q12 Q21＋Q22＝1 Q21＞Q22 を満足する重み係数である。

【００５６】なお、重み係数に、補間処理の対象となる
画素からの距離に反比例する条件を反映する場合には、
例えば、 Q11＝４／５ Q12＝１／４ Q21＝７／８ Q22＝１／８ のように、Q11、Q12、Q21およびQ22に対して Q21−Q22＞Q11−Q12 の条件を付加しても良い。

【００５７】さらに、重み係数に、色成分の構成を反映
する場合には、例えば、 f(Ｘ)＝Ｘ／１００ とし、Q11、Q12、Q21およびQ22を Q11＝１−f(｜Ｒ1−Ｇ1｜) Q12＝f(｜Ｒ1−Ｇ1｜) Q21＝１−f(｜Ｒ1−Ｂ1｜)／２ Q22＝f(｜Ｒ1−Ｇ1｜)／２ としても良い。

【００５８】なお、緑色の色成分を有する画素(3,3)に
対する赤色の補間量R(3,3)および青色の補間量B(3,3)に
ついては、以下のように算出する。 R(3,3)＝Q31×G(3,3)＋Q32×(R(2,3)＋R(4,3))／２ B(3,3)＝Q41×G(3,3)＋Q42×(B(3,2)＋B(3,4))／２ ただし、Q31、Q32、Q41およびQ42は、 Q31＋Q32＝１ Q31＞Q32 Q41＋Q42＝１ Q41＞Q42 を満足する重み係数である。

【００５９】ところで、補間処理部２３は、上述したよ
うに制御部１１によって通常のカラー画像用の補間処理
の実行が指示されると、従来の補間処理方法と同様に、
補間処理の対象となる画素の周辺に位置し、かつその画
素に欠落する色成分を有する画素の色成分の値を用いて
補間量を決定する。

【００６０】以上説明したように、第二の実施形態で
は、全ての領域において、各色成分の色平均の比が酷似
する場合、画像データに単一色相画像用の補間処理を施
し、各色成分間の色平均の比が所定範囲外となる領域が
１つでも存在する場合、画像データに通常のカラー画像
用の補間処理を施す。ところで、第二の実施形態では、
第一の実施形態と同様に、画像データを複数の領域に分
割して領域単位で色平均を算出しているため、色成分の
構成を精度良く認識することができる。

【００６１】すなわち、第二の実施形態では、補間処理
の対象となる画像データが単一色相画像であるか、通常
のカラー画像であるかの判定を容易に、かつ精度良く行
うことができ、このような判定結果に応じて画像データ
の色成分の構成に適した補間処理を選択することができ
る。したがって、第二の実施形態によれば、速やかに、
かつ的確に補間処理を行うことができる。

【００６２】なお、第二の実施形態では、補間処理の対
象となる画像データの色成分の構成を認識する際、図４
Ｓ８に示すように、各色成分間の色平均の比が所定範囲
内であるか否かを判定しているが、各色成分間の色平均
の差が所定範囲内であるか否かを判定しても良い。例え
ば、変数ｉが示す領域の色平均に対して、 （｜Ｒi−Ｇi−Ｔ４０｜≦Ｔ４１） ∩（｜Ｂi−Ｇi−Ｔ５０｜≦Ｔ５１） ∩（｜Ｒi−Ｂi−Ｔ６０｜≦Ｔ６１） が成り立つか否かを判定しても良い。なお、Ｔ４０、Ｔ
４１、Ｔ５０、Ｔ５１、Ｔ６０およびＴ６１は、任意の
値であるが、例えば、 Ｔ４０＝Ｒ1−Ｇ1 Ｔ５０＝Ｂ1−Ｇ1 Ｔ６０＝Ｒ1−Ｂ1 Ｔ４１＝Ｔ５１＝Ｔ６１＝１０ が考えられる。

【００６３】また、第二の実施形態では、請求項３を適
用することによって単一色相画像用の補間処理を行って
いるが、請求項３に代えて請求項２を適用し、補間処理
の対象となる画素の色成分の値をその画素の補間量とし
ても良い。さらに、第二の実施形態では、領域毎に「色
平均の算出」と「各色成分間の色平均の差の算出」とを
行った直後に「色平均の比の判定」を行っているが、例
えば、全ての領域における各色成分間の色平均の差を算
出した後に、各領域毎に「色平均の比の判定」と行って
も良い。

【００６４】ところで、上述した第一の実施形態では、
画像データがグレー画像であることを認識した際にグレ
ー画像用の補間処理を行い、第二の実施形態では、画像
データが単一色相画像であることを認識した際に単一色
相画像用の補間処理を行うが、「グレー画像用の補間処
理」、「単一色相画像用の補間処理」および「通常のカ
ラー画像用の補間処理」を行う機能を有する補間処理部
を設け、第一の実施形態と第二の実施形態とを組み合わ
せることによって、グレー画像、単一色相画像（グレー
画像を除く）および通常のカラー画像を認識し、各画像
に適応した補間処理を行っても良い。

【００６５】また、グレー画像や単一色相画像に限定さ
れず、色成分の構成に応じて特徴が認識できる画像であ
れば、その特徴に適応した補間処理を行うこともでき
る。 （第三の実施形態）図５は、第三の実施形態の機能ブロ
ック図である。なお、第三の実施形態は、請求項６に記
載の「補間処理プログラムを記録した記録媒体」を用
い、パーソナルコンピュータによって補間処理を行うこ
とに相当する。

【００６６】図５において、機能が図１に示す機能ブロ
ック図と同じものについては、同じ符号を付与して示
し、構成の説明については省略する。なお、図５に示す
電子スチルカメラ５０と図１に示す電子スチルカメラ１
０との構成の相違点は、制御部５１、前置処理部５２お
よび画像処理部５３が制御部１１、前置処理部１７およ
び画像処理部１８に代えて設けられた点である。

【００６７】また、図５において、パーソナルコンピュ
ータ６０は、ＣＰＵ６１、記録再生部６２および画像メ
モリ６３を有する。ＣＰＵ６１は、記録再生部６２およ
び画像メモリ６３に接続される。記録再生部６２の出力
は、画像メモリ６３に接続され、画像メモリ６３の出力
は、ＣＰＵ６１および記録再生部６２に接続される。ま
た、ＣＰＵ６１の出力は、画像メモリ６３に接続され
る。

【００６８】ところで、ＣＤ−ＲＯＭ６４には、図１の
色構成認識部２２および補間処理部２３によって行われ
る図２Ｓ４〜Ｓ１２または図４Ｓ４〜Ｓ１２に相当する
処理をＣＰＵ６１に実行させるための補間処理プログラ
ムが記録されている。また、第三の実施形態において、
ＣＰＵ６１には、このような補間処理プログラムが予め
インストールされていることとする。

【００６９】なお、請求項６に記載の「補間処理プログ
ラムを記録した記録媒体」は、ＣＤ−ＲＯＭ６４に対応
し、色構成認識手順および補間処理手順は、ＣＰＵ６１
によって行われる「画像データの色成分の構成を認識す
る機能」および「補間処理を行う機能」に対応する。図
６は、第三の実施形態の動作フローチャートである。

【００７０】以下、図５および図６を参照して第三の実
施形態の動作を説明する。まず、電子スチルカメラ５０
の動作について説明する。主電源が投入されている状態
において、撮像素子１５では、第一の実施形態と同様に
画像信号が生成され、Ａ／Ｄ変換部１６では、第一の実
施形態と同様に、画像信号をＡ／Ｄ変換して画像データ
を生成する（図６Ｓ１）。

【００７１】このように生成された画像データは、前置
処理部５２に供給されると共に、前置処理部５２内でホ
ワイトバランスが行われて画像処理部５３に供給され
る。前置処理部５２では、Ａ／Ｄ変換部１６から供給さ
れた画像データに基づき、ＡＦ（自動焦点調節），ＡＥ
（自動露出），ホワイトバランスを行うためのパラメー
タを決定する。

【００７２】制御部５１は、このように決定されたＡＦ
（自動焦点調節）およびＡＥ（自動露出）に応じて不図
示のレンズ駆動部や絞り駆動部を介してＡＦ（自動焦点
調節）およびＡＥ（自動露出）を行い、前置処理部５２
は、ホワイトバランスを行うためのパラメータに応じて
ホワイトバランスを行う（図６Ｓ２）。また、制御部５
１は、電子スチルカメラ５０の筐体に設けられたレリー
ズボタン（図示されない）が押下されたか否かを判定す
る（図６Ｓ３）。

【００７３】制御部５１は、レリーズボタンが押下され
たことを認識すると、画像処理部５３および記録部１９
に対して、画像データをメモリカード５４に記録するこ
とを指示する（図６Ｓ４）。なお、本実施形態おいて、
画像処理部５３は、前置処理部５２から供給された画像
データに対して画像処理を行わず、記録部１９に直接供
給することとする。

【００７４】記録部１９は、画像データを画像ファイル
の形式でメモリカード５４に記録すると共に、画像ファ
イルのヘッダ部に設けられた「補間要求フラグ」（画像
データが補間処理を必要とする旨を示すフラグ）を立て
る。次に、パーソナルコンピュータ６０の動作について
説明する。パーソナルコンピュータ６０において、画像
ファイルが記録されたメモリカード５４が装着される
と、ＣＰＵ６１は、記録再生部６２を介して画像ファイ
ルのヘッダ部を読み出す（図６Ｓ５）。

【００７５】ＣＰＵ６１は、このようにして画像ファイ
ルのヘッダ部を読み出すと、「補間要求フラグ」が立っ
ているか否かを判定する（図６Ｓ６）。ＣＰＵ６１は、
このような判定によって「補間要求フラグ」が立ってい
ることを認識した場合に限り、記録再生部６２を介して
メモリカード５４内の画像データを読み出して画像メモ
リ６３に格納する（図６Ｓ７）。

【００７６】また、ＣＰＵ６１は、上述した補間処理プ
ログラムを実行することによって、画像メモリ６３内の
画像データに対し、「色成分の構成を認識する処理」お
よび「補間処理」を行う（図６Ｓ８）。すなわち、ＣＰ
Ｕ６１は、図１の色構成認識部２２および補間処理部２
３によって行われる図２Ｓ４〜Ｓ１２または図４Ｓ４〜
Ｓ１２に相当する処理を行う。

【００７７】ＣＰＵ６１は、このような処理が終了した
時点で、補間処理が施された画像データを記録再生部６
２を介してメモリカード５４に再度記録する（図６Ｓ
９）。なお、補間処理が施された画像データをメモリカ
ード５４に記録するか否かは、操作者がパーソナルコン
ピュータ６０の入力装置（例えば、キーボードなど）に
よって選択できるようにしても良い。

【００７８】以上説明したように、第三の実施形態で
は、第一の実施形態または第二の実施形態と同様の補間
処理をパーソナルコンピュータ６０によって行うことが
できる。したがって、第三の実施形態によれば、第一の
実施形態または第二の実施形態と同様に、速やかに、か
つ的確に補間処理を行うことができる。なお、本実施形
態では、パーソナルコンピュータ６０は補間処理を行う
べき画像データをメモリカード５４を介して取得してい
るが、このような画像データを取得する方法について
は、如何なる方法であっても良い。

【００７９】例えば、通信手段を備えたパーソナルコン
ピュータに本発明を適用する場合、その通信手段を介し
て与えられる画像データに対して補間処理を行うことも
可能である。

【００８０】

【発明の効果】上述したように、請求項１および請求項
６に記載の発明では、補間処理の対象となるカラー画像
の色成分の構成を認識し、予め決められた複数の補間処
理のうち、カラー画像の色成分の構成に対応する補間処
理を選択することができる。すなわち、カラー画像の特
性に適応した補間処理を確実に行うことができる。

【００８１】請求項２および請求項３に記載の発明で
は、補間処理の対象となるカラー画像が単一色相画像で
あると判断した場合、単一色相画像に適した補間処理を
確実に行うことができる。請求項４に記載の発明では、
補間処理の対象となるカラー画像が単一色相画像である
か否かを容易に、かつ確実に判断することができる。

【００８２】請求項５に記載の発明では、補間処理の対
象となるカラー画像がグレー画像であるか否かを容易
に、かつ確実に判断することができる。また、補間処理
の対象となるカラー画像がグレー画像である場合には、
グレー画像に適した補間処理を行うことができる。した
がって、請求項１ないし請求項６の何れか一項に記載の
発明によれば、偽色が少なく高解像度のカラー画像を得
ることができる。

【図面の簡単な説明】

【図１】電子スチルカメラの機能ブロック図である。

【図２】第一の実施形態の動作フローチャートである。

【図３】画像データを分割する例を示す図である。

【図４】第二の実施形態の動作フローチャートである。

【図５】第三の実施形態の機能ブロック図である。

【図６】第三の実施形態の動作フローチャートである。

【図７】カラーフィルタの構成を示す図である。

【図８】グレーの縦縞状の画像の一部を示す図である。

【図９】各画素の色成分の値を示す図である。

【符号の説明】

１０、５０ 電子スチルカメラ １１、５１ 制御部 １２ レンズ １３ 絞り １４ ＣＦＡ（カラーフィルタアレイ） １５ 撮像素子 １６ Ａ／Ｄ変換部 １７、５２ 前置処理部 １８、５３ 画像処理部 １９ 記録部 ２０ パラメータ決定部 ２１ ＷＢ処理部 ２２ 色構成認識部 ２３ 補間処理部 ５４ メモリカード ６０ パーソナルコンピュータ ６１ ＣＰＵ ６２ 記録再生部 ６３ 画像メモリ ６４ ＣＤ−ＲＯＭ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 予め決められた複数の色成分から成る表
   色系によって示されるカラー画像に対して、画素毎に欠
   落する色成分の値に相当する補間量を決定する補間処理
   を施す補間処理装置において、 前記カラー画像の色成分の構成を認識する色構成認識手
   段と、 予め決められた複数の補間処理のうち、前記色構成認識
   手段によって認識された色成分の構成に対応する補間処
   理を選択し、前記カラー画像に対して選択した補間処理
   を施す補間処理手段とを備えたことを特徴とする補間処
   理装置。
2. 【請求項２】 請求項１に記載の補間処理装置におい
   て、 前記補間処理手段は、 前記色構成認識手段で認識された色成分の構成によって
   前記カラー画像が単一色相画像であると判断した場合、
   補間処理の対象となる画素の色成分の値を該画素の補間
   量とする補間処理を選択することを特徴する補間処理装
   置。
3. 【請求項３】 請求項１に記載の補間処理装置におい
   て、 前記補間処理手段は、 前記色構成認識手段で認識された色成分の構成によって
   前記カラー画像が単一色相画像であると判断した場合、
   補間処理の対象となる画素の色成分の値に対する加重を
   大きくしつつ、該画素の色成分の値と該画素の周辺に位
   置する画素の色成分の値とを加重加算して該画素の補間
   量を決定する補間処理を選択することを特徴する補間処
   理装置。
4. 【請求項４】 請求項２または請求項３に記載の補間処
   理装置において、 前記色構成認識手段は、 前記カラー画像を複数の領域に分割し、各領域内の１画
   素当たりの色成分の平均値を示す色平均を算出すると共
   に、各色成分間の色平均の差または比を算出することに
   よって、各領域毎の色成分の構成を認識し、 前記補間処理手段は、 全ての領域に対する各色成分間の色平均の差または比が
   予め決められた範囲内である場合、前記カラー画像が単
   一色相画像であると判断することを特徴する補間処理装
   置。
5. 【請求項５】 請求項１に記載の補間処理装置におい
   て、 前記色構成認識手段は、 前記カラー画像を複数の領域に分割し、各領域内の１画
   素当たりの色成分の平均値を示す色平均を算出すると共
   に、各色成分間の色平均の差または比を算出することに
   よって、各領域毎の色成分の構成を認識し、 前記補間処理手段は、 全ての領域に対する各色成分間の色平均の差が予め決め
   られた値以下または各色成分間の色平均の比が予め決め
   られた範囲内である場合、前記カラー画像がグレー画像
   であると判断し、補間処理の対象となる画素の色成分の
   値を該画素の補間量とする補間処理を選択することを特
   徴する補間処理装置。
6. 【請求項６】 予め決められた複数の色成分から成る表
   色系によって示されるカラー画像に対して、画素毎に欠
   落する色成分の値に相当する補間量を決定する補間処理
   をコンピュータに実行させる補間処理プログラムを記録
   した記録媒体において、 前記カラー画像の色成分の構成を認識する色構成認識手
   順と、 予め決められた複数の補間処理のうち、前記色構成認識
   手段によって認識された色成分の構成に対応する補間処
   理を選択し、前記カラー画像に対して選択した補間処理
   を施す補間処理手順とを備えたことを特徴とする補間処
   理をコンピュータに実行させる補間処理プログラムを記
   録した記録媒体。