JPH10294948A - 画像処理方法および画像処理プログラム記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 一画素一色から滑らかな一画素三原色に補間
しつつ、鮮明な輪郭の画像情報を得る画像処理方法およ
び画像処理プログラム記録媒体を提供する。 【解決手段】 任意の画素位置を挟む上下、左右または
斜め方向に相対する８組の画素対を抽出して８つの差分
値を算出し、いずれか差分値が最小となる画素対を選択
して、その平均値を補間値とする。より好ましくは、被
写体の画像情報を電気信号に変換する撮像素子上におけ
る、三原色の１つの色を示す画素位置に使用するか、ま
たは、画素位置における上下、左右もしくは斜め方向、
またはこれらを組み合わせた方向に、補間後の画像情報
を拡大する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラ、
ＰＣカメラ、スキャナ、複写機などの画像入力を伴う画
像読み取りに使用される画像処理方法および画像処理プ
ログラム記録媒体に関し、特に、読み取られる画像情報
に新たな画素を補間するための画像処理方法および画像
処理プログラム記録媒体に関する。

【０００２】

【従来の技術】一般に、被写体のカラー画像を、電気信
号によって入力するデジタルカメラなどの画像入力装置
では、カラーＣＣＤなど２次元の撮像素子を使用するこ
とによって、三原色における特定の一色ごとの電気信号
として画像情報が得られる。このようにして得た画像情
報は、このままでは情報量が多すぎるため、画像処理に
適した三原色に変換する必要があった。

【０００３】図６は、一般的な撮像素子を概略的に示す
図である。図６に示す撮像素子では、格子状に配列され
たそれぞれの画素位置（Ｒ，ＧまたはＢ）に被写体の画
像が投影され、赤色、緑色または青色（以下、それぞれ
をＲ，ＧまたはＢという）のうち、いずれか一色の電気
信号が得られる。このため、得られた電気信号を三原色
の画像情報とするためには、それぞれの画素位置につい
て不足するＲ，Ｇ，Ｂの補間値が必要となり、このよう
な要請に基づく装置が種々提案されている。

【０００４】図７は、従来の補間方法による作用を示す
図である。例えば、特開平２−２７６３８８号公報に開
示される一従来例がある。この従来例は、隣接する２ラ
インのフィールドデータ１０１，１０３を一律に平均化
することによっって、１ラインおきに新たなフィールド
データ１０２の画素を補間している。この補間方法によ
れば、画素位置Ｘに隣接する上側のフィールドデータ１
０１から一方の青色画素Ｂ11が、また、下側のフィール
ドデータ１０３から他方の青色画素Ｂ21が、それぞれの
電気信号として得られる。このため、これら一対の青色
画素Ｂ11，Ｂ21の平均値を求めて画素位置Ｘにおける青
色の補間値とすることによって、この補間値が滑らかに
２つの青色画素Ｂ11，Ｂ21と結合しうる。

【０００５】

【発明が解決しようとする課題】しかし、この従来例の
補間方法を撮像素子に使用してカラー画像を補間しよう
とすると、次に述べるような問題点があった。通常、補
間すべき画素位置Ｘには、上記被写体の輪郭などが画像
情報として存在している場合がある。このような場合に
も、上記従来例では、画素位置Ｘの周辺画素に基づい
て、これら全体を一律に平均化している。このため、画
素位置Ｘ周辺の画像情報がぼやけ、輪郭などの特徴的な
部分が消失してしまうので、全体的に鮮明な画像が得ら
れなくなる。

【０００６】また、三原色に対する平均化処理には、そ
の対象として複数色の画素対が必要となるが、１つの画
素位置Ｘに隣接する２ラインのフィールドデータ１０
１，１０３には、必ずしも複数色が存在するとは限らな
い。上記従来例の場合にも、二対の青色画素Ｂ11，Ｂ21
から補間値を算出すると、同じ青色の補間値しか求める
ことができないため、平均化以前の問題として、そもそ
も三原色の画素への変換自体ができなかった。

【０００７】本発明は、上記の問題点にかんがみてなさ
れたものであり、一画素一色の画像情報から滑らかな一
画素三原色に変換しうるとともに、鮮明な輪郭の画像情
報を得ることが可能な画像処理方法および画像処理プロ
グラム記録媒体の提供を目的とする。

【０００８】

【課題を解決するための手段】上記の課題を解決するた
め本発明の画像処理方法は、２次元の画像情報における
特定の画素位置に新たな画素を補間する画像処理方法で
あって、任意の画素位置を挟む上下、左右または斜め方
向に相対する８組の画素対を抽出し、それぞれの画素対
における８つの差分値を算出することによって、差分値
が最小となる画素対を選択し、選択された画素対におけ
る平均値を上記画素位置の補間値とするようにしてあ
る。

【０００９】この画像処理方法によれば、画像情報にお
いて最小の差分値を示す方向に補間処理を行うことによ
って、そのエッジラインを温存しつつ周囲との平均化が
可能になる。

【００１０】請求項２記載の画像処理方法では、前記画
素位置が、被写体の画像情報を電気信号に変換する撮像
素子上における、三原色の１つの色を示すようにしてあ
る。

【００１１】この画像処理方法によれば、一画素一色か
らなる撮像素子に使用することによって、一画素三原色
への補間処理をも実現しうる。

【００１２】請求項３記載の画像処理方法では、前記画
素位置における上下、左右もしくは斜め方向、またはこ
れらを組み合わせた方向に、補間後の画像情報を拡大す
る機能を併せて備えるようにしてある。

【００１３】この画像処理方法によれば、補完前の画素
密度を維持しつつ、上記補間とともに画像情報を拡大し
うる。

【００１４】請求項４記載の画像処理プログラム記録媒
体では、２次元の画像情報における特定の画素位置に新
たな画素を補間する画像処理プログラムを記録したコン
ピュータ読取可能な記録媒体であって、任意の画素位置
を挟む上下、左右または斜め方向に相対する８組の画素
対を抽出し、それぞれの画素対における８つの差分値を
算出することによって、差分値が最小となる画素対を選
択し、選択された画素対における平均値を上記画素位置
の補間値としてある。

【００１５】この画像処理プログラム記録媒体によれ
ば、画像情報におけるエッジラインを温存しつつ、その
周囲との平均化が可能な画像処理プログラムをコンピュ
ータにより実行しうる。

【００１６】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は、本発明による第１実施形
態の一例を示す流れ図である。この第１実施形態によれ
ば、補間すべき画素位置Ｘを通る複数の線分のうちで、
最も連続性の高い線分に沿って補間値を求める処理を主
要部として備える画像処理方法が提案される。

【００１７】上記主要部の他にも、この画像処理方法に
は、撮像された画像情報に対する補間位置を特定するこ
とによって、上記複数の線分を仮定する処理と、これら
のうち最も連続性の高い線分を選択して上記平均化に供
する処理とが含まれる。

【００１８】また、それぞれの処理をプログラム化して
記録媒体に記録し、この記録媒体をデジタルカメラなど
に装備することによって、２次元の画像情報について上
記画像処理を内蔵コンピュータにより実行することがで
きる。

【００１９】図２は、図１の第１実施形態に使用する画
像情報を示す図である。図２に示す画像情報は、それぞ
れの画素位置ａからｈまで、およびＸからなるものであ
って、例えば、これらのうち画素位置Ｘについて補間値
を求める一般的な場合である。この場合、既に画素位置
ａからｈまでには画素が存在するものの、中央の画素位
置Ｘには、画像情報を構成すべき画素が存在していない
ため、この画素位置Ｘについて新たな画素を補間する必
要がある。

【００２０】先ず、この第１実施形態による第１段階と
しては、変換後の画像情報における任意の画素位置に注
目し、この画素位置に補間が必要であるか否かを判定す
ることによって、補間すべき画素位置を特定している。
例えば、注目する画素位置Ｘに、求める画素が存在しな
い場合には、第２段階に移行するが、このような画素が
存在する場合には、以下の第４段階に移行する（ステッ
プＳ１）。

【００２１】第２段階では、上記特定された画素位置を
挟んで上下、左右または斜め方向に、相対して隣接する
８組の画素対を抽出することによって、それぞれの画素
対における８つの差分値を算出する。具体的には、次の
式１によって、それぞれの差分値における絶対値を求め
ることができる（ステップＳ２）。

【００２２】

【数１】 ｜ａ−ｂ｜，｜ｃ−ｄ｜，｜ｅ−ｆ｜，｜ｇ−ｈ｜ ・・・ 式１

【００２３】続いて、求めたそれぞれの差分値を相互に
比較することによって、最小の差分値（以下、条件１と
いう）を有する１組の画素対を上記８組から選定し、第
３段階に移行する（同じくステップＳ２）。

【００２４】第３段階では、上記条件１に基づき選定さ
れた画素対において、これに含まれる２つの画素の平均
値を算出することによって、この平均値を上記画素位置
Ｘの補間値としてから、第４段階に移行する（ステップ
Ｓ３）。具体的には、例えば、画素対ａ，ｂが最小の差
分値であれば、次の式２によって、その平均値を求めう
る。

【００２５】

【数２】 （ａ−ｂ）／２ ・・・ 式２

【００２６】第４段階では、上記注目先を画素位置Ｘか
ら次の画素位置に移動することによって、新たな画素位
置Ｘを特定して、上記ステップＳ１の処理に戻る（ステ
ップＳ４）。

【００２７】以上のステップＳ１からステップＳ４まで
を繰り返し遂行することによって、不足する画素を任意
の画素位置に補間しうるとともに、画像情報が滑らかな
補間値を求めることができるばかりか、その周囲で最も
連続性の高い画素対の方向に平均化を行うことによっ
て、画像情報に含まれるエッジラインの連続性を、その
補間後も十分に維持することができる。

【００２８】次に、本発明による第２実施形態について
説明する。図３、図４および図５は、第２実施形態にお
ける作用を示す図である。この第２実施形態では、カラ
ーＣＣＤなど具体的な撮像素子に使用される画像処理方
法を構成しており、特に、この撮像素子における特定の
画素位置Ｘに、三原色の補間値をそれぞれ補間すること
ができる。以下、それぞれの画素位置（Ｇ，Ｒまたは
Ｂ）を、座標軸ｘまたはｙ方向に増加するかっこ内の座
標値により示すことにより、便宜上、それぞれの式にお
ける画素値とする。

【００２９】図３は、第２実施形態による緑色画素の配
列を具体的に示す図である。図３に示す緑色画素（以
下、Ｇ画素という）の配列において、ハッチングの施さ
れた全ての画素位置ＧからはＧ画素が電気信号として読
み出されうる。この配列は、撮像素子のほぼ全面にわた
って周期的に繰り返されるものであるため、以下、中央
４か所の画素位置Ｇ，Ｘについて、その補間値の算出過
程を詳しく説明するが、その他についても同様に作用し
うる。これら中央４か所のうちで、画素位置Ｇ(0,0) お
よびＧ(1,1) からはＧ画素を読み出しうるが、残りの画
素位置Ｘ(0,1) およびＸ(1,0) からは読み出せないた
め、以下、これらについて必要な補間値を算出する。

【００３０】先ず、Ｘ(0,1) では、上下および左右方向
にＧ画素が存在するため、次の式３によって２つの差分
値が算出されうる。

【００３１】

【数３】 ｜Ｇ(-1,1)−Ｇ(1,1) ｜，｜Ｇ(0,0) −Ｇ(0,2) ｜ ・・・ 式３ これらの差分値のうちで、仮に、左右方向の画素対が最
も小さな値であるときは、この左右方向の画素対が選定
される。

【００３２】続いて、左右方向の画素対について、次の
式４によって、その平均値が求められ、その結果を、画
素位置Ｘ(0,1) における補間値とする。

【００３３】

【数４】 Ｘ(0,1) ＝｛Ｇ(0,0) ＋Ｇ(0,2) ｝／２ ・・・ 式４

【００３４】同様に、画素位置Ｘ(1,0) についても、上
下および左右方向にＧ画素が存在するため、次の式５に
よって別の２つの差分値が算出されうる。

【００３５】

【数５】 ｜Ｇ(0,0) −Ｇ(2,0) ｜、｜Ｇ(1,-1)−Ｇ(1,1) ｜ ・・・ 式５ これらの差分値のうちで、やはり左右方向の画素対の方
が小さな値であるときは、この左右方向の画素対が選定
される。

【００３６】続いて、左右方向の画素対について、次の
式６によって、その平均値が求められ、その結果を、画
素位置Ｘ(1,0) における補間値とする。

【００３７】

【数６】 Ｘ(1,0) ＝｛Ｇ(1,-1)＋Ｇ(1,1) ｝／２ ・・・ 式６

【００３８】図４は、第２実施形態による赤色画素の配
列を具体的に示す図である。図４に示す赤色画素（以
下、Ｒ画素という）の配列においても、上記Ｇ画素の場
合と同様に、中央４か所の画素位置のうち、画素位置Ｒ
(0,1) については、Ｒ画素が存在するが、残りの画素位
置Ｘ(0,0) ，Ｘ(1,0) およびＸ(1,1) については、いず
れの画素も存在していないため、以下、これらについて
必要な補間値を算出する。

【００３９】先ず、Ｘ(1,0) では、２つの斜め方向にＲ
画素が存在するため、次の式７によって２つの差分値が
算出されうる。

【００４０】

【数７】 ｜Ｒ(0,-1)−Ｒ(2,1) ｜，｜Ｒ(0,1) −Ｒ(2,-1)｜ ・・・ 式７ これらの差分値のうちで、仮に、左上がり斜め方向の画
素対が最も小さな値であるときは、この画素対が選定さ
れる。

【００４１】続いて、上記左上がり斜め方向の画素対に
ついて、次の式８によって、その平均値が求められ、そ
の結果を、画素位置Ｘ(1,0) における補間値とする。

【００４２】

【数８】 Ｘ(1,0) ＝｛Ｒ(0,-1)＋Ｒ(2,1) ｝／２ ・・・ 式８

【００４３】同様に、画素位置Ｘ(0,0) については、左
右方向にしかＲ画素が存在しないため、この左右方向の
画素対が選定されて、次の式９によって、その平均値が
求められ、その結果を、画素位置Ｘ(0,0) における補間
値とする。

【００４４】

【数９】 Ｘ(0,0) ＝｛Ｒ(0,-1)＋Ｒ(0,1) ｝／２ ・・・ 式９

【００４５】同様に、画素位置Ｘ(1,1) についても、上
下方向にしかＲ画素が存在しないため、この上下方向の
画素対が選定されて、次の式１０によって、その平均値
が求められ、その結果を、画素位置Ｘ(1,1) における補
間値とする。

【００４６】

【数１０】 Ｘ(1,1) ＝｛Ｒ(0,1) ＋Ｒ(2,1) ｝／２ ・・・ 式１０

【００４７】図５は、第２実施形態による青色画素の配
列を具体的に示す図である。図５に示す青色画素（以
下、Ｂ画素という）の配列においても、上記Ｇ画素およ
びＲ画素の場合と同様に、中央４か所の画素位置のう
ち、画素位置Ｂ(1,0) については、Ｂ画素が存在する
が、残りの画素位置Ｘ(0,0) ，Ｘ(0,1) およびＸ(1,1)
については、いずれの画素も存在していないため、以
下、これらについて必要な補間値を算出する。

【００４８】先ず、Ｘ(0,1) では、２つの斜め方向にＢ
画素が存在するため、次の式１１によって２つの差分値
が算出されうる。

【００４９】

【数１１】 ｜Ｂ(-1,0)−Ｂ(1,2) ｜，｜Ｂ(-1,2)−Ｂ(1,0) ｜ ・・・ 式１１ これらの差分値のうちで、仮に、右下がり斜め方向の画
素対の方が小さな値であるときは、この画素対が選定さ
れる。

【００５０】続いて、この右下がり斜め方向の画素対に
ついて、次の式１２によって、その平均値が求められ、
その結果を、画素位置Ｘ(0,1) における補間値とする。

【００５１】

【数１２】 Ｘ(0,1) ＝｛Ｂ(-1,0)＋Ｂ(1,2) ｝／２ ・・・ 式１２

【００５２】同様に、画素位置Ｘ(0,0) については、上
下方向にしかＢ画素が存在しないため、この上下方向の
画素対が選定されて、次の式１３によって、その平均値
が求められ、その結果を、画素位置Ｘ(0,0) における補
間値とする。

【００５３】

【数１３】 Ｘ(0,0) ＝｛Ｂ(-1,0)＋Ｂ(1,0) ｝／２ ・・・ 式１３

【００５４】同様に、画素位置Ｘ(1,1) についても、左
右方向にしかＢ画素が存在しないため、この左右方向の
画素対が選定されて、次の式１４によって、その平均値
が求められ、その結果を、画素位置Ｘ(1,1) における補
間値とする。

【００５５】

【数１４】 Ｘ(1,1) ＝｛Ｂ(1,0) ＋Ｂ(1,2) ｝／２ ・・・ 式１４

【００５６】以上、本発明の第２実施形態によって、カ
ラーＣＣＤなど一画素一色の撮像素子から三原色の画素
が得られるとともに、その画像情報において、最小の差
分値を示す方向に補間処理を行うことができる。

【００５７】続いて、本発明による第３実施形態につい
て説明する。この第３実施形態では、補間すべき画素位
置Ｘにおいて、上下、左右もしくは斜め方向、またはこ
れらを組み合わせた方向に、第１および第２実施形態に
よる補間後の画像情報を拡大する画像処理方法を構成し
ている。この場合、画像情報を拡大するには、それぞれ
の方向、またはその組み合わせた方向に第１および第２
実施形態と同一の補間値を追加することによって、画像
情報を２倍に拡大すればよい。

【００５８】第３実施形態によれば、第１および第２実
施形態の補間処理とともに、併せて拡大処理を行いうる
が、その画像情報が拡大されても、同一色の画素密度が
補間前と近似するため、ほぼ同様の色相を維持すること
ができる。すなわち、上記撮像素子では、当初３つの画
素位置から１つの三原色画像情報を構成するのに対し
て、本発明の第１および第２実施形態によれば、既に述
べたように１つの補間値が三原色画像情報を構成するこ
とができる。

【００５９】従って、１方向に隣接して２つの画素位置
に、または２方向に２つづつの画素位置に、上記同一の
補間値を設定することによって画像情報を拡大しても、
この拡大範囲内における画素密度が、ほぼ補間前と等価
になるからである。

【００６０】その他、本発明は前述の実施例にのみ限定
されるものではなく、本発明の要旨を逸脱しない範囲で
種々の変更を加え得ることは勿論である。

【００６１】

【発明の効果】以上述べたように、本発明の画像処理方
法には次の効果がある。補間すべき画素位置において、
その周囲で最小の差分値を示す方向に補間処理を行うこ
とができるため、画像情報におけるエッジラインの連続
性を補間後も十分に維持することができる。また、一画
素一色の撮像素子から三原色の画素を有する画像情報が
得られるため、デジタルカメラなどのカラーＣＣＤに使
用することができる。

【００６２】従って、一画素一色の画像情報から滑らか
な一画素三原色に変換しうるとともに、鮮明な輪郭の画
像情報を得ることが可能な画像処理方法および画像処理
プログラム記録媒体を提供できるようになった。

【図面の簡単な説明】

【図１】本発明による第１実施形態の一例を示す流れ図
である。

【図２】図１の第１実施形態に使用する画像情報を示す
図である。

【図３】第２実施形態による緑色画素の配列、および作
用を具体的に示す図である。

【図４】第２実施形態による赤色画素の配列、および作
用を具体的に示す図である。

【図５】第２実施形態による青色画素の配列、および作
用を具体的に示す図である。

【図６】一般的な撮像素子を概略的に示す図である。

【図７】従来の補間方法による作用を示す図である。

【符号の説明】 ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，Ｘ 画素位置（画
素） Ｓ１ 第１段階（ステップ） Ｓ２ 第２段階（ステップ） Ｓ３ 第３段階（ステップ） Ｓ４ 第４段階（ステップ）

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ２次元の画像情報における特定の画素位
   置に新たな画素を補間する画像処理方法であって、 任意の画素位置を挟む上下、左右または斜め方向に相対
   する８組の画素対を抽出し、 それぞれの画素対における８つの差分値を算出すること
   によって、差分値が最小となる画素対を選択し、 選択された画素対における平均値を上記画素位置の補間
   値とすることとを備えることを特徴とする画像処理方
   法。
2. 【請求項２】 前記画素位置が、被写体の画像情報を電
   気信号に変換する撮像素子上における、三原色の１つの
   色を示すものである請求項１記載の画像処理方法。
3. 【請求項３】 前記画素位置における上下、左右もしく
   は斜め方向、またはこれらを組み合わせた方向に、補間
   後の画像情報を拡大するものである請求項１記載の画像
   処理方法。
4. 【請求項４】 ２次元の画像情報における特定の画素位
   置に新たな画素を補間する画像処理プログラムを記録し
   た記録媒体であって、 任意の画素位置を挟む上下、左右または斜め方向に相対
   する８組の画素対を抽出し、それぞれの画素対における
   ８つの差分値を算出することによって、差分値が最小と
   なる画素対を選択し、 選択された画素対における平均値を上記画素位置の補間
   値とすることを特徴とするコンピュータ読取可能な画像
   処理プログラム記録媒体。