JPH11136692A - 補間装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、予め決められた色を出力する格子
点と該色を出力しない空格子点とが市松模様となる画像
の補間処理を行う補間装置に関し、空格子点の空間的な
類似性を的確に決定し、高い精度の補間量を求めること
を目的とする。 【解決手段】 第一の縦方向類似度と第一の横方向類似
度とを算出する第一の類似度算出手段と、第二の縦方向
類似度と第二の横方向類似度とを算出する第二の類似度
算出手段と、第一の縦方向類似度と第二の縦方向類似度
とに基づき空格子点の縦方向の類似度を決定し、第一の
横方向類似度と第二の横方向類似度とに基づき空格子点
の横方向の類似度を決定する類似度決定手段と、このよ
うに決定された類似度に応じ、類似性が強い方向に位置
する格子点の画素出力を選択もしくは縦方向および横方
向に位置する格子点の画素出力を加重加算することによ
って、補間量を算出する補間量算出手段とを備えて構成
される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、予め決められた色
を出力する格子点と該色を出力しない空格子点とが市松
模様状に配された画像の補間処理を行う補間装置に関す
る。

【０００２】

【従来の技術】電子カメラには、カラー画像の画像信号
を生成する際、単一の撮像素子を用いるものがある。こ
のような撮像素子は、例えば図１４（１）に示すよう
に、ＲＧＢ（赤色・緑色・青色）の３色のカラーフィル
タがベイア配列されて構成される。ここで、緑色（Ｇ）
に着目すると、撮像素子は、図１４（２）に示すように
緑色を出力する画素である格子点と、緑色を出力しない
画素である空格子点とが市松模様状に配されて構成され
ていると言える。

【０００３】また、図１５（１）に示すような緑色
（Ｇ）のみで構成される２つの撮像素子を画素ずらしし
た構成のカラーフィルタでは、図１５（２）に示すよう
に、緑色を出力しない仮想的な空格子点と、緑色を出力
する格子点とが市松模様状に配されて構成されていると
言える。さらに、２板式のカラーフィルタには、一方の
撮像素子が緑色（Ｇ）のみで構成され、他方の撮像素子
は、「赤色を出力する画素」と「青色を出力する画素」
とが市松模様状に配されて構成されるものがある。すな
わち、赤色に着目すると、青色を出力する画素が空格子
点となり、青色に着目すると、赤色を出力する画素が空
格子点となる。

【０００４】従来、このような撮像素子によって生成さ
れた画像信号に相当するカラー画像の補間処理には、空
格子点に隣接する格子点の画像出力の平均値を空格子点
の画素出力（補間量）とするものがあった。また、エッ
ジなど空間的に強い類似性を持つ部分の補間処理に適応
した技術として、米国特許第５,３７３,３２２号明細書
（クラス３４８）には、色傾斜（chrominance gradien
ts）を用いて、空格子点の空間的な類似性を推定する技
術が開示されている。

【０００５】図１６は、米国特許第５,３７３,３２２号
に開示された従来の補間処理を説明する図である。図に
おいて、Ｇ１１，Ｇ１３，・・・，Ｇ６６などは緑色
（Ｇ）の画素出力を示し、Ｒ１２，Ｒ１４，・・・，Ｒ
５６などは赤色（Ｒ）の画素出力を示し、Ｂ２１，Ｂ２
３，・・・，Ｂ６７などは青色（Ｂ）の画素出力を示
す。

【０００６】上述した米国特許では、Ｒ３４を出力する
画素の緑色の補間量Ｇ３４を求める際、横方向の色傾斜
に関する情報ＨＤiffを ＨＤiff ＝ ｜（（Ｒ３２＋Ｒ３６）／２）−Ｒ３４｜ によって求め、縦方向の色傾斜に関する情報ＨＤiffを ＶＤiff ＝ ｜（（Ｒ１４＋Ｒ５４）／２）−Ｒ３４｜ によって求める。

【０００７】Ｇ３４の算出方法は、このように求めたＨ
ＤiffとＶＤiffとの大小関係によって場合分けされる。
すなわち、ＨＤiff＜ＶＤiffである場合（横方向の類似
性が強い場合）、Ｇ３４を Ｇ３４ ＝ （Ｇ３３＋Ｇ３５）／２ によって求め、ＶＤiff＜ＨＤiffである場合（縦方向の
類似性が強い場合）、Ｇ３４を Ｇ３４ ＝ （Ｇ２４＋Ｇ４４）／２ によって求め、ＨＤiff＝ＶＤiffである場合、Ｇ３４を Ｇ３４ ＝ （Ｇ２４＋Ｇ４４＋Ｇ３３＋Ｇ３５）／４ によって求める。

【０００８】

【発明が解決しようとする課題】このように空格子点の
補間量を精度良く予測するために、空格子点の空間的な
類似性を推定することは有効であるが、上述した先行技
術では、緑色の補間量を求める処理であるにもかかわら
ず、緑色の色傾斜に関する情報を赤色の画素出力に基づ
いて推定している。

【０００９】そのため、緑色の色傾斜と赤色の色傾斜と
の関係が一定でない画像などでは、緑色の画素出力の類
似性を赤色の画素出力に基づいて精度良く推定すること
はできなかった。例えば、図１６における各画素出力が
図１７に示すような値であった場合、Ｇ３４は、縦方向
の類似性が強い。

【００１０】しかし、上述した米国特許では、 ＨＤiff ＝ ｜（（Ｒ３２＋Ｒ３６）／２）−Ｒ３４｜
＝５０ ＶＤiff ＝ ｜（（Ｒ１４＋Ｒ５４）／２）−Ｒ３４｜
＝５０ となり、「ＨＤiff＝ＶＤiff」が成り立つため、縦方向
および横方向の類似性が同じであると推定されてしま
う。

【００１１】したがって、Ｇ３４は、「１００」とされ
ることが望ましいにもかかわらず、 Ｇ３４ ＝ （Ｇ２４＋Ｇ４４＋Ｇ３３＋Ｇ３５）／４ ＝７５ によって算出される。

【００１２】そのため、境界部の鮮鋭さや滑らかさが損
なわれる可能性があった。そこで、請求項１〜請求項１
４に記載の発明は、補間の対象となる空格子点の周辺に
位置する格子点の画素出力に基づき、空格子点の空間的
な類似性を的確に推定しつつ、その空格子点の補間量を
高い精度で求めることができる補間装置を提供すること
を目的とする。

【００１３】

【課題を解決するための手段】請求項１に記載の補間装
置は、予め決められた色を出力する格子点と該色を出力
しない空格子点とが市松模様状に配された画像の補間処
理を行い、該空格子点の画素出力となる補間量を求める
補間装置において、前記空格子点の縦方向に隣接する二
つの格子点の類似度を示す第一の縦方向類似度と、該空
格子点の横方向に隣接する二つの格子点の類似度を示す
第一の横方向類似度とを算出する第一の類似度算出手段
と、前記空格子点の横方向に隣接する少なくとも一方の
格子点の縦方向の類似度を示す第二の縦方向類似度と、
該空格子点の縦方向に隣接する少なくとも一方の格子点
の横方向の類似度を示す第二の横方向類似度とを算出す
る第二の類似度算出手段と、前記第一の縦方向類似度お
よび前記第二の縦方向類似度に基づき前記空格子点の縦
方向の類似度を決定すると共に、前記第一の横方向類似
度および前記第二の横方向類似度に基づき該空格子点の
横方向の類似度を決定する類似度決定手段と、類似度決
定手段によって決定された類似度に応じて類似性が強い
方向に位置する格子点の画素出力を選択、もしくは該類
似度に応じて前記空格子点の縦方向および横方向に位置
する格子点の画素出力を加重加算することによって、該
空格子点の補間量を算出する補間量算出手段とを備えた
ことを特徴とする。

【００１４】請求項２に記載の補間装置は、請求項１に
記載の補間装置において、前記空格子点の座標を（ｉ，
ｊ）とした場合、第一の類似度算出手段は、下式に基づ
いて、第一の縦方向類似度Ｃt（ｉ，ｊ）および第一の
横方向類似度Ｃy（ｉ，ｊ）を算出する Ｃt（ｉ，ｊ）＝｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ＋
１）｜ Ｃy（ｉ，ｊ）＝｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ＋１，
ｊ）｜ （ただし、Ｇ（ｘ，ｙ）は座標（ｘ，ｙ）に位置する格
子点の画素出力である）ことを特徴とする。

【００１５】請求項３に記載の補間装置は、請求項１ま
たは請求項２に記載の補間装置において、前記空格子点
の座標を（ｉ，ｊ）とし、 Ｃt（ｉ，ｊ）＝｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ＋
１）｜ Ｃy（ｉ，ｊ）＝｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ＋１，
ｊ）｜ （ただし、Ｇ（ｘ，ｙ）は座標（ｘ，ｙ）に位置する格
子点の画素出力である）とした場合、第二の類似度算出
手段は、Ｃt（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−
１）、Ｃt（ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋
１）の少なくとも１つに基づいて、第二の縦方向類似度
Ｃtn（ｉ，ｊ）を算出し、Ｃy（ｉ−１，ｊ−１）、Ｃy
（ｉ＋１，ｊ−１）、Ｃy（ｉ＋１，ｊ＋１）およびＣy
（ｉ−１，ｊ＋１）の少なくとも１つに基づいて、第二
の横方向類似度Ｃyn（ｉ，ｊ）を算出することを特徴と
する。

【００１６】すなわち、第二の類似度算出手段は、 Ｃt（ｉ−１，ｊ−１）＝｜Ｇ（ｉ−１，ｊ−２）−Ｇ
（ｉ−１，ｊ）｜ Ｃt（ｉ＋１，ｊ−１）＝｜Ｇ（ｉ＋１，ｊ−２）−Ｇ
（ｉ＋１，ｊ）｜ Ｃt（ｉ＋１，ｊ＋１）＝｜Ｇ（ｉ＋１，ｊ）−Ｇ（ｉ
＋１，ｊ＋２）｜ Ｃt（ｉ−１，ｊ＋１）＝｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ
−１，ｊ＋２）｜ によって算出可能なＣt（ｉ−１，ｊ−１）、Ｃt（ｉ＋
１，ｊ−１）、Ｃt（ｉ＋１，ｊ＋１）およびＣt（ｉ−
１，ｊ＋１）に基づいて第二の縦方向類似度Ｃtn（ｉ，
ｊ）を算出し、 Ｃy（ｉ−１，ｊ−１）＝｜Ｇ（ｉ−２，ｊ−１）−Ｇ
（ｉ，ｊ−１）｜ Ｃy（ｉ＋１，ｊ−１）＝｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ
＋２，ｊ−１）｜ Ｃy（ｉ＋１，ｊ＋１）＝｜Ｇ（ｉ，ｊ＋１）−Ｇ（ｉ
＋２，ｊ＋１）｜ Ｃy（ｉ−１，ｊ＋１）＝｜Ｇ（ｉ−２，ｊ＋１）−Ｇ
（ｉ，ｊ＋１）｜ によって算出可能なＣy（ｉ−１，ｊ−１）、Ｃy（ｉ＋
１，ｊ−１）、Ｃy（ｉ＋１，ｊ＋１）およびＣy（ｉ−
１，ｊ＋１）に基づいて、第二の横方向類似度Ｃyn
（ｉ，ｊ）を算出する。

【００１７】請求項４に記載の補間装置は、請求項３に
記載の補間装置において、第二の類似度算出手段は、Ｃ
t（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
（ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１） の
内、何れか一つの値を算出して第二の縦方向類似度Ｃtn
（ｉ，ｊ）とし、Ｃy（ｉ−１，ｊ−１）、Ｃy（ｉ＋
１，ｊ−１）、Ｃy（ｉ＋１，ｊ＋１）およびＣy（ｉ−
１，ｊ＋１）の内、何れか一つの値を算出して第二の横
方向類似度Ｃyn（ｉ，ｊ）とすることを特徴とする。

【００１８】請求項５に記載の補間装置は、請求項３に
記載の補間装置において、第二の類似度算出手段は、Ｃ
t（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
（ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）の
内、二つの値について、和を算出もしくは加重加算して
第二の縦方向類似度Ｃtn（ｉ，ｊ）とし、Ｃy（ｉ−
１，ｊ−１）、Ｃy（ｉ＋１，ｊ−１）、Ｃy（ｉ＋１，
ｊ＋１）およびＣy（ｉ−１，ｊ＋１）の内、二つの値
について、和を算出もしくは加重加算して第二の横方向
類似度Ｃyn（ｉ，ｊ）とすることを特徴とする。

【００１９】請求項６に記載の補間装置は、請求項３に
記載の補間装置において、第二の類似度算出手段は、Ｃ
t（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
（ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）の
内、三つの値について、和を算出もしくは加重加算して
第二の縦方向類似度Ｃtn（ｉ，ｊ）とし、Ｃy（ｉ−
１，ｊ−１）、Ｃy（ｉ＋１，ｊ−１）、Ｃy（ｉ＋１，
ｊ＋１）およびＣy（ｉ−１，ｊ＋１）の内、三つの値
について、和を算出もしくは加重加算して第二の横方向
類似度Ｃyn（ｉ，ｊ）とすることを特徴とする。

【００２０】請求項７に記載の補間装置は、請求項３に
記載の補間装置において、第二の類似度算出手段は、Ｃ
t（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
（ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）につ
いて、総和を算出もしくは加重加算して第二の縦方向類
似度Ｃtn（ｉ，ｊ）とし、Ｃy（ｉ−１，ｊ−１）、Ｃy
（ｉ＋１，ｊ−１）、Ｃy（ｉ＋１，ｊ＋１）およびＣy
（ｉ−１，ｊ＋１）について、総和を算出もしくは加重
加算して第二の横方向類似度Ｃyn（ｉ，ｊ）とすること
を特徴とする。

【００２１】請求項８に記載の補間装置は、請求項３に
記載の補間装置において、第二の類似度算出手段は、Ｃ
t（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
（ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）の
内、最小の値を第二の縦方向類似度Ｃtn（ｉ，ｊ）と
し、Ｃy（ｉ−１，ｊ−１）、Ｃy（ｉ＋１，ｊ−１）、
Ｃy（ｉ＋１，ｊ＋１）およびＣy（ｉ−１，ｊ＋１）の
内、最小の値を第二の横方向類似度Ｃyn（ｉ，ｊ）とす
ることを特徴とする。

【００２２】請求項９に記載の補間装置は、請求項３に
記載の補間装置において、第二の類似度算出手段は、Ｃ
t（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
（ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）から
二つの値をとって組み合わせ、各組の二つの値につい
て、和を算出もしくは加重加算して最小となる値を第二
の縦方向類似度Ｃtn（ｉ，ｊ）とし、Ｃy（ｉ−１，ｊ
−１）、Ｃy（ｉ＋１，ｊ−１）、Ｃy（ｉ＋１，ｊ＋
１）およびＣy（ｉ−１，ｊ＋１）から二つの値をとっ
て組み合わせ、各組の二つの値について、和を算出もし
くは加重加算して最小となる値を第二の横方向類似度Ｃ
yn（ｉ，ｊ）とすることを特徴とする。

【００２３】請求項９に記載の補間装置は、請求項３に
記載の補間装置において、前記第二の類似度算出手段
は、Ｃt（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、
Ｃt（ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）の
内、値の小さい方から順にとった二つの値に基づき、第
二の縦方向類似度Ｃtn（ｉ，ｊ）を算出し、Ｃy（ｉ−
１，ｊ−１）、Ｃy（ｉ＋１，ｊ−１）、Ｃy（ｉ＋１，
ｊ＋１）およびＣy（ｉ−１，ｊ＋１）の内、値の小さ
い方から順にとった二つの値に基づき、第二の横方向類
似度Ｃyn（ｉ，ｊ）を算出することを特徴とする。

【００２４】請求項１０に記載の補間装置は、請求項３
に記載の補間装置において、第二の類似度算出手段は、
Ｃt（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
（ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）から
三つの値をとって組み合わせ、各組の三つの値につい
て、和を算出もしくは加重加算して最小となる値を第二
の縦方向類似度Ｃtn（ｉ，ｊ）とし、Ｃy（ｉ−１，ｊ
−１）、Ｃy（ｉ＋１，ｊ−１）、Ｃy（ｉ＋１，ｊ＋
１）およびＣy（ｉ−１，ｊ＋１）から三つの値をとっ
て組み合わせ、各組の三つの値について、和を算出もし
くは加重加算して最小となる値を第二の横方向類似度Ｃ
yn（ｉ，ｊ）とすることを特徴とする。

【００２５】請求項１１に記載の補間装置は、請求項１
ないし請求項１０の何れか一項に記載の補間装置におい
て、前記空格子点の座標を（ｉ，ｊ）とし、前記第一の
縦方向類似度をＣt（ｉ，ｊ）とし、前記第二の縦方向
類似度をＣtn（ｉ，ｊ）とし、前記第一の横方向類似度
をＣy（ｉ，ｊ）とし、前記第二の横方向類似度をＣyn
（ｉ，ｊ）とした場合、類似度決定手段は、下式に基づ
いて、前記空格子点の縦方向の類似度Ｃtsum（ｉ，ｊ）
および該空格子点の横方向の類似度Ｃysum（ｉ，ｊ）を
決定する Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×
ｈ Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×
ｈ （ただし、ｈは予め決められた定数である）ことを特徴
とする。

【００２６】請求項１２に記載の補間装置は、請求項１
ないし請求項１１の何れか一項に記載の補間装置におい
て、補間量算出手段は、類似度決定手段によって決定さ
れた前記空格子点の縦方向および横方向の類似度につい
て、何れか一方の類似度が突出する場合、その類似度を
示す方向に隣接する二つの格子点の画素出力の平均値を
該空格子点の補間量とし、双方の類似度が近似する場
合、該平均値を算出する以外の方法で該空格子点の補間
量を算出することを特徴とする。

【００２７】請求項１３に記載の補間装置は、請求項１
２に記載の補間装置において、補間量算出手段は、類似
度決定手段によって決定された前記空格子点の縦方向お
よび横方向の類似度が近似する場合、各類似度に対応す
る重み係数に基づいて該空格子点の補間量を算出するこ
とを特徴とする。請求項１４に記載の補間装置は、請求
項１３に記載の補間装置において、前記空格子点の座標
を（ｉ，ｊ）とし、該空格子点の縦方向の類似度をＣts
um（ｉ，ｊ）とし、該空格子点の横方向の類似度をＣys
um（ｉ，ｊ）とした場合、補間量算出手段は、下式に基
づいて、前記空格子点の補間量Ｇ'（ｉ，ｊ）を算出す
る Ｇ'（ｉ，ｊ）＝｛（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋
１））×（１＋ｆ（ｘ））＋（Ｇ（ｉ−１，ｊ）＋Ｇ
（ｉ＋１，ｊ））×（１−ｆ（ｘ））｝／４ ｘ＝（Ｃysum（ｉ，ｊ）−Ｃtsum（ｉ，ｊ））／｛（Ｃ
ysum（ｉ，ｊ）＋Ｃtsum（ｉ，ｊ））×Ｔ１＋Ｔ０｝−
１≦ｘ≦１のとき ｆ（ｘ）＝ｘ ｘ＞１のとき ｆ（ｘ）＝１ ｘ＜−１のとき ｆ（ｘ）＝−１ （ただし、Ｔ１、Ｔ０は所定の定数であって、共に
「０」となることはなく、Ｇ（ｘ，ｙ）は座標（ｘ，
ｙ）に位置する格子点の画素出力である）ことを特徴と
する。

【００２８】ここで、「ｘ＞１」が成り立つ場合、空格
子点の縦方向の類似度が突出していることを意味し、
「ｘ＜−１」が成り立つ場合、空格子点の横方向の類似
度が突出していることを意味する。すなわち、補間量算
出手段は、縦方向の類似度が突出している場合には、縦
方向に隣接する二つの格子点の画素出力の平均値を空格
子点の補間量とし、横方向の類似度が突出している場合
には、横方向に隣接する二つの格子点の画素出力の平均
値を空格子点の補間量とする。

【００２９】また、補間量算出手段は、「−１≦ｘ≦
１」が成り立つ場合、縦方向の類似度に対応する重み係
数として「１＋ｆ（ｘ）」を用い、横方向の類似度に対
応する重み係数として「１−ｆ（ｘ）」を用いて空格子
点の補間量を算出する。請求項１５に記載の補間装置
は、請求項１２に記載の補間装置において、補間量算出
手段は、類似度決定手段によって決定された前記空格子
点の縦方向および横方向の類似度が近似する場合、該空
格子点に隣接する４つの格子点の画素出力のメディアン
（４つの格子点の画素出力の内、２つの中央値の平均
値）によって該空格子点の補間量を算出することを特徴
とする。

【００３０】

【発明の実施の形態】以下、図面に基づいて本発明の実
施形態について詳細を説明する。なお、第一の実施形態
ないし第四の実施形態では、本発明にかかわる補間装置
を備えた電子スチルカメラを用いて説明を行い、第五の
実施形態では、本発明にかかわる補間装置と同様の補間
処理を行うパーソナルコンピュータを用いて説明を行
う。

【００３１】（第一の実施形態）図１は、第一の実施形
態の機能ブロック図である。なお、本実施形態は請求項
１〜請求項４および請求項１１〜請求項１４に記載の発
明に対応した実施形態に相当する。また、本実施形態お
よび後述する各実施形態では、緑色を出力する画素を格
子点とし、赤色もしくは青色を出力する画素を緑色に関
する空格子点とする。すなわち、本実施形態および後述
する各実施形態における補間処理は、これらの空格子点
の緑色の画素出力に相当する補間量を求める処理に相当
する。

【００３２】図１において、制御部２０の出力は、撮影
光学系２１、ＯＬＰＦ (光学的低域通過フィルタ：Opti
cal Low Pass Filter)２２、撮像素子２３、Ａ／Ｄ変換
部２４、画像バッファメモリ２５および信号処理部２６
に接続される。信号処理部２６は、補間処理部２８を有
し、補間処理部２８は、第一の類似度算出部２９、第二
の類似度算出部３０、空格子点の類似度算出部３１およ
び補間量算出部３２で構成される。

【００３３】撮影光学系２１で取得された光学像は、Ｏ
ＬＰＦ２２によってフィルタリングされ、撮像素子２３
に与えられる。なお、ＯＬＰＦ２２を設けず、撮影光学
系２１で取得された光学像が撮像素子２３に直接与えら
れてもよい。撮像素子２３の出力はＡ／Ｄ変換部２４に
接続され、Ａ／Ｄ変換部２４の出力は画像バッファメモ
リ２５に接続され、画像バッファメモリ２５の出力は信
号処理部２６に接続される。

【００３４】なお、本実施形態では、撮像素子２３とし
て、図１４（１）に示すように、ＲＧＢの３色のカラー
フィルタがベイア配列された構成の撮像素子を適用し、
画像バッファメモリ２５は、これらの３色に対応する３
つの領域で構成される。ここで、画像バッファメモリ２
５内の緑色に対応する領域は、Ａ／Ｄ変換部２４によっ
て生成された緑色の画像データ（格子点の画素出力に相
当する）を格納する領域と、後述する補間処理によって
得られる緑色の画像データ（空格子点の補間量に相当す
る）を格納する領域とで構成される。

【００３５】図２は、補間処理部２８のデータの流れを
説明する図である。図において、第一の類似度算出部２
９から出力される「第一の縦方向類似度」および「第一
の横方向類似度」と、第二の類似度算出部３０から出力
される「第二の縦方向類似度」および「第二の横方向類
似度」とは、空格子点の類似度算出部３１に与えられ
る。

【００３６】空格子点の類似度算出部３１から出力され
る「空格子点の縦方向の類似度」および「空格子点の横
方向の類似度」は、補間量算出部３２に与えられる。補
間量算出部３２は、空格子点の補間量を出力する。信号
処理部２６の出力（補間量算出部３２の出力に相当す
る）は、画像バッファメモリ２５に接続される。

【００３７】なお、請求項１〜請求項４および請求項１
１〜請求項１４に記載の発明と本実施形態との対応関係
については、第一の類似度算出手段は第一の類似度算出
部２９に対応し、第二の類似度算出手段は第二の類似度
算出部３０に対応し、類似度決定手段は空格子点の類似
度算出部３１に対応し、補間量算出手段は補間量算出部
３２に対応する。

【００３８】ここで、以降の説明を簡単化するために、
撮像素子２３の各画素の位置は、「右方向を正とする横
軸Ｘ」と「下方向を正とする縦軸Ｙ」とで構成される座
標系で表す。また、格子点の画素出力は、Ｇ（ｘ，ｙ）
で表し、空格子点の補間量は、Ｇ'（ｘ，ｙ）で表す。
図３は、このような格子点の画素出力と空格子点の補間
量とを示した図である。図において、Ｘ_maxはＸ成分の
最大値を示し、Ｙ_maxはＹ成分の最大値を示す。

【００３９】図４は、補間処理の対象となる空格子点と
周囲の格子点の画素出力を示した図である。図におい
て、補間処理の対象となる空格子点の座標は（ｉ，ｊ）
で示し、空格子点の周囲に位置する各格子点の画素出力
は Ｇ（ｉ，ｊ−１）＝Ｇ１ Ｇ（ｉ＋１，ｊ）＝Ｇ２ Ｇ（ｉ，ｊ＋１）＝Ｇ３ Ｇ（ｉ−１，ｊ）＝Ｇ４ Ｇ（ｉ−１，ｊ−２）＝Ｇ５ Ｇ（ｉ＋１，ｊ−２）＝Ｇ６ Ｇ（ｉ＋２，ｊ−１）＝Ｇ７ Ｇ（ｉ＋２，ｊ＋１）＝Ｇ８ Ｇ（ｉ＋１，ｊ＋２）＝Ｇ９ Ｇ（ｉ−１，ｊ＋２）＝Ｇ１０ Ｇ（ｉ−２，ｊ＋１）＝Ｇ１１ Ｇ（ｉ−２，ｊ−１）＝Ｇ１２ で示した。

【００４０】図５は、第一の実施形態の動作フローチャ
ートである。図６は、第一の実施形態の補間処理の動作
フローチャートである。図７は、第一の実施形態の類似
度の算出方法を説明する図である。以下、図１ないし図
７を参照して第一の実施形態の動作を説明する。主電源
が投入されている状態において、撮像素子２３では、撮
影光学系２１およびＯＬＰＦ２２を介して与えられる光
学像が光電変換面（図示されない）に結像され、光電変
換によって信号電荷が生成される。また、撮像素子２３
は、このように生成された信号電荷を走査して画像信号
を生成し、Ａ／Ｄ変換部２４に与える。

【００４１】Ａ／Ｄ変換部２４は、このように与えられ
た画像信号をＡ／Ｄ変換して画像データを生成する（図
５Ｓ１）。なお、本実施形態および後述する各実施形態
において、画像データは、撮像素子２３の各画素に対応
する画素出力に相当する。なお、このように生成された
画像データは、ＲＧＢの３色に分割され、各色に対応す
る画像バッファメモリ２５内の領域に格納される（図５
Ｓ２）。

【００４２】このような処理は、制御部２０によるタイ
ミング制御に基づき繰り返し行われる。また、これらの
緑色の画像データ（格子点の画素出力／空格子点の補間
量）は、図３に示すように、上述した座標系で示される
座標に対応付けられて格納される。制御部２０は、電子
スチルカメラの筐体に設けられたレリーズボタン（図示
されない）が押下されたか否かを判定する（図５Ｓ
３）。

【００４３】制御部２０は、このような判定によって、
レリーズボタンが押下されていないことを認識すると、
上述したタイミング制御によって画像データの生成（図
５Ｓ１）および格納（図５Ｓ２）の処理を繰り返し指示
する。また、制御部２０は、レリーズボタンが押下され
たことを認識すると、信号処理部２６内の補間処理部２
８に対して、後述するような補間処理の実行を指示する
（図５Ｓ４）。

【００４４】すなわち、本実施形態では、レリーズボタ
ンが押下された時点に画像バッファメモリ２５に格納さ
れている画像データが補間処理の対象となる。なお、画
像表示を行うために、レリーズボタンが押下された時点
によらず、常時、補間処理を実行してもよい。また、レ
リーズ後にＳ１以降の処理を行ってもよい。

【００４５】このようにして補間処理が施された画像デ
ータは、画像バッファメモリ２５に格納される（図５Ｓ
５）。以下、補間処理の動作を説明する。補間処理部２
８は、制御部２０によって補間処理の実行が指示される
と、補間処理の対象となる空格子点を選択する（図６Ｓ
１）。

【００４６】例えば、図５において、任意の座標（ｘ，
ｙ）について「ｘ＋ｙ＝奇数」が成り立つ場合、その座
標には、空格子点が対応付けられている。そのため、本
実施形態では、各画素に対応付けられた座標を（１，
１）から（Ｘ_max，Ｙ_max）まで順次検索し、Ｘ成分と
Ｙ成分との和が奇数である座標を空格子点とする。補間
処理部２８は、上述したように補間処理の対象となる空
格子点を選択すると、第一の類似度算出部２９、第二の
類似度算出部３０、空格子点の類似度算出部３１および
補間量算出部３２を起動する。

【００４７】第一の類似度算出部２９は、空格子点
（ｉ，ｊ）に隣接する格子点の画素出力Ｇ１、Ｇ２、Ｇ
３およびＧ４を用いて、第一の縦方向類似度Ｃt（ｉ，
ｊ）を Ｃt（ｉ，ｊ）＝｜Ｇ１−Ｇ３｜ によって算出し、第一の横方向類似度をＣy（ｉ，ｊ）
を Ｃy（ｉ，ｊ）＝｜Ｇ４−Ｇ２｜ によって算出する（図６Ｓ２）。

【００４８】第二の類似度算出部３０は、第二の縦方向
類似度Ｃtn（ｉ，ｊ）および第二の縦方向類似度Ｃtn
（ｉ，ｊ）を算出する（図６Ｓ３）。すなわち、第二の
類似度算出部３０は、図７に示すように、空格子点
（ｉ，ｊ）の左方向に隣接する格子点の画素出力Ｇ４
と、その格子点から上方向に二画素分シフトした位置の
格子点の画素出力Ｇ５とを用いて、第二の縦方向類似度
Ｃtn（ｉ，ｊ）を Ｃtn（ｉ，ｊ）＝｜Ｇ５−Ｇ４｜ によって算出する。

【００４９】また、第二の類似度算出部３０は、空格子
点（ｉ，ｊ）の上方向に隣接する格子点の画素出力Ｇ１
と、その格子点から左方向に二画素分シフトした位置の
格子点の画素出力Ｇ１２とを用いて、第二の横方向類似
度Ｃyn（ｉ，ｊ）を Ｃyn（ｉ，ｊ）＝｜Ｇ１２−Ｇ１｜ によって算出する。

【００５０】空格子点の類似度算出部３１は、第一の縦
方向類似度Ｃt（ｉ，ｊ）、第一の横方向類似度をＣy
（ｉ，ｊ）、第二の縦方向類似度Ｃtn（ｉ，ｊ）および
第二の横方向類似度Ｃyn（ｉ，ｊ）を用いて、空格子点
の縦方向の類似度Ｃtsum（ｉ，ｊ）および空格子点の横
方向の類似度Ｃysum（ｉ，ｊ）を Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×
ｈ Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×
ｈ によって算出する（図６Ｓ４）。

【００５１】すなわち、本実施形態では、 Ｃtsum（ｉ，ｊ）＝｜Ｇ１−Ｇ３｜＋｜Ｇ５−Ｇ４｜×
ｈ Ｃysum（ｉ，ｊ）＝｜Ｇ４−Ｇ２｜＋｜Ｇ１２−Ｇ１｜
×ｈ となる。なお、ｈは予め決められた定数であり、ここで
は、ｈを「０＜ｈ≦２」とする。

【００５２】補間量算出部３２は、空格子点の類似度算
出部３１によって空格子点の縦方向の類似度Ｃtsum
（ｉ，ｊ）および空格子点の横方向の類似度Ｃysum
（ｉ，ｊ）が算出されると、空格子点の補間量Ｇ'
（ｉ，ｊ）を Ｇ'（ｉ，ｊ）＝｛（Ｇ１＋Ｇ３）×（１＋ｆ（ｘ）） ＋（Ｇ４＋Ｇ２）×（１−ｆ（ｘ））｝／４ ・・・式１ によって算出する。

【００５３】ただし、ｘ＝（Ｃysum（ｉ，ｊ）−Ｃtsum
（ｉ，ｊ））／｛（Ｃysum（ｉ，ｊ）＋Ｃtsum（ｉ，
ｊ））×Ｔ１＋Ｔ０｝ −１≦ｘ≦１のとき ｆ（ｘ）＝ｘ ｘ＞１のとき ｆ（ｘ）＝１ ｘ＜−１のとき ｆ（ｘ）＝−１ ここで、Ｔ０は所定の定数であり、Ｔ１は「０≦Ｔ１≦
１」を満たす定数であり、Ｔ０およびＴ１の少なくとも
一方は「０」でない。

【００５４】すなわち、補間量算出部３２は、 ｘ＝（Ｃysum（ｉ，ｊ）−Ｃtsum（ｉ，ｊ））／｛（Ｃ
ysum（ｉ，ｊ）＋Ｃtsum（ｉ，ｊ））×Ｔ１＋Ｔ０｝ を空格子点の類似度の評価値とし、その評価値に応じて
空格子点の補間量を算出する。ここで、「ｘ＞０」が成
り立つ場合、横方向の類似度よりも縦方向の類似度が強
く、「ｘ＜０」が成り立つ場合、縦方向の類似度よりも
横方向の類似度が強いことを意味する。

【００５５】なお、ｆ（ｘ）のグラフは、図８に示す形
状となる。ところで、式１は、「ｘ＞１」が成り立つ場
合、「ｆ（ｘ）＝１」であるため、 Ｇ'（ｉ，ｊ）＝（Ｇ１＋Ｇ３）／２ と等価であり、「ｘ＜−１」が成り立つ場合、「ｆ
（ｘ）＝−１」であるため、 Ｇ'（ｉ，ｊ）＝（Ｇ４＋Ｇ２）／２ と等価である。

【００５６】すなわち、補間量算出部３２は、「ｘ＞
１」が成り立つか否かを判定することによって空格子点
の縦方向の類似度が突出しているか否かを判定し（図６
Ｓ５）、「ｘ＜−１」が成り立つか否かを判定すること
によって空格子点の横方向の類似度が突出しているか否
かを判定する（図６Ｓ６）。また、補間量算出部３２
は、空格子点の縦方向の類似度が突出している場合（図
６Ｓ５のＹＥＳ側）、縦方向に隣接する二つの格子点の
画素出力の平均値を空格子点の補間量とし（図６Ｓ
７）、空格子点の横方向の類似度が突出している場合
（図６Ｓ６のＹＥＳ側）、横方向に隣接する二つの格子
点の画素出力の平均値を空格子点の補間量とする（図６
Ｓ８）。

【００５７】ところで、式１は、「−１≦ｘ≦１」が成
り立つ場合、 Ｇ'（ｉ，ｊ）＝｛（Ｇ１＋Ｇ３）／２｝×｛（１＋
ｘ）／２｝＋｛（Ｇ４＋Ｇ２）／２｝×｛（１−ｘ）／
２｝ と等価である。ここで、「（Ｇ１＋Ｇ３）／２」は、縦
方向に隣接する二つの格子点の画素出力の平均値に相当
し、「（１＋ｘ）／２」は、縦方向の類似度に対応する
重み係数に相当する。また、「（Ｇ４＋Ｇ２）／２」
は、横方向に隣接する二つの格子点の画素出力の平均値
に相当し、「（１−ｘ）／２」は、横方向の類似度に対
応する重み係数に相当する。

【００５８】すなわち、補間量算出部３２は、何れの類
似度も突出していないことを認識した場合（図６Ｓ６の
ＮＯ側）、空格子点の縦方向に隣接する二つの格子点の
画素出力の平均値および横方向に隣接する二つの格子点
の画素出力の平均値に対し、各方向の類似度の評価値に
基づく加重加算を施すことによって空格子点の補間量を
算出する（図６Ｓ９）。

【００５９】補間処理部２８は、このようにして空格子
点の補間量が算出されると、全ての空格子点の補間処理
が完了したか否かを判定する（図６Ｓ１０）。例えば、
このような判定は、上述したような各画素に対応付けら
れた座標を検索する過程で、任意の座標（ｉ，ｊ）につ
いて、「ｉ＞Ｘ_max−３」および「ｊ＞Ｙ_max−３」が
成り立つか否かを判定することに相当する。

【００６０】なお、画像の端部のように本発明の補間処
理をそのまま適用できない部分については、画像の端か
ら先を折り返して仮想の画像を生成し（公知の技術）、
このように生成した画像を用いて補間処理を行ってもよ
い。補間処理部２８は、このような判定によって、全て
の空格子点の補間処理が完了したことを認識するまで、
上述した処理（図６Ｓ１以降の処理）を繰り返し行う。

【００６１】すなわち、本実施形態では、空格子点の縦
方向の類似度Ｃtsum（ｉ，ｊ）および空格子点の横方向
の類似度Ｃysum（ｉ，ｊ）を Ｃtsum（ｉ，ｊ）＝｜Ｇ１−Ｇ３｜＋｜Ｇ５−Ｇ４｜×
ｈ Ｃysum（ｉ，ｊ）＝｜Ｇ４−Ｇ２｜＋｜Ｇ１２−Ｇ１｜
×ｈ によって簡単に算出することができる。

【００６２】したがって、本実施形態によれば、空格子
点の類似性を確実に反映しつつ、補間処理を高速に行う
ことができる。また、比較的狭い範囲に位置する格子点
の画素出力に基づいて、空格子点の縦方向の類似度およ
び横方向の類似度を算出することができるため、変化が
激しくて広い範囲での類似性が乏しく、狭い範囲での類
似性のみが現れる画像に対しても、精度良く補間処理を
行うことができる。

【００６３】ところで、図４における格子点の画素出力
を図１７に示す値として、Ｒ３４を出力する空格子点の
補間処理を行う場合、各格子点の画素出力は、Ｇ１＝１
００、Ｇ２＝０、Ｇ３＝１００、Ｇ４＝１００、Ｇ５＝
１００、Ｇ６＝０、Ｇ７＝０、Ｇ８＝０、Ｇ９＝０、Ｇ
１０＝０、Ｇ１１＝１００およびＧ１２＝１００とな
る。このような場合、「ｈ＝１」とすると、縦方向の類
似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum
（ｉ，ｊ）は、 Ｃtsum（ｉ，ｊ）＝｜Ｇ１−Ｇ３｜＋｜Ｇ５−Ｇ４｜×
ｈ＝０ Ｃysum（ｉ，ｊ）＝｜Ｇ４−Ｇ２｜＋｜Ｇ１２−Ｇ１｜
×ｈ＝１００ となる。

【００６４】すなわち、 ｘ＝（Ｃysum（ｉ，ｊ）−Ｃtsum（ｉ，ｊ）） ／｛（Ｃysum（ｉ，ｊ）＋Ｃtsum（ｉ，ｊ））×Ｔ１＋Ｔ０｝ ＝（１００−０）／｛（１００＋０）×Ｔ１＋Ｔ０｝ となる。

【００６５】ここで、平均的な画像に対する期待値とし
て、例えば「Ｔ１＝０．５」とし、「Ｔ０＝０」とする
と、 ｘ＝２ となり、図８の関係からｆ（ｘ）＝１となる。

【００６６】したがって、空格子点の補間量Ｇ'（ｉ，
ｊ）は、 Ｇ'（ｉ，ｊ）＝（Ｇ１＋Ｇ３）／２ ＝１００ となる。したがって、本実施形態では、米国特許第５,
３７３,３２２号に開示された従来の補間処理によって
破綻する可能性があった画像に対しても、高い精度で補
間処理を行うことができる。

【００６７】なお、Ｔ１およびＴ０の値は、平均的な画
像に対して実験などによって決定することができる。本
実施形態では、式１の条件を「０≦Ｔ１≦１」に制限す
ることによって、空格子点の縦方向の類似度と横方向の
類似度との差が少ない場合であっても、類似度の強い方
向に隣接する格子点の画素出力だけに基づく補間量の算
出が強制的に行われるようにしている。

【００６８】また、本実施形態では、第二の類似度算出
部３０は、Ｇ４およびＧ５を用いて第二の縦方向類似度
Ｃtn（ｉ，ｊ）を算出し、Ｇ１およびＧ１２をを用いて
第二の横方向類似度Ｃyn（ｉ，ｊ）を算出しているが、
例えば、第二の縦方向類似度Ｃtn（ｉ，ｊ）を Ｃtn（ｉ，ｊ）＝｜Ｇ６−Ｇ２｜ Ｃtn（ｉ，ｊ）＝｜Ｇ９−Ｇ２｜ Ｃtn（ｉ，ｊ）＝｜Ｇ１０−Ｇ４｜ の何れかによって算出してもよく、第二の横方向類似度
Ｃyn（ｉ，ｊ）を Ｃyn（ｉ，ｊ）＝｜Ｇ７−Ｇ１｜ Ｃyn（ｉ，ｊ）＝｜Ｇ３−Ｇ８｜ Ｃyn（ｉ，ｊ）＝｜Ｇ１１−Ｇ３｜ の何れかによって算出してもよい。

【００６９】さらに、本実施形態に請求項８を適用した
場合、 Ｃt（ｉ−１，ｊ−１）＝｜Ｇ５−Ｇ４｜ Ｃt（ｉ＋１，ｊ−１）＝｜Ｇ６−Ｇ２｜ Ｃt（ｉ＋１，ｊ＋１）＝｜Ｇ９−Ｇ２｜ Ｃt（ｉ−１，ｊ＋１）＝｜Ｇ１０−Ｇ４｜ を算出して、これらの値の最小値を第二の縦方向類似度
Ｃtn（ｉ，ｊ）とし、Ｃy（ｉ−１，ｊ−１）＝｜Ｇ１
２−Ｇ１｜ Ｃy（ｉ＋１，ｊ−１）＝｜Ｇ７−Ｇ１｜ Ｃy（ｉ＋１，ｊ＋１）＝｜Ｇ３−Ｇ８｜ Ｃy（ｉ−１，ｊ＋１）＝｜Ｇ１１−Ｇ３｜ を算出して、これらの値の最小値を第二の横方向類似度
Ｃyn（ｉ，ｊ）としてもよい。

【００７０】また、本実施形態では、ｈを「０＜ｈ≦
２」としているが、ｈは、第二の縦方向類似度Ｃtn
（ｉ，ｊ）および第二の横方向類似度Ｃyn（ｉ，ｊ）の
値に応じて変更してもよい。ところで、本実施形態で
は、Ｇ４の上方向の類似度を第二の縦方向類似度Ｃtn
（ｉ，ｊ）とし、Ｇ１の左方向の類似度を第二の横方向
類似度Ｃyn（ｉ，ｊ）としており、第二の縦方向類似度
Ｃtn（ｉ，ｊ）および第二の横方向類似度Ｃyn（ｉ，
ｊ）は、空格子点について対称に求めていない。このよ
うな場合、ｈを「０．５＜ｈ＜１」に制限することによ
って、空格子点の縦方向の類似度Ｃtsum（ｉ，ｊ）およ
び横方向の類似度Ｃysum（ｉ，ｊ）に対する第二の縦方
向類似度Ｃtn（ｉ，ｊ）および第二の横方向類似度Ｃyn
（ｉ，ｊ）の影響を低減してもよい。

【００７１】また、本実施形態では、ｆ（ｘ）を図８に
示す形状としているが、縦方向の類似度Ｃtsum（ｉ，
ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の何れか一
方の類似度が突出する場合、その突出する類似度を示す
方向に隣接する二つの格子点の画素出力の平均値を空格
子点の補間量とできれば、ｆ（ｘ）は如何なる関数であ
ってもよい。

【００７２】さらに、本実施形態では、補間量の算出時
にｆ（ｘ）の値を算出しているが、例えば、補間量算出
部３２内にルックアップテーブルを設けて予め算出した
ｆ（ｘ）の値を格納し、空格子点の縦方向の類似度Ｃts
um（ｉ，ｊ）や横方向の類似度Ｃysum（ｉ，ｊ）に対応
付けてルックアップテーブルを参照することによってｆ
（ｘ）の値を取得してもよい。

【００７３】また、本実施形態では、何れか一方の類似
度が突出しているか否かの判定をｘの値に基づいて行っ
ているが、例えば、縦方向の類似度Ｃtsum（ｉ，ｊ）が
所定の値（ここでは、Ｔｈとする）以下であり横方向の
類似度Ｃysum（ｉ，ｊ）がＴｈを上回る場合には、縦方
向の類似度Ｃtsum（ｉ，ｊ）が突出していると判定し、
横方向の類似度Ｃysum（ｉ，ｊ）がＴｈ以下であり縦方
向の類似度Ｃtsum（ｉ，ｊ）がＴｈを上回る場合には、
横方向の類似度Ｃysum（ｉ，ｊ）が突出していると判定
してもよい。

【００７４】さらに、ｘを算出する際の割算を回避する
ために、分母に相当する値を算出した後、その値をテー
ブル参照で「１／分母」に相当する値に置き換えて、掛
算でｘを求めてもよいし、分子の絶対値と分母とを対数
化（テーブル参照などにより）してから差をとり、これ
と所定値との大小を比較する方法（この場合、符号は別
途判別する）に置き換えてもよい。

【００７５】さらに、本実施形態では、縦方向の類似度
Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，
ｊ）が近似する場合、請求項１４を適用して各類似度に
対応する重み係数に基づいて空格子点の補間量を算出し
ているが、例えば、請求項１４に代えて請求項１５を適
用することによって、空格子点に隣接する４つの格子点
の画素出力のメディアンに基づき空格子点の補間量を算
出してもよい。

【００７６】（第二の実施形態）図９は、第二の実施形
態の類似度の算出方法を説明する図である。なお、本実
施形態は請求項１〜請求項３、請求項５および請求項１
１〜請求項１４に記載の発明に対応した実施形態に相当
する。また、請求項１〜請求項３、請求項５および請求
項１１〜請求項１４に記載の発明と本実施形態との対応
関係については、第一の類似度算出手段は第一の類似度
算出部２９に対応し、第二の類似度算出手段は第二の類
似度算出部３０に対応し、類似度決定手段は空格子点の
類似度算出部３１に対応し、補間量算出手段は補間量算
出部３２に対応する。

【００７７】本実施形態の特徴は、第二の類似度算出部
３０によって行われる第二の縦方向類似度Ｃtn（ｉ，
ｊ）および第二の横方向類似度Ｃyn（ｉ，ｊ）の算出方
法の動作にあり、他の動作については、第一の実施形態
と同様であるため説明を省略する。第二の類似度算出部
３０は、図９に示すように、Ｇ４、Ｇ５およびＧ１０を
用いて、第二の縦方向類似度Ｃtn（ｉ，ｊ）を Ｃtn（ｉ，ｊ）＝｜Ｇ５−Ｇ４｜＋｜Ｇ１０−Ｇ４｜ によって算出する。

【００７８】また、第二の類似度算出部３０は、Ｇ１、
Ｇ１２およびＧ７を用いて、第二の横方向類似度Ｃyn
（ｉ，ｊ）を Ｃyn（ｉ，ｊ）＝｜Ｇ１２−Ｇ１｜＋｜Ｇ７−Ｇ１｜ によって算出する（図６Ｓ３に相当する）。なお、この
ような第二の縦方向類似度Ｃtn（ｉ，ｊ）および第二の
横方向類似度Ｃyn（ｉ，ｊ）の算出時に、重み付けを行
ってから加算を行ってもよい。

【００７９】すなわち、本実施形態によれば、第二の縦
方向類似度は、Ｇ４の縦方向の類似度として求められ、
第二の横方向類似度は、Ｇ１の横方向の類似度として求
められる。そのため、第一の実施形態のように、Ｇ４の
上方向の類似度を第二の縦方向類似度とし、Ｇ１の左方
向の類似度を第二の横方向類似度としている場合と比
べ、第二の縦方向類似度および第二の横方向類似度を精
度良く求めることができる。

【００８０】したがって、本実施形態によれば、空格子
点の類似性を反映しつつ、補間処理の信頼性を確実に向
上することができる。また、本実施形態では、第二の類
似度算出部３０は、Ｇ４、Ｇ５およびＧ１０を用いて第
二の縦方向類似度Ｃtn（ｉ，ｊ）を算出し、Ｇ１、Ｇ７
およびＧ１２を用いて第二の横方向類似度Ｃyn（ｉ，
ｊ）を算出しているが、例えば、第二の縦方向類似度Ｃ
tn（ｉ，ｊ）を｜Ｇ５−Ｇ４｜、｜Ｇ６−Ｇ２｜、｜Ｇ
９−Ｇ２｜および｜Ｇ１０−Ｇ４｜の何れか二つの値の
和によって算出してもよく、第二の横方向類似度Ｃyn
（ｉ，ｊ）を｜Ｇ１２−Ｇ１｜、｜Ｇ７−Ｇ１｜、｜Ｇ
３−Ｇ８｜および｜Ｇ１１−Ｇ３｜の何れか二つの値の
和によって算出してもよい。

【００８１】ここで、このような和の算出時に、二つの
値に重み付けを行ってもよい。さらに、本実施形態に請
求項９を適用した場合、 Ｃt（ｉ−１，ｊ−１）＝｜Ｇ５−Ｇ４｜ Ｃt（ｉ＋１，ｊ−１）＝｜Ｇ６−Ｇ２｜ Ｃt（ｉ＋１，ｊ＋１）＝｜Ｇ９−Ｇ２｜ Ｃt（ｉ−１，ｊ＋１）＝｜Ｇ１０−Ｇ４｜ から値の小さい二つの項をとり、これらの二つの項を加
算（もしくは加重加算）した値を第二の縦方向類似度Ｃ
tn（ｉ，ｊ）とし、 Ｃy（ｉ−１，ｊ−１）＝｜Ｇ１２−Ｇ１｜ Ｃy（ｉ＋１，ｊ−１）＝｜Ｇ７−Ｇ１｜ Ｃy（ｉ＋１，ｊ＋１）＝｜Ｇ３−Ｇ８｜ Ｃy（ｉ−１，ｊ＋１）＝｜Ｇ１１−Ｇ３｜ から値の小さい二つの項をとり、これらの二つの項を加
算（もしくは加重加算）した値を第二の横方向類似度Ｃ
yn（ｉ，ｊ）としてもよい。

【００８２】（第三の実施形態）図１０は、第三の実施
形態の類似度の算出方法を説明する図である。なお、本
実施形態は請求項１〜請求項３、請求項６および請求項
１１〜請求項１４に記載の発明に対応した実施形態に相
当する。また、請求項１〜請求項３、請求項６および請
求項１１〜請求項１４に記載の発明と本実施形態との対
応関係については、第一の類似度算出手段は第一の類似
度算出部２９に対応し、第二の類似度算出手段は第二の
類似度算出部３０に対応し、類似度決定手段は空格子点
の類似度算出部３１に対応し、補間量算出手段は補間量
算出部３２に対応する。

【００８３】本実施形態の特徴は、第二の類似度算出部
３０によって行われる第二の縦方向類似度Ｃtn（ｉ，
ｊ）および第二の横方向類似度Ｃyn（ｉ，ｊ）の算出方
法の動作にあり、他の動作については、第一の実施形態
と同様であるため説明を省略する。第二の類似度算出部
３０は、図１０に示すように、Ｇ２、Ｇ４、Ｇ５、Ｇ６
および１０を用いて、第二の縦方向類似度Ｃtn（ｉ，
ｊ）を Ｃtn（ｉ，ｊ）＝｜Ｇ５−Ｇ４｜＋｜Ｇ１０−Ｇ４｜＋
｜Ｇ６−Ｇ２｜ によって算出する。

【００８４】また、第二の類似度算出部３０は、Ｇ１、
Ｇ３、Ｇ７、Ｇ１１およびＧ１２を用いて、第二の横方
向類似度Ｃyn（ｉ，ｊ）を Ｃyn（ｉ，ｊ）＝｜Ｇ１２−Ｇ１｜＋｜Ｇ７−Ｇ１｜＋
｜Ｇ１１−Ｇ３｜ によって算出する（図６Ｓ３に相当する）。なお、この
ような第二の縦方向類似度Ｃtn（ｉ，ｊ）および第二の
横方向類似度Ｃyn（ｉ，ｊ）の算出時に、重み付けを行
ってから加算を行ってもよい。

【００８５】すなわち、本実施形態によれば、第二の縦
方向類似度は、Ｇ４の縦方向の類似度およびＧ２の上方
向の類似度の総和として求められ、第二の横方向類似度
は、Ｇ１の横方向の類似度およびＧ３の左方向の類似度
の総和として求められる。そのため、第一の実施形態の
ように、Ｇ４の上方向の類似度を第二の縦方向類似度と
し、Ｇ１の左方向の類似度を第二の横方向類似度として
いる場合と比べ、第二の縦方向類似度および第二の横方
向類似度を精度良く求めることができる。

【００８６】したがって、本実施形態によれば、空格子
点の類似性を反映しつつ、補間処理の信頼性を確実に向
上することができる。なお、本実施形態では、第二の類
似度算出部３０は、Ｇ２、Ｇ４、Ｇ５、Ｇ６およびＧ１
０を用いて第二の縦方向類似度Ｃtn（ｉ，ｊ）を算出
し、Ｇ１、Ｇ３、Ｇ７、Ｇ１１およびＧ１２を用いて第
二の横方向類似度Ｃyn（ｉ，ｊ）を算出しているが、例
えば、第二の縦方向類似度Ｃtn（ｉ，ｊ）を｜Ｇ５−Ｇ
４｜、｜Ｇ６−Ｇ２｜、｜Ｇ９−Ｇ２｜および｜Ｇ１０
−Ｇ４｜の何れか三つの値の和によって算出してもよ
く、第二の横方向類似度Ｃyn（ｉ，ｊ）を｜Ｇ１２−Ｇ
１｜、｜Ｇ７−Ｇ１｜、｜Ｇ３−Ｇ８｜および｜Ｇ１１
−Ｇ３｜の何れか三つの値の和によって算出してもよ
い。

【００８７】ここで、このような和の算出時に、二つの
値に重み付けを行ってもよい。また、本実施形態に請求
項１０を適用した場合、 Ｃt（ｉ−１，ｊ−１）＝｜Ｇ５−Ｇ４｜ Ｃt（ｉ＋１，ｊ−１）＝｜Ｇ６−Ｇ２｜ Ｃt（ｉ＋１，ｊ＋１）＝｜Ｇ９−Ｇ２｜ Ｃt（ｉ−１，ｊ＋１）＝｜Ｇ１０−Ｇ４｜ から値の小さい三つの項をとり、これらの三つの項を加
算（もしくは加重加算）した値を第二の縦方向類似度Ｃ
tn（ｉ，ｊ）とし、 Ｃy（ｉ−１，ｊ−１）＝｜Ｇ１２−Ｇ１｜ Ｃy（ｉ＋１，ｊ−１）＝｜Ｇ７−Ｇ１｜ Ｃy（ｉ＋１，ｊ＋１）＝｜Ｇ３−Ｇ８｜ Ｃy（ｉ−１，ｊ＋１）＝｜Ｇ１１−Ｇ３｜ から値の小さい三つの項をとり、これらの三つの項を加
算（もしくは加重加算）した値を第二の横方向類似度Ｃ
yn（ｉ，ｊ）としてもよい。

【００８８】（第四の実施形態）図１１は、第四の実施
形態の類似度の算出方法を説明する図である。なお、本
実施形態は請求項１〜請求項３、請求項７および請求項
１１〜請求項１４に記載の発明に対応した実施形態に相
当する。また、請求項１〜請求項３、請求項７および請
求項１１〜請求項１４に記載の発明と本実施形態との対
応関係については、第一の類似度算出手段は第一の類似
度算出部２９に対応し、第二の類似度算出手段は第二の
類似度算出部３０に対応し、類似度決定手段は空格子点
の類似度算出部３１に対応し、補間量算出手段は補間量
算出部３２に対応する。

【００８９】本実施形態の特徴は、第二の類似度算出部
３０によって行われる第二の縦方向類似度Ｃtn（ｉ，
ｊ）および第二の横方向類似度Ｃyn（ｉ，ｊ）の算出方
法の動作にあり、他の動作については、第一の実施形態
と同様であるため説明を省略する。第二の類似度算出部
３０は、図１１に示すように、Ｇ２、Ｇ４、Ｇ５、Ｇ
６、Ｇ９およびＧ１０を用いて、第二の縦方向類似度Ｃ
tn（ｉ，ｊ）を Ｃtn（ｉ，ｊ）＝｜Ｇ５−Ｇ４｜＋｜Ｇ６−Ｇ２｜＋｜
Ｇ９−Ｇ２｜＋｜Ｇ１０−Ｇ４｜ によって算出する。

【００９０】また、第二の類似度算出部３０は、Ｇ１、
Ｇ３、Ｇ７、Ｇ８、Ｇ１１およびＧ１２を用いて、第二
の横方向類似度Ｃyn（ｉ，ｊ）を Ｃyn（ｉ，ｊ）＝｜Ｇ１２−Ｇ１｜＋｜Ｇ７−Ｇ１｜＋
｜Ｇ３−Ｇ８｜＋｜Ｇ１１−Ｇ３｜ によって算出する（図６Ｓ３に相当する）。

【００９１】なお、このような第二の縦方向類似度Ｃtn
（ｉ，ｊ）および第二の横方向類似度Ｃyn（ｉ，ｊ）の
算出時に、重み付けを行ってから加算を行ってもよい。
すなわち、本実施形態によれば、第二の縦方向類似度
は、Ｇ４およびＧ２の縦方向の類似度として求められ、
第二の横方向類似度は、Ｇ１およびＧ３の横方向の類似
度として求められる。

【００９２】そのため、第一の実施形態のようにＧ４の
上方向の類似度を第二の縦方向類似度とし、Ｇ１の左方
向の類似度を第二の横方向類似度としている場合と比
べ、第二の縦方向類似度および第二の横方向類似度を空
格子点について対称に求めることができ、第二の縦方向
類似度および第二の横方向類似度の精度が向上する。し
たがって、本実施形態によれば、空格子点の類似性を反
映しつつ、補間処理の信頼性を確実に向上することがで
きる。

【００９３】ところで、本発明は、格子点と空格子点と
が市松模様状に配された構成の撮像素子であれば、単板
や多板およびカラーフィルタの如何にかかわらず適用可
能であるが、図１５（１）のように、一見、市松模様状
でない撮像素子に対しても適用することができる。例え
ば、図１５（１）において、４つの緑色（Ｇ）の画素出
力の中心部分を空格子点と仮定した場合、図１５（１）
で示される撮像素子を４５度回転することによって、空
格子点の上下左右の４つの方向には、格子点が配されて
いると言える。そのため、上述した各実施形態と同様に
して、空格子点の補間量を算出することができる。

【００９４】（第五の実施形態）上述した各実施形態で
は、電子スチルカメラ内に補間処理部２８を設けて補間
処理を行っているが、このような補間処理は、画像処理
装置やコンピュータによって行うこともできる。図１２
は、第五の実施形態の機能ブロック図である。

【００９５】図において、機能が図１に示す機能ブロッ
ク図と同じものについては、同じ符号を付与して示し、
構成の説明については省略する。なお、図１２に示す電
子スチルカメラ４０と図１に示す実施形態との構成の相
違点は、信号処理部４１が信号処理部２６に代えて設け
られ、メモリカードドライバ２７が設けられた点と、画
像バッファメモリ２５の出力が信号処理部４１に接続さ
れ、信号処理部４１の出力がメモリカードドライバ２７
に接続された点とである。

【００９６】図において、パーソナルコンピュータ４２
は、ＣＰＵ４３、メモリカードドライバ４４および画像
メモリ４５を有する。ＣＰＵ４３は、メモリカードドラ
イバ４４および画像メモリ４５に接続され、メモリカー
ドドライバ４４と画像メモリ４５とは相互に接続され
る。なお、ＣＰＵ４３には、請求項１ないし請求項１５
に記載の補間装置と同様の補間処理を実現する補間処理
プログラムが予めインストールされていることとする。

【００９７】図１３は、第五の実施形態の動作フローチ
ャートである。以下、図１２および図１３を参照して第
五の実施形態の動作を説明する。電子スチルカメラ４０
において、撮像素子２３では、第一の実施形態と同様
に、信号電荷が生成される。また、撮像素子２３は、こ
のように生成された信号電荷を走査して画像信号を生成
し、Ａ／Ｄ変換部２４に与える。

【００９８】Ａ／Ｄ変換部２４は、このように与えられ
た画像信号をＡ／Ｄ変換して画像データを生成する（図
１３Ｓ１）。このように生成された画像データは、画像
バッファメモリ２５内に一時的に格納される（図１３Ｓ
２）。このような処理は、制御部２０によるタイミング
制御に基づき繰り返し行われる。

【００９９】制御部２０は、レリーズボタン（図示され
ない）が押下されたか否かを判定し（図１３Ｓ３）、レ
リーズボタンが押下されたことを認識すると、信号処理
部４１およびメモリカードドライバ２７に対して、画像
バッファメモリ２５に格納された画像データをメモリカ
ード３３に記録することを指示する（図１３Ｓ４）。信
号処理部４１では、画像バッファメモリ２５に格納され
た画像データに対して、撮像素子固有の問題点（例え
ば、暗レベルなど）の調整などを行い、γ補正などの処
理を施し（ここで、補間処理は行われないこととす
る。）、メモリカードドライバ２７に与える。なお、γ
補正は、信号処理部４１で行わず、パーソナルコンピュ
ータ４２内で行ってもよい。

【０１００】また、信号処理部４１は、その画像データ
が補間処理を必要とする旨を示す情報をメモリカードド
ライバ２７に与える。メモリカードドライバ２７は、画
像データを画像ファイルの形式でメモリカード３３に記
録すると共に、画像ファイルのヘッダ部に設けられた
「補間要求フラグ」（画像データが補間処理を必要とす
る旨を示すフラグ）を立てる。

【０１０１】このようにして画像データが記録されたメ
モリカード３３がパーソナルコンピュータ４２に装填さ
れると、ＣＰＵ４３は、メモリカードドライバ４４を介
して画像ファイルのヘッダ部を読み出す（図１３Ｓ
５）。ＣＰＵ４３は、このようにして画像ファイルのヘ
ッダ部を読み出すと、「補間要求フラグ」が立っている
か否かを判定する（図１３Ｓ６）。

【０１０２】ＣＰＵ４３は、このような判定によって
「補間要求フラグ」が立っていることを認識した場合に
限り、メモリカードドライバ４４を介して画像データを
読み出して画像メモリ４５に格納する（図１３Ｓ７）。
また、ＣＰＵ４３は、画像メモリ４５に格納した画像デ
ータに対し、補間処理を施して画像メモリ４５に格納す
る（図１３Ｓ８）。

【０１０３】なお、本実施形態の補間処理は、上述した
各実施形態の補間処理と同じであるため、説明を省略す
る。ＣＰＵ４３は、補間処理が終了した時点で、補間処
理が施された画像データをメモリカードドライバ４４を
介してメモリカード３３に再度記録する（図１３Ｓ
９）。なお、補間処理が施された画像データをメモリカ
ード３３に記録するか否かは、操作者がパーソナルコン
ピュータ４２の入力装置（例えば、キーボードなど）に
よって選択できるようにしてもよい。

【０１０４】すなわち、本実施形態によれば、電子スチ
ルカメラ４０は、補間処理が施されず記録容量の少ない
画像データを記録することができ、パーソナルコンピュ
ータ４２は、操作者の必要に応じて上述した各実施形態
と同様に補間処理を行うことができる。したがって、本
実施形態によれば、撮影時にメモリカード３３を効率よ
く利用することができると共に、パーソナルコンピュー
タ４２によって、補間処理を精度良く行うことができ
る。

【０１０５】なお、本実施形態では、パーソナルコンピ
ュータ４２は補間処理を行うべき画像データをメモリカ
ード３３を介して取得しているが、このような画像デー
タを取得する方法については、如何なる方法であっても
よい。例えば、通信手段を備えたパーソナルコンピュー
タに本発明を適用する場合、その通信手段を介して与え
られる画像データに対して補間処理を行うことも可能で
ある。

【０１０６】

【発明の効果】上述したように、請求項１に記載の発明
では、補間処理の対象となる色の画素出力の類似性を反
映して空格子点の類似度を決定することができるため、
補間処理の信頼性を確実に向上することができる。請求
項２に記載の発明では、第一の縦方向類似度および第一
の横方向類似度を簡単かつ確実に算出することができ
る。

【０１０７】請求項３に記載の発明では、第二の類似度
算出手段は、４つの座標（ｉ−２，ｊ−２）、（ｉ＋
２，ｊ−２）、（ｉ＋２，ｊ＋２）および（ｉ−２，ｊ
＋２）で囲まれる比較的狭い範囲に位置する格子点の画
素出力に基づいて、第二の縦方向類似度Ｃtn（ｉ，ｊ）
および第二の横方向類似度Ｃyn（ｉ，ｊ）を算出するこ
とができる。

【０１０８】したがって、狭い範囲で類似性が現れる画
像に対しても、信頼性を確実に向上しつつ、適切な補間
処理を行うことができる。請求項４ないし請求項１０に
記載の発明では、第二の類似度算出手段は、比較的狭い
範囲に位置する格子点の画素出力に基づき、第二の縦方
向類似度Ｃtn（ｉ，ｊ）および第二の横方向類似度Ｃyn
（ｉ，ｊ）を算出することができると共に、このような
算出時の計算量を確実に低減することができる。

【０１０９】したがって、簡単な演算を行うことによっ
て第二の縦方向類似度および第二の横方向類似度を速や
かに求めることができるため、補間処理の高速化がはか
れると共に、請求項３に記載の発明にかかわる補間装置
と同様に補間処理の信頼性を確実に向上することができ
る。請求項１１に記載の発明では、簡単な演算を行うこ
とによって空格子点の縦方向の類似度および空格子点の
横方向の類似度を速やかに決定することができるため、
補間処理の高速化がはかれる。

【０１１０】請求項１２に記載の発明では、空格子点の
縦方向もしくは横方向の類似度の何れか一方が突出して
いる場合には、その方向に隣接する二つの格子点の画素
出力の平均値を空格子点の補間量とすることができる。
したがって、空格子点の縦方向および横方向の類似度を
確実に反映しつつ、空格子点の補間量を算出することが
できるため、補間処理の信頼性を確実に向上することが
できる。

【０１１１】請求項１３および請求項１５に記載の発明
では、空格子点の縦方向および横方向の類似度が近似す
る場合であっても、各類似度を確実に反映しつつ、空格
子点の補間量を算出することができるため、補間処理の
信頼性を確実に向上することができる。請求項１４に記
載の発明では、簡単な演算を行うことによって、空格子
点の縦方向および横方向の類似度を確実に反映しつつ、
空格子点の補間量を算出することができるため、補間処
理の高速化がはかれると共に、請求項１３に記載の発明
にかかわる補間装置と同様に補間処理の信頼性を確実に
向上することができる。

【図面の簡単な説明】

【図１】第一の実施形態の機能ブロック図である。

【図２】補間処理部のデータの流れを説明する図であ
る。

【図３】格子点の画素出力と空格子点の補間量とを示す
図である。

【図４】補間処理の対象となる空格子点と周囲の格子点
の画素出力を示す図である。

【図５】第一の実施形態の動作フローチャートである。

【図６】第一の実施形態の補間処理の動作フローチャー
トである。

【図７】第一の実施形態の類似度の算出方法を説明する
図である。

【図８】ｆ（ｘ）のグラフの形状を示す図である。

【図９】第二の実施形態の類似度の算出方法を説明する
図である。

【図１０】第三の実施形態の類似度の算出方法を説明す
る図である。

【図１１】第四の実施形態の類似度の算出方法を説明す
る図である。

【図１２】第五の実施形態の機能ブロック図である。

【図１３】第五の実施形態の動作フローチャートであ
る。

【図１４】撮像素子の構成例を示す図である。

【図１５】撮像素子の構成例を示す図である。

【図１６】従来の補間処理を説明する図である。

【図１７】画素出力の例を示す図である。

【符号の説明】

２０ 制御部 ２１ 撮影光学系 ２２ ＯＬＰＦ ２３ 撮像素子 ２４ Ａ／Ｄ変換部 ２５ 画像バッファメモリ ２６、４１ 信号処理部 ２７、４４ メモリカードドライバ ２８ 補間処理部 ２９ 第一の類似度算出部 ３０ 第二の類似度算出部 ３１ 空格子点の類似度算出部 ３２ 補間量算出部 ３３ メモリカード ４０ 電子スチルカメラ ４２ パーソナルコンピュータ ４３ ＣＰＵ ４５ 画像メモリ

Claims (15)

【特許請求の範囲】
1. 【請求項１】 予め決められた色を出力する格子点と該
   色を出力しない空格子点とが市松模様状に配された画像
   の補間処理を行い、該空格子点の画素出力となる補間量
   を求める補間装置において、 前記空格子点の縦方向に隣接する二つの格子点の類似度
   を示す第一の縦方向類似度と、該空格子点の横方向に隣
   接する二つの格子点の類似度を示す第一の横方向類似度
   とを算出する第一の類似度算出手段と、 前記空格子点の横方向に隣接する少なくとも一方の格子
   点の縦方向の類似度を示す第二の縦方向類似度と、該空
   格子点の縦方向に隣接する少なくとも一方の格子点の横
   方向の類似度を示す第二の横方向類似度とを算出する第
   二の類似度算出手段と、 前記第一の縦方向類似度および前記第二の縦方向類似度
   に基づき前記空格子点の縦方向の類似度を決定すると共
   に、前記第一の横方向類似度および前記第二の横方向類
   似度に基づき該空格子点の横方向の類似度を決定する類
   似度決定手段と 、前記類似度決定手段によって決定された類似度に応じ
   て類似性が強い方向に位置する格子点の画素出力を選
   択、もしくは該類似度に応じて前記空格子点の縦方向お
   よび横方向に位置する格子点の画素出力を加重加算する
   ことによって、該空格子点の補間量を算出する補間量算
   出手段とを備えたことを特徴とする補間装置。
2. 【請求項２】 請求項１に記載の補間装置において、前
   記空格子点の座標を（ｉ，ｊ）とした場合、 前記第一の類似度算出手段は、 下式に基づいて、第一の縦方向類似度Ｃt（ｉ，ｊ）お
   よび第一の横方向類似度Ｃy（ｉ，ｊ）を算出する Ｃt（ｉ，ｊ）＝｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ＋
   １）｜ Ｃy（ｉ，ｊ）＝｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ＋１，
   ｊ）｜ （ただし、Ｇ（ｘ，ｙ）は座標（ｘ，ｙ）に位置する格
   子点の画素出力である）ことを特徴とする補間装置。
3. 【請求項３】 請求項１または請求項２に記載の補間装
   置において、前記空格子点の座標を（ｉ，ｊ）とし、 Ｃt（ｉ，ｊ）＝｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ＋
   １）｜ Ｃy（ｉ，ｊ）＝｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ＋１，
   ｊ）｜ （ただし、Ｇ（ｘ，ｙ）は座標（ｘ，ｙ）に位置する格
   子点の画素出力である）とした場合、 前記第二の類似度算出手段は、 Ｃt（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
   （ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）の少
   なくとも１つに基づいて、第二の縦方向類似度Ｃtn
   （ｉ，ｊ）を算出し、Ｃy（ｉ−１，ｊ−１）、Ｃy（ｉ
   ＋１，ｊ−１）、Ｃy（ｉ＋１，ｊ＋１）およびＣy（ｉ
   −１，ｊ＋１）の少なくとも１つに基づいて、第二の横
   方向類似度Ｃyn（ｉ，ｊ）を算出することを特徴とする
   補間装置。
4. 【請求項４】 請求項３に記載の補間装置において、 前記第二の類似度算出手段は、 Ｃt（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
   （ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１） の
   内、何れか一つの値を算出して第二の縦方向類似度Ｃtn
   （ｉ，ｊ）とし、Ｃy（ｉ−１，ｊ−１）、Ｃy（ｉ＋
   １，ｊ−１）、Ｃy（ｉ＋１，ｊ＋１）およびＣy（ｉ−
   １，ｊ＋１）の内、何れか一つの値を算出して第二の横
   方向類似度Ｃyn（ｉ，ｊ）とすることを特徴とする補間
   装置。
5. 【請求項５】 請求項３に記載の補間装置において、 前記第二の類似度算出手段は、 Ｃt（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
   （ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）の
   内、二つの値について、和を算出もしくは加重加算して
   第二の縦方向類似度Ｃtn（ｉ，ｊ）とし、Ｃy（ｉ−
   １，ｊ−１）、Ｃy（ｉ＋１，ｊ−１）、Ｃy（ｉ＋１，
   ｊ＋１）およびＣy（ｉ−１，ｊ＋１）の内、二つの値
   について、和を算出もしくは加重加算して第二の横方向
   類似度Ｃyn（ｉ，ｊ）とすることを特徴とする補間装
   置。
6. 【請求項６】 請求項３に記載の補間装置において、 前記第二の類似度算出手段は、 Ｃt（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
   （ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）の
   内、三つの値について、和を算出もしくは加重加算して
   第二の縦方向類似度Ｃtn（ｉ，ｊ）とし、Ｃy（ｉ−
   １，ｊ−１）、Ｃy（ｉ＋１，ｊ−１）、Ｃy（ｉ＋１，
   ｊ＋１）およびＣy（ｉ−１，ｊ＋１）の内、三つの値
   について、和を算出もしくは加重加算して第二の横方向
   類似度Ｃyn（ｉ，ｊ）とすることを特徴とする補間装
   置。
7. 【請求項７】 請求項３に記載の補間装置において、 前記第二の類似度算出手段は、 Ｃt（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
   （ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）につ
   いて、総和を算出もしくは加重加算して第二の縦方向類
   似度Ｃtn（ｉ，ｊ）とし、Ｃy（ｉ−１，ｊ−１）、Ｃy
   （ｉ＋１，ｊ−１）、Ｃy（ｉ＋１，ｊ＋１）およびＣy
   （ｉ−１，ｊ＋１）について、総和を算出もしくは加重
   加算して第二の横方向類似度Ｃyn（ｉ，ｊ）とすること
   を特徴とする補間装置。
8. 【請求項８】 請求項３に記載の補間装置において、 前記第二の類似度算出手段は、 Ｃt（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
   （ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）の
   内、最小の値を第二の縦方向類似度Ｃtn（ｉ，ｊ）と
   し、Ｃy（ｉ−１，ｊ−１）、Ｃy（ｉ＋１，ｊ−１）、
   Ｃy（ｉ＋１，ｊ＋１）およびＣy（ｉ−１，ｊ＋１）の
   内、最小の値を第二の横方向類似度Ｃyn（ｉ，ｊ）とす
   ることを特徴とする補間装置。
9. 【請求項９】 請求項３に記載の補間装置において、 前記第二の類似度算出手段は、 Ｃt（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
   （ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）の
   内、値の小さい方から順にとった二つの値に基づき、第
   二の縦方向類似度Ｃtn（ｉ，ｊ）を算出し、Ｃy（ｉ−
   １，ｊ−１）、Ｃy（ｉ＋１，ｊ−１）、Ｃy（ｉ＋１，
   ｊ＋１）およびＣy（ｉ−１，ｊ＋１）の内、値の小さ
   い方から順にとった二つの値に基づき、第二の横方向類
   似度Ｃyn（ｉ，ｊ）を算出することを特徴とする補間装
   置。
10. 【請求項１０】 請求項３に記載の補間装置において、 前記第二の類似度算出手段は、 Ｃt（ｉ−１，ｊ−１）、Ｃt（ｉ＋１，ｊ−１）、Ｃt
    （ｉ＋１，ｊ＋１）およびＣt（ｉ−１，ｊ＋１）から
    三つの値をとって組み合わせ、各組の三つの値につい
    て、和を算出もしくは加重加算して最小となる値を第二
    の縦方向類似度Ｃtn（ｉ，ｊ）とし、Ｃy（ｉ−１，ｊ
    −１）、Ｃy（ｉ＋１，ｊ−１）、Ｃy（ｉ＋１，ｊ＋
    １）およびＣy（ｉ−１，ｊ＋１）から三つの値をとっ
    て組み合わせ、各組の三つの値について、和を算出もし
    くは加重加算して最小となる値を第二の横方向類似度Ｃ
    yn（ｉ，ｊ）とすることを特徴とする補間装置。
11. 【請求項１１】 請求項１ないし請求項１０の何れか一
    項に記載の補間装置において、前記空格子点の座標を
    （ｉ，ｊ）とし、前記第一の縦方向類似度をＣt（ｉ，
    ｊ）とし、前記第二の縦方向類似度をＣtn（ｉ，ｊ）と
    し、前記第一の横方向類似度をＣy（ｉ，ｊ）とし、前
    記第二の横方向類似度をＣyn（ｉ，ｊ）とした場合、 前記類似度決定手段は、 下式に基づいて、前記空格子点の縦方向の類似度Ｃtsum
    （ｉ，ｊ）および該空格子点の横方向の類似度Ｃysum
    （ｉ，ｊ）を決定する Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×
    ｈ Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×
    ｈ （ただし、ｈは予め決められた定数である）ことを特徴
    とする補間装置。
12. 【請求項１２】 請求項１ないし請求項１１の何れか一
    項に記載の補間装置において、 前記補間量算出手段は、 前記類似度決定手段によって決定された前記空格子点の
    縦方向および横方向の類似度について、何れか一方の類
    似度が突出する場合、その類似度を示す方向に隣接する
    二つの格子点の画素出力の平均値を該空格子点の補間量
    とし、双方の類似度が近似する場合、該平均値を算出す
    る以外の方法で該空格子点の補間量を算出することを特
    徴とする補間装置。
13. 【請求項１３】 請求項１２に記載の補間装置におい
    て、 前記補間量算出手段は、 前記類似度決定手段によって決定された前記空格子点の
    縦方向および横方向の類似度が近似する場合、各類似度
    に対応する重み係数に基づいて該空格子点の補間量を算
    出することを特徴とする補間装置。
14. 【請求項１４】 請求項１３に記載の補間装置におい
    て、前記空格子点の座標を（ｉ，ｊ）とし、該空格子点
    の縦方向の類似度をＣtsum（ｉ，ｊ）とし、該空格子点
    の横方向の類似度をＣysum（ｉ，ｊ）とした場合、 前記補間量算出手段は、 下式に基づいて、前記空格子点の補間量Ｇ'（ｉ，ｊ）
    を算出する Ｇ'（ｉ，ｊ）＝｛（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋
    １））×（１＋ｆ（ｘ））＋（Ｇ（ｉ−１，ｊ）＋Ｇ
    （ｉ＋１，ｊ））×（１−ｆ（ｘ））｝／４ ｘ＝（Ｃysum（ｉ，ｊ）−Ｃtsum（ｉ，ｊ））／｛（Ｃ
    ysum（ｉ，ｊ）＋Ｃtsum（ｉ，ｊ））×Ｔ１＋Ｔ０｝−
    １≦ｘ≦１のとき ｆ（ｘ）＝ｘ ｘ＞１のとき ｆ（ｘ）＝１ ｘ＜−１のとき ｆ（ｘ）＝−１ （ただし、Ｔ１、Ｔ０は所定の定数であって、共に
    「０」となることはなく、Ｇ（ｘ，ｙ）は座標（ｘ，
    ｙ）に位置する格子点の画素出力である）ことを特徴と
    する補間装置。
15. 【請求項１５】 請求項１２に記載の補間装置におい
    て、 前記補間量算出手段は、 前記類似度決定手段によって決定された前記空格子点の
    縦方向および横方向の類似度が近似する場合、該空格子
    点に隣接する４つの格子点の画素出力のメディアンによ
    って該空格子点の補間量を算出することを特徴とする補
    間装置。