JP4038867B2 - 補間処理方法 - Google Patents
補間処理方法 Download PDFInfo
- Publication number
- JP4038867B2 JP4038867B2 JP07045498A JP7045498A JP4038867B2 JP 4038867 B2 JP4038867 B2 JP 4038867B2 JP 07045498 A JP07045498 A JP 07045498A JP 7045498 A JP7045498 A JP 7045498A JP 4038867 B2 JP4038867 B2 JP 4038867B2
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- color information
- vacancy
- vertical
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、予め決められた色を出力する格子点と該色を出力しない空格子点とが市松模様状に配された画像の補間処理方法に関する。
【０００２】
【従来の技術】
電子カメラには、カラー画像の画像信号を生成する際、単一の撮像素子を用いるものがある。このような撮像素子は、例えば図１４（１）に示すように、ＲＧＢ（赤色・緑色・青色）の３色のカラーフィルタがベイア配列されて構成される。
ここで、緑色（Ｇ）に着目すると、撮像素子は、図１４（２）に示すように緑色を出力する画素である格子点と、緑色を出力しない画素である空格子点とが市松模様状に配されて構成されていると言える。
【０００３】
従来、このような撮像素子によって生成された画像信号に相当するカラー画像の補間処理には、空格子点に隣接する格子点の色情報の大きさの平均値を空格子点の補間量とするものがあった。
また、米国特許第５，３８２，９７６号明細書（クラス３４８）には、空格子点の空間的な類似度を空格子点に隣接する格子点の色傾斜（chrominance gradients）によって推定し、類似度の強い方向に隣接する格子点の色情報の大きさに基づいて補間量を算出する技術が開示されている。
【０００４】
図１５は、米国特許第５,３８２，９７６号に開示された従来の補間処理を説明する図である。
図において、Ｇ１１，Ｇ１３，・・・，Ｇ６６は緑色（Ｇ）の色情報の大きさを示し、Ｒ１２，Ｒ１４，・・・，Ｒ５６は赤色（Ｒ）の色情報の大きさを示し、Ｂ２１，Ｂ２３，・・・，Ｂ６７は青色（Ｂ）の色情報の大きさを示す。
【０００５】
上述した米国特許では、例えば、Ｒ３４を出力する画素の緑色の補間量Ｇ３４を求める際、まず、横方向の色傾斜に関する情報Ｇdiff-horを
Ｇdiff-hor ＝ ｜Ｇ２４−Ｇ４４｜
によって求め、縦方向の色傾斜に関する情報Ｇdiff-verを
Ｇdiff-ver ＝ ｜Ｇ３３−Ｇ３５｜
によって求める。
【０００６】
そして、このように求めたＧdiff-horとＧdiff-verとの大小関係によって場合分けし、Ｇ３４を算出する。
すなわち、所定の値Ｔhresholdについて、
Ｇdiff-hor＜Ｔhreshold AND Ｇdiff-ver＞Ｔhreshold ・・・条件１
が成り立つ場合（横方向の類似度が強い場合）、Ｇ３４を
Ｇ３４ ＝ （Ｇ３３＋Ｇ３５）／２
によって求め、
Ｇdiff-hor＞Ｔhreshold AND Ｇdiff-ver＜Ｔhreshold ・・・条件２
が成り立つ場合（縦方向の類似度が強い場合）、Ｇ３４を
Ｇ３４ ＝ （Ｇ２４＋Ｇ４４）／２
によって求め、
（Ｇdiff-hor＜Ｔhreshold AND Ｇdiff-ver＜Ｔhreshold）OR
（Ｇdiff-hor＞Ｔhreshold AND Ｇdiff-ver＞Ｔhreshold） ・・・条件３
が成り立つ場合、Ｇ３４を
Ｇ３４ ＝ （Ｇ２４＋Ｇ４４＋Ｇ３３＋Ｇ３５）／４
によって求める。
【０００７】
ここで、上述した米国特許で開示された補間処理方法を用いて、図１６に示すような黒と白との縦縞状の画像の補間処理を行う場合を考える。なお、図１６に示す画像が図１４に示す撮像素子に投影されると、緑色（Ｇ）の色情報の大きさは、図１７に示す値になると仮定する。
【０００８】
例えば、補間量Ｇ３４を求める際、図１７において、「Ｇ２４＝２００」、「Ｇ４４＝２００」、「Ｇ３３＝１０」、「Ｇ３５＝１０」であるため、Ｇdiff-horとＧdiff-verとは、共に「０」となる。したがって、Ｇdiff-horとＧdiff-verとの間には、条件１および条件２は成り立たず、「Ｔhreshold≠０」である場合に限り条件３が成り立つことになる。
【０００９】
仮に、「Ｔhreshold≠０」とした場合、補間量Ｇ３４は、
Ｇ３４ ＝ （２００＋２００＋１０＋１０）／４ ＝ １０５
となる。
【００１０】
【発明が解決しようとする課題】
しかし、実際には、図１６に示す画像は縦方向の類似度が強く、補間量Ｇ３４は「２００」となるべきである。
【００１１】
このように、上述した米国特許では、Ｇdiff-horとＧdiff-verとが一致した場合、横方向の類似度と縦方向の類似度とが一致していると判定されることになり、補間処理の対象となる空格子点の空間的な類似度が誤って推定されるおそれがあった。そのため、適切な補間量を求めることができず、最悪の場合、補間処理によって得られる画像が破綻する可能性があった。
【００１２】
そこで、請求項１〜請求項１０に記載の発明は、補間処理の対象となる空格子点の空間的な類似度を的確に推定しつつ、その空格子点の補間量を高い精度で求めることができる補間処理方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
請求項１に記載の補間処理方法は、予め決められた色を出力する格子点と該色を出力しない空格子点とが市松模様状に配された画像の補間処理方法において、補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて、該空格子点の縦方向の類似度を決定する縦方向類似度決定手順と、補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて、該空格子点の横方向の類似度を決定する横方向類似度決定手順と、前記縦方向の類似度および前記横方向の類似度に応じて補間処理の対象となる空格子点に対して類似性が強い方向に隣接する格子点の色情報の大きさの平均値を選択、もしくは該空格子点に対して縦方向および横方向に位置する格子点の色情報の大きさを該類似度に応じて加重加算することによって、該空格子点の補間量を決定する補間量決定手順とを備えたことを特徴とする。
【００１４】
請求項２に記載の補間処理方法は、予め決められた色を出力する格子点と該色を出力しない空格子点とが市松模様状に配された画像の補間処理方法において、補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して斜め方向の少なくとも一方に位置する空格子点の色情報の大きさと、補間処理の対象となる空格子点および該空格子点に対して斜め方向の少なくとも一方に位置する空格子点に隣接する格子点の色情報とを用いて、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度を決定する類似度決定手順と、前記縦方向の類似度および前記横方向の類似度に応じて補間処理の対象となる空格子点に対して類似性が強い方向に隣接する格子点の色情報の大きさの平均値を選択、もしくは該空格子点に対して縦方向および横方向に位置する格子点の色情報の大きさを該類似度に応じて加重加算することによって、該空格子点の補間量を決定する補間量決定手順とを備えたことを特徴とする。
【００１５】
請求項３に記載の補間処理方法は、予め決められた色を出力する格子点と該色を出力しない空格子点とが市松模様状に配された画像の補間処理方法において、補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて、該空格子点と当該格子点との類似度を示す縦類似度を決定する縦類似度決定手順と、補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて、該空格子点と当該格子点との類似度を示す横類似度を決定する横類似度決定手順と、補間処理の対象となる空格子点の周辺に位置する格子点の色情報の大きさと、該空格子点の周辺に位置する空格子点の色情報の大きさとを用いて、周辺に位置する空格子点の縦方向の類似度を示す周辺縦類似度を決定する周辺縦類似度決定手順と、補間処理の対象となる空格子点の周辺に位置する格子点の色情報の大きさと、該空格子点の周辺に位置する空格子点の色情報の大きさとを用いて、周辺に位置する空格子点の横方向の類似度を示す周辺横類似度を決定する周辺横類似度決定手順と、前記縦類似度および前記周辺縦類似度に基づき、補間処理の対象となる空格子点の縦方向の類似度を決定すると共に、前記横類似度および前記周辺横類似度に基づき、該空格子点の横方向の類似度を決定する類似度決定手順と、前記縦方向の類似度および前記横方向の類似度に応じて補間処理の対象となる空格子点に対して類似性が強い方向に隣接する格子点の色情報の大きさの平均値を選択、もしくは該空格子点に対して縦方向および横方向に位置する格子点の色情報の大きさを該類似度に応じて加重加算することによって、該空格子点の補間量を決定する補間量決定手順とを備えたことを特徴とする。
【００１６】
請求項４に記載の補間処理方法は、請求項３に記載の補間処理方法において、前記周辺縦類似度決定手順は、補間処理の対象となる空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさと、当該格子点に対して補間処理の対象となる空格子点とは反対方向に隣接する空格子点の色情報の大きさとを用いて周辺縦類似度を決定し、前記周辺横類似度決定手順は、補間処理の対象となる空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさと、当該格子点に対して補間処理の対象となる空格子点とは反対方向に隣接する空格子点の色情報の大きさとを用いて周辺横類似度を決定することを特徴とする。
【００１７】
請求項５に記載の補間処理方法は、請求項３に記載の補間処理方法において、周辺縦類似度決定手順は、補間処理の対象となる空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさと、当該格子点に対して縦方向の少なくとも一方に隣接する空格子点の色情報の大きさとを用いて周辺縦類似度を決定し、周辺横類似度決定手順は、補間処理の対象となる空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさと、当該格子点に対して横方向の少なくとも一方に隣接する空格子点の色情報の大きさとを用いて周辺横類似度を決定することを特徴とする。
【００１８】
請求項６に記載の補間処理方法は、請求項３に記載の補間処理方法において、周辺縦類似度決定手順は、補間処理の対象となる空格子点に対して斜め方向の少なくとも一方に位置する空格子点の色情報の大きさと、斜め方向に位置する空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて周辺縦類似度を決定し、周辺横類似度決定手順は、補間処理の対象となる空格子点に対して斜め方向の少なくとも一方に位置する空格子点の色情報の大きさと、斜め方向に位置する空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて周辺縦類似度を決定することを特徴とする。
【００１９】
請求項７に記載の補間処理方法は、請求項３に記載の補間処理方法において、周辺縦類似度決定手順は、補間処理の対象となる空格子点に対して上下左右方向と斜め方向とを含む８方向の少なくとも一方に位置する空格子点の色情報の大きさと、８方向の少なくとも一方に位置する空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて周辺縦類似度を決定し、周辺横類似度決定手順は、補間処理の対象となる空格子点に対して上下左右方向と斜め方向とを含む８方向の少なくとも一方に位置する空格子点の色情報の大きさと、８方向の少なくとも一方に位置する空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて周辺縦類似度を決定することを特徴とする。
【００２０】
請求項８に記載の補間処理方法は、請求項１ないし請求項７の何れか１項に記載の補間処理方法において、補間量決定手順は、前記縦方向の類似度および前記横方向の類似度について、何れか一方の類似度が突出する場合、その類似度を示す方向に隣接する２つの格子点の色情報の大きさの平均値を補間量とし、双方の類似度が近似する場合、該平均値を算出する以外の方法で補間量を決定することを特徴とする。
【００２１】
請求項９に記載の補間処理方法は、請求項８に記載の補間処理方法において、補間量決定手順は、前記縦方向の類似度および前記横方向の類似度が近似する場合、各類似度に対応する重み係数に基づいて該空格子点の補間量を決定することを特徴とする。
請求項１０に記載の補間処理方法は、請求項８に記載の補間処理方法において、補間量決定手順は、前記縦方向の類似度および前記横方向の類似度が近似する場合、補間処理の対象となる空格子点に隣接する４つの格子点の色情報の大きさのメディアンによって該空格子点の補間量を決定することを特徴とする。
【００２２】
【発明の実施の形態】
以下、図面に基づいて本発明の実施形態について詳細を説明する。
なお、ここでは、本発明にかかわる補間処理方法を実現する電子スチルカメラを用いて説明を行う。
（第一の実施形態）
図１は、第一の実施形態にかかわる電子カメラの機能ブロック図である。
【００２３】
なお、第一の実施形態は請求項１、請求項８および請求項９に記載の発明に対応した実施形態に相当する。
また、第一の実施形態および後述する各実施形態では、緑色を出力する画素を格子点とし、赤色もしくは青色を出力する画素を緑色に関する空格子点とする。すなわち、第一の実施形態および後述する各実施形態における補間処理は、これらの空格子点の緑色の色情報の大きさに相当する補間量を求める処理に相当する。
【００２４】
図１において、制御部１０の出力は、撮影光学系１１、ＯＬＰＦ (光学的低域通過フィルタ：Optical Low Pass Filter)１２、撮像素子１３、Ａ／Ｄ変換部１４、階調変換部１５、画像バッファメモリ１６および信号処理部１７に接続される。
信号処理部１７は、補間処理部１８を有し、補間処理部１８は、類似度算出部１９および補間量算出部２０で構成される。
【００２５】
撮影光学系１１で取得された光学像は、ＯＬＰＦ１２によってフィルタリングされ、撮像素子１３に与えられる。なお、ＯＬＰＦ１２を設けず、撮影光学系１１で取得された光学像が撮像素子１３に直接与えられてもよい。
撮像素子１３の出力はＡ／Ｄ変換部１４に接続され、Ａ／Ｄ変換部１４の出力は階調変換部１５に接続される。また、階調変換部１５の出力は画像バッファメモリ１６に接続され、画像バッファメモリ１６の出力は信号処理部１７に接続される。
【００２６】
なお、信号処理部１７に接続された画像バッファメモリ１６の出力は、信号処理部１７を介して類似度算出部１９と補間量算出部２０とに接続される。また、補間量算出部２０には、類似度算出部１９から縦方向の類似度と横方向の類似度が供給され、画像バッファメモリ１６には、信号処理部１７を介して補間量算出部２０から補間量が供給される（詳細は、後述する）。
【００２７】
また、第一の実施形態および後述する各実施形態では、撮像素子１３として、図１４（１）に示すようなＲＧＢの３色のカラーフィルタがベイア配列された構成の撮像素子を用い、画像バッファメモリ１６は、これらの３色に対応する３つの領域で構成される。
ここで、画像バッファメモリ１６内の緑色に対応する領域は、Ａ／Ｄ変換部１４によって生成されて、階調変換部１５によって階調変換（ｌｏｇ化やγ変換等）された緑色の画像データ（格子点の画素出力に相当する）を格納する領域と、後述する補間処理によって得られる緑色の画像データ（空格子点の補間量に相当する）を格納する領域とで構成される。
【００２８】
また、以降の説明を簡単にするために、撮像素子１３の各画素の位置は、「右方向を正とする横軸Ｘ」と「下方向を正とする縦軸Ｙ」とで構成される座標系で表す。また、格子点の画素出力は、Ｇ（ｘ，ｙ）で表し、空格子点の補間量は、Ｇ'（ｘ，ｙ）で表す。
図２は、このような格子点の色情報の大きさと空格子点の補間量とを示した図である。図において、Ｘ_maxはＸ成分の最大値を示し、Ｙ_maxはＹ成分の最大値を示す。
【００２９】
図３は、第一の実施形態の動作フローチャートである。
図４は、第一の実施形態の補間処理の動作フローチャートである。
図５は、第一の実施形態の類似度の算出方法を説明する図である。
図５において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
【００３０】
なお、請求項１、請求項８および請求項９の発明と第一の実施形態との対応関係については、縦方向類似度決定手順および横方向類似度決定手順は類似度算出部１９で行われる処理に対応し、補間量決定手順は補間量算出部２０で行われる処理に対応する。
以下、図１ないし図５を参照して第一の実施形態の動作を説明する。
【００３１】
主電源が投入されている状態において、撮像素子１３では、撮影光学系１１およびＯＬＰＦ１２を介して与えられる光学像が光電変換面（図示されない）に結像され、光電変換によって信号電荷が生成される。また、撮像素子１３は、このように生成された信号電荷を走査して画像信号を生成し、Ａ／Ｄ変換部１４に与える。
【００３２】
Ａ／Ｄ変換部１４は、このように与えられた画像信号をＡ／Ｄ変換し、階調変換部１５は、Ａ／Ｄ変換された画像信号を階調変換（ｌｏｇ化やγ変換等）して画像データを生成する（図３Ｓ１）。なお、第一の実施形態および後述する各実施形態において、画像データは、撮像素子１３の各画素に対応する色情報に相当する。
【００３３】
このように生成された画像データは、ＲＧＢの３色に分割され、各色に対応する画像バッファメモリ１６内の領域に格納される（図３Ｓ２）。なお、このような処理は、制御部１０によるタイミング制御に基づき繰り返し行われる。また、これらの緑色の画像データ（格子点の色情報）は、図２に示すように、上述した座標系で示される座標に対応付けられて格納される。
【００３４】
制御部１０は、電子スチルカメラの筐体に設けられたレリーズボタン（図示されない）が押下されたか否かを判定する（図３Ｓ３）。
制御部１０は、このような判定によって、レリーズボタンが押下されていないことを認識すると、上述したタイミング制御によって画像データの生成（図３Ｓ１）および格納（図３Ｓ２）の処理を繰り返し指示する。
【００３５】
また、制御部１０は、レリーズボタンが押下されたことを認識すると、信号処理部１７内の補間処理部１８に対して、後述するような補間処理の実行を指示する（図３Ｓ４）。
すなわち、本実施形態では、レリーズボタンが押下された時点に画像バッファメモリ１６に格納されている画像データが補間処理の対象となる。
【００３６】
なお、画像表示を行うために、レリーズボタンが押下された時点によらず、常時、補間処理を実行してもよい。また、レリーズ後にＳ１以降の処理を行ってもよい。
このようにして補間処理が施された画像データ（空格子点の補間量）は、画像バッファメモリ１６に格納される（図３Ｓ５）。
【００３７】
以下、補間処理の動作を説明する。
補間処理部１８は、制御部１０によって補間処理の実行が指示されると、補間処理の対象となる空格子点を選択する（図４Ｓ１）。
例えば、図２において、任意の座標（ｘ，ｙ）について「ｘ＋ｙ＝奇数」が成り立つ場合、その座標には、空格子点が対応付けられている。そのため、本実施形態では、各画素に対応付けられた座標を（１，１）から（Ｘ_max，Ｙ_max）まで順次検索し、Ｘ成分とＹ成分との和が奇数である座標を空格子点とする。
【００３８】
なお、図２において、任意の座標（ｘ，ｙ）について「ｘ＋ｙ＝奇数」が成り立つ場合、ｘが偶数であるか奇数であるかを判定することによって、その座標の画素から出力される色を識別することができる。例えば、「ｘ＋ｙ＝奇数 かつ ｘ＝偶数」が成り立つ画素の出力を赤色とすると、「ｘ＋ｙ＝奇数 かつ ｘ＝奇数」が成り立つ画素の出力は青色となる。
【００３９】
補間処理部１８は、上述したように補間処理の対象となる空格子点を選択すると、類似度算出部１９、補間量算出部２０を起動する。
類似度算出部１９は、図５に示すように、補間処理の対象となる空格子点（ｉ，ｊ）の色情報の大きさＲＢ（ｉ，ｊ）と、その空格子点に対して縦方向および横方向に隣接する格子点の色情報の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を画像バッファメモリ１６から読み出す。すなわち、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度を算出する際に用いる色情報の大きさを画像バッファメモリ１６から読み出す。
【００４０】
また、類似度算出部１９は、ＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１）およびＧ（ｉ，ｊ＋１）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜
＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜
によって算出し、ＲＢ（ｉ，ｊ）、Ｇ（ｉ−１，ｊ）およびＧ（ｉ＋１，ｊ）を用いて、横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃysum（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜
＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜
によって算出する（図４Ｓ２）。
【００４１】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
さらに、類似度算出部１９は、このように算出した縦方向の類似度Ｃtsum（ｉ，ｊ）および空格子点の横方向の類似度Ｃysum（ｉ，ｊ）を補間量算出部２０に供給する。
【００４２】
補間量算出部２０は、縦方向の類似度Ｃtsum（ｉ，ｊ）および空格子点の横方向の類似度Ｃysum（ｉ，ｊ）が供給されると、補間処理の対象となる空格子点に対して縦方向および横方向に隣接する格子点の色情報の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を画像バッファメモリ１６から読み出し、その空格子点の補間量Ｇ'（ｉ，ｊ）を
によって算出する。
【００４３】
ただし、ｘ＝（Ｃysum（ｉ，ｊ）−Ｃtsum（ｉ，ｊ））
／｛（Ｃysum（ｉ，ｊ）＋Ｃtsum（ｉ，ｊ））×T1＋T0｝
−１≦ｘ≦１のとき ｆ（ｘ）＝ｘ
ｘ＞１のとき ｆ（ｘ）＝１
ｘ＜−１のとき ｆ（ｘ）＝−１
ここで、T1は「０≦T1≦１」を満たす定数であり、色情報の大きさを「０から２５５まで」の数値（８ビット）で示した場合、T0は「０から１００まで」の定数とする。また、T0とT1とは共に「０」となることはない。例えば、T1とT0との組み合わせ（t1，t0）としては、（０．３，０）、（０．５、１０）、（０．７，０）、（０．３，４０）、（０．５，４０）、（０．７，４０）が考えられる。
【００４４】
このように、補間量算出部２０は、
ｘ＝（Ｃysum（ｉ，ｊ）−Ｃtsum（ｉ，ｊ））
／｛（Ｃysum（ｉ，ｊ）＋Ｃtsum（ｉ，ｊ））×T1＋T0｝
を空格子点の類似度の評価値とし、その評価値に応じて空格子点の補間量を算出する。ここで、「ｘ＞０」が成り立つ場合には横方向の類似度よりも縦方向の類似度が強く、「ｘ＜０」が成り立つ場合には縦方向の類似度よりも横方向の類似度が強いことを意味する。
【００４５】
なお、ｆ（ｘ）のグラフは、図６に示す形状となる。
ところで、式１は、「ｘ＞１」が成り立つ場合、「ｆ（ｘ）＝１」であるため、
Ｇ'（ｉ，ｊ）＝（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１））／２
と等価であり、「ｘ＜−１」が成り立つ場合、「ｆ（ｘ）＝−１」であるため、
Ｇ'（ｉ，ｊ）＝（Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ））／２
と等価である。
【００４６】
すなわち、補間量算出部２０は、「ｘ＞１」が成り立つか否かを判定することによって空格子点の縦方向の類似度が突出しているか否かを判定し（図４Ｓ３）、「ｘ＜−１」が成り立つか否かを判定することによって空格子点の横方向の類似度が突出しているか否かを判定する（図４Ｓ４）。
また、補間量算出部２０は、空格子点の縦方向の類似度が突出している場合（図４Ｓ４のＹＥＳ側）、縦方向に隣接する二つの格子点の色情報の大きさの平均値を空格子点の補間量とし（図４Ｓ５）、空格子点の横方向の類似度が突出している場合（図４Ｓ４のＹＥＳ側）、横方向に隣接する二つの格子点の色情報の大きさの平均値を空格子点の補間量とする（図４Ｓ６）。
【００４７】
ところで、式１は、「−１≦ｘ≦１」が成り立つ場合、
と等価である。
【００４８】
ここで、「（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１））／２」は、縦方向に隣接する二つの格子点の色情報の大きさの平均値に相当し、「（１＋ｘ）／２」は、縦方向の類似度に対応する重み係数に相当する。また、「（Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ））／２」は、横方向に隣接する二つの格子点の色情報の大きさの平均値に相当し、「（１−ｘ）／２」は、横方向の類似度に対応する重み係数に相当する。
【００４９】
すなわち、補間量算出部２０は、何れの類似度も突出していないことを認識した場合（図４Ｓ４のＮＯ側）、空格子点の縦方向に隣接する二つの格子点の色情報の大きさの平均値および横方向に隣接する二つの格子点の色情報の大きさの平均値に対し、各方向の類似度の評価値に基づく加重加算を施すことによって空格子点の補間量を算出する（図４Ｓ７）。
【００５０】
また、補間処理部１８は、全ての空格子点の補間処理が完了したか否かを判定する（図４Ｓ８）。
例えば、このような判定は、上述したような各画素に対応付けられた座標を検索する過程で、任意の座標（ｉ，ｊ）について、「ｉ＞Ｘ_max−３」および「ｊ＞Ｙ_max−３」が成り立つか否かを判定することに相当する。
【００５１】
なお、画像の端部のように本発明の補間処理をそのまま適用できない部分については、画像の端から先を折り返して仮想の画像を生成し（公知の技術）、このように生成した画像を用いて補間処理を行ってもよい。
補間処理部１８は、このような判定によって、全ての空格子点の補間処理が完了したことを認識するまで、上述した処理（図４Ｓ１以降の処理）を繰り返し行う。
【００５２】
すなわち、第一の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、その空格子点の色情報の大きさを反映することができる。そのため、例えば、図１６に示す画像の補間処理を行う場合には、縦方向の類似度が突出していることが判定できる。
したがって、本実施形態によれば、米国特許第５，３８２，９７６号明細書に開示された従来の補間処理によって破綻する可能性があった画像に対しても、高い精度で補間処理を行うことができる。
【００５３】
なお、本実施形態では、「ｔ＝ｙ＝０．５」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を算出しているが、例えば、「ｔ＝ｙ＝０」または「ｔ＝ｙ＝１」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を算出してもよい。
仮に、「ｔ＝ｙ＝０」とした場合、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜
Ｃysum（ｉ，ｊ）＝｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜
によって算出できるため、類似度算出部１９は、Ｇ（ｉ，ｊ−１）およびＧ（ｉ−１，ｊ）を画像バッファメモリ１６から読み出す必要がない。
【００５４】
また、本実施形態では、ｆ（ｘ）を図６に示す形状としているが、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の何れか一方の類似度が突出する場合、その突出する類似度を示す方向に隣接する二つの格子点の色情報の大きさの平均値を空格子点の補間量とできれば、ｆ（ｘ）は如何なる関数であってもよい。
【００５５】
さらに、本実施形態では、補間量の算出時にｆ（ｘ）の値を算出しているが、例えば、補間量算出部１８内にルックアップテーブルを設けて予め算出したｆ（ｘ）の値を格納し、空格子点の縦方向の類似度Ｃtsum（ｉ，ｊ）や横方向の類似度Ｃysum（ｉ，ｊ）に対応付けてルックアップテーブルを参照することによってｆ（ｘ）の値を取得してもよい。
【００５６】
また、本実施形態では、何れか一方の類似度が突出しているか否かの判定をｘの値に基づいて行っているが、例えば、縦方向の類似度Ｃtsum（ｉ，ｊ）が所定の値（ここでは、Thとする）以下であり横方向の類似度Ｃysum（ｉ，ｊ）がThを上回る場合には、縦方向の類似度Ｃtsum（ｉ，ｊ）が突出していると判定し、横方向の類似度Ｃysum（ｉ，ｊ）がTh以下であり縦方向の類似度Ｃtsum（ｉ，ｊ）がThを上回る場合には、横方向の類似度Ｃysum（ｉ，ｊ）が突出していると判定してもよい。
【００５７】
さらに、ｘを算出する際の割算を回避するために、分母に相当する値を算出した後、その値をテーブル参照で「１／分母」に相当する値に置き換えて、掛算でｘを求めてもよいし、分子の絶対値と分母とを対数化（テーブル参照などにより）してから差をとり、これと所定値との大小を比較する方法（この場合、符号は別途判別する）に置き換えてもよい。
【００５８】
また、本実施形態では、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）が近似する場合、請求項９を適用して各類似度に対応する重み係数に基づいて空格子点の補間量を算出しているが、例えば、請求項９に代えて請求項１０を適用することによって、空格子点に隣接する４つの格子点の色情報の大きさのメディアンに基づき空格子点の補間量を算出してもよい。
【００５９】
（第二の実施形態）
図７は、第二の実施形態の類似度の算出方法を説明する図である。
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第二の実施形態は、請求項１、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第二の実施形態との対応関係については、縦方向類似度決定手順および横方向類似度決定手順は類似度算出部１９で行われる処理に対応し、補間量決定手順は補間量算出部２０で行われる処理に対応する。
【００６０】
第二の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
類似度算出部１９は、第一の実施形態と同様に、補間処理の対象となる空格子点（ｉ，ｊ）の色情報の大きさＲＢ（ｉ，ｊ）と、その空格子点に対して縦方向および横方向に隣接する格子点の色情報の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を画像バッファメモリ１６から読み出す。
【００６１】
また、類似度算出部１９は、図７に示すように、ＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１）およびＧ（ｉ，ｊ＋１）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）を
によって算出し、ＲＢ（ｉ，ｊ）、Ｇ（ｉ−１，ｊ）およびＧ（ｉ＋１，ｊ）を用いて、横方向の類似度Ｃysum（ｉ，ｊ）を
によって算出する（図４Ｓ２に相当する）。
【００６２】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
このように、第二の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、その空格子点の色情報の大きさを反映することができる。そのため、第一の実施形態と同様に、米国特許第５，３８２，９７６号明細書に開示された従来の補間処理によって破綻する可能性があった画像に対しても、高い精度で補間処理を行うことができる。
【００６３】
なお、本実施形態では、「ｔ＝ｙ＝０．５」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を算出しているが、例えば、「ｔ＝ｙ＝０」または「ｔ＝ｙ＝１」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を算出してもよい。
仮に、「ｔ＝ｙ＝１」とした場合、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝｜Ｇ（ｉ，ｊ−１）−ＲＢ（ｉ，ｊ）｜
Ｃysum（ｉ，ｊ）＝｜Ｇ（ｉ−１，ｊ）−ＲＢ（ｉ，ｊ）｜
によって算出できるため、類似度算出部１９は、Ｇ（ｉ，ｊ＋１）およびＧ（ｉ＋１，ｊ）を画像バッファメモリ１６から読み出す必要がない。
【００６４】
（第三の実施形態）
図８は、第三の実施形態の類似度の算出方法を説明する図である。
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第三の実施形態は、請求項２、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第三の実施形態との対応関係については、縦方向類似度決定手順および横方向類似度決定手順は類似度算出部１９で行われる処理に対応し、補間量決定手順は補間量算出部２０で行われる処理に対応する。
【００６５】
第三の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
類似度算出部１９は、図８に示すように、補間処理の対象となる空格子点（ｉ，ｊ）の色情報の大きさＲＢ（ｉ，ｊ）と、その空格子点に対して上方向および左方向に隣接する格子点の色情報の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ−１，ｊ）と、その空格子点に対して左上方向に位置する空格子点の色情報の大きさＲＢ（ｉ−１，ｊ−１）を画像バッファメモリ１６から読み出す。
【００６６】
また、類似度算出部１９は、図８に示すように、ＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１）、Ｇ（ｉ−１，ｊ）およびＲＢ（ｉ−１，ｊ−１）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）を
によって算出し、ＲＢ（ｉ，ｊ）、Ｇ（ｉ−１，ｊ）およびＧ（ｉ＋１，ｊ）を用いて、横方向の類似度Ｃysum（ｉ，ｊ）を
によって算出する（図４Ｓ２に相当する）。
【００６７】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
このように、第三の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、補間処理の対象となる空格子点や、その空格子点の周辺に位置する空格子点の色情報の大きさを反映することができる。そのため、米国特許第５，３８２，９７６号明細書に開示された従来の補間処理によって破綻する可能性があった画像に対しても、高い精度で補間処理を行うことができる。
【００６８】
なお、本実施形態では、「ｔ＝ｙ＝０．５」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を算出しているが、例えば、「ｔ＝ｙ＝０」または「ｔ＝ｙ＝１」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を算出してもよい。
仮に、「ｔ＝ｙ＝０」とした場合、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）は、
Ｃtsum（ｉ，ｊ）＝｜ＲＢ（ｉ−１，ｊ−１）−Ｇ（ｉ−１，ｊ）｜
Ｃysum（ｉ，ｊ）＝｜ＲＢ（ｉ−１，ｊ−１）−Ｇ（ｉ，ｊ−１）｜
によって算出される。すなわち、このような場合には、補間処理の対象となる空格子点の周辺に位置する格子点および空格子点の色情報の大きさによって縦方向の類似度および横方向の類似度が決定されることになる。
【００６９】
また、本実施形態では、補間処理の対象となる空格子点以外の空格子点の色情報の大きさとして、補間処理の対象となる空格子点に対して左上に位置する空格子点の色情報の大きさを用いたが、請求項２に記載の発明は、このような色情報の大きさに限定されず、左上に位置する空格子点に代えて右上、右下または左下に位置する空格子点の色情報の大きさを用いてもよく、これら四つの空格子点の色情報の大きさを用いて算出した値を加重加算してもよい。
【００７０】
例えば、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を下式によって算出することができる。
Ｃtsum（ｉ，ｊ）＝（t1×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜＋
（１−t1）×｜ＲＢ（ｉ−１，ｊ−１）−Ｇ（ｉ−１，ｊ）｜）×ht1
（t2×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜＋
（１−t2）×｜ＲＢ（ｉ＋１，ｊ−１）−Ｇ（ｉ＋１，ｊ）｜）×ht2
（t3×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜＋
（１−t3）×｜ＲＢ（ｉ−１，ｊ＋１）−Ｇ（ｉ−１，ｊ）｜）×ht3
（t4×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜＋
（１−t4）×｜ＲＢ（ｉ＋１，ｊ＋１）−Ｇ（ｉ＋１，ｊ）｜）×ht4
Ｃysum（ｉ，ｊ）＝（y1×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜＋
（１−y1）×｜ＲＢ（ｉ−１，ｊ−１）−Ｇ（ｉ，ｊ−１）｜）×hy1
（y2×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜＋
（１−y2）×｜ＲＢ（ｉ＋１，ｊ−１）−Ｇ（ｉ，ｊ−１）｜）×hy2
（y3×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜＋
（１−y3）×｜ＲＢ（ｉ−１，ｊ＋１）−Ｇ（ｉ，ｊ＋１）｜）×hy3
（y4×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜＋
（１−y4）×｜ＲＢ（ｉ＋１，ｊ＋１）−Ｇ（ｉ，ｊ＋１）｜）×hy4
ただし、t1〜t4、y1〜y4は「０」以上「１」以下の定数であり、ht1〜ht4、hy1〜hy4は定数であり、かつ少なくとも１つは「０」でない。
【００７１】
このような式において、「ht1＋ht2＋ht3＋ht4 ＝１」および「hy1＋hy2＋hy3＋hy4 ＝１」とした場合には、補間処理の対象となる空格子点に対して斜め方向に位置する空格子点の色情報の大きさを用いて得られた値を加重加算したことに相当する。
（第四の実施形態）
図９は、第四の実施形態の類似度の算出方法を説明する図である。
【００７２】
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第四の実施形態は、請求項３、請求項４、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第四の実施形態との対応関係については、縦類似度決定手順、横類似度決定手順、周辺縦類似度決定手順、周辺横類似度決定手順および類似度決定手順は、類似度算出部１９で行われる処理に対応し、補間量決定手順は、補間量算出部２０で行われる処理に対応する。
【００７３】
第四の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
類似度算出部１９は、図９に示すように、補間処理の対象となる空格子点（ｉ，ｊ）の色情報の大きさＲＢ（ｉ，ｊ）と、その空格子点に対して縦方向および横方向に隣接する格子点の色情報の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を画像バッファメモリ１６から読み出す。
【００７４】
また、類似度算出部１９は、図９に示すように、ＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１）およびＧ（ｉ，ｊ＋１）を用いて、縦類似度Ｃt（ｉ，ｊ）を
Ｃt（ｉ，ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜
＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜
によって算出し、ＲＢ（ｉ，ｊ）、Ｇ（ｉ−１，ｊ）およびＧ（ｉ＋１，ｊ）を用いて、横類似度Ｃy（ｉ，ｊ）を
Ｃy（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜
＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜
によって算出する。
【００７５】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
さらに、類似度算出部１９は、補間処理の対象となる空格子点の周辺に位置する空格子点の色情報の大きさＲＢ（ｉ，ｊ−２）、ＲＢ（ｉ，ｊ＋２）、ＲＢ（ｉ−２，ｊ）、ＲＢ（ｉ＋２，ｊ）を画像バッファメモリ１６から読み出す。
【００７６】
また、類似度算出部１９は、このように読み出したＲＢ（ｉ，ｊ−２）、ＲＢ（ｉ，ｊ＋２）、ＲＢ（ｉ−２，ｊ）、ＲＢ（ｉ＋２，ｊ）と、既に読み出されているＧ（ｉ，ｊ−１）、Ｇ（ｉ，ｊ＋１）、Ｇ（ｉ−１，ｊ）、Ｇ（ｉ＋１，ｊ）とを用いて、周辺縦類似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）を
によって算出する。
【００７７】
なお、t1およびt2は定数であり、かつ少なくとも１つは「０」でなく、y1およびy2は定数であり、かつ少なくとも１つは「０」でない。
さらに、類似度算出部１９は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×ht
Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×hy
によって算出する。
【００７８】
なお、htおよびhyは、定数であり、例えば、「１／２」や「１／４」とする。
このように、第四の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、補間処理の対象となる空格子点および周辺に位置する空格子点の色情報の大きさを反映することができる。
したがって、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の信頼性を確実に向上させることができるため、高い精度で補間処理を行うことができる。
【００７９】
（第五の実施形態）
図１０は、第五の実施形態の類似度の算出方法を説明する図である。
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第五の実施形態は、請求項３、請求項５、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第五の実施形態との対応関係については、縦類似度決定手順、横類似度決定手順、周辺縦類似度決定手順、周辺横類似度決定手順および類似度決定手順は、類似度算出部１９で行われる処理に対応し、補間量決定手順は、補間量算出部２０で行われる処理に対応する。
【００８０】
第五の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
【００８１】
類似度算出部１９は、第四の実施形態と同様に、画像バッファメモリ１６からＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を読み出し、縦類似度Ｃt（ｉ，ｊ）および横類似度Ｃy（ｉ，ｊ）を
Ｃt（ｉ，ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜
＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜
Ｃy（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜
＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜
によって算出する（図示省略）。
【００８２】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
また、類似度算出部１９は、図１０に示すように、補間処理の対象となる空格子点に対して斜め方向に位置する四つの空格子点の色情報の大きさＲＢ（ｉ−１，ｊ−１）、ＲＢ（ｉ−１，ｊ＋１）、ＲＢ（ｉ＋１，ｊ−１）、ＲＢ（ｉ＋１，ｊ＋１）を画像バッファメモリ１６から読み出す。
【００８３】
さらに、類似度算出部１９は、このように読み出したＲＢ（ｉ−１，ｊ−１）、ＲＢ（ｉ−１，ｊ＋１）、ＲＢ（ｉ＋１，ｊ−１）、ＲＢ（ｉ＋１，ｊ＋１）と、既に読み出されているＧ（ｉ，ｊ−１）、Ｇ（ｉ，ｊ＋１）、Ｇ（ｉ−１，ｊ）、Ｇ（ｉ＋１，ｊ）とを用いて、周辺縦類似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）を
によって算出する。
【００８４】
なお、t1〜t4は定数であり、かつ少なくとも１つは「０」でなく、y1〜y4は定数であり、かつ少なくとも１つは「０」でない。
また、類似度算出部１９は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×ht
Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×hy
によって算出する。
【００８５】
なお、htおよびhyは、定数であり、例えば、「１／２」や「１／４」とする。
このように、第五の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、補間処理の対象となる空格子点および周辺に位置する空格子点の色情報の大きさを反映することができる。
したがって、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の信頼性を確実に向上させることができるため、高い精度で補間処理を行うことができる。
【００８６】
なお、上述した第四の実施形態および第五の実施形態では、縦類似度Ｃt（ｉ，ｊ）および横類似度Ｃy（ｉ，ｊ）を
Ｃt（ｉ、ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜
＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜
Ｃy（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜
＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜
によって算出しているが、例えば、縦類似度Ｃt（ｉ，ｊ）および横類似度Ｃy（ｉ，ｊ）を
によって算出してもよい。
【００８７】
（第六の実施形態）
図１１は、第六の実施形態の類似度の算出方法を説明する図である。
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第六の実施形態は、請求項３、請求項６、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第六の実施形態との対応関係については、縦類似度決定手順、横類似度決定手順、周辺縦類似度決定手順、周辺横類似度決定手順および類似度決定手順は、類似度算出部１９で行われる処理に対応し、補間量決定手順は、補間量算出部２０で行われる処理に対応する。
【００８８】
第六の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
類似度算出部１９は、図１１（１）に示すように、縦類似度および横類似度を算出すべき空格子点の座標を（ｉ，ｊ）とした場合、その空格子点の色情報の大きさと、その空格子点に隣接する格子点の色情報の大きさを用いて縦類似度および横類似度を算出する。なお、図１１（１）において、Ｇupは、縦類似度および横類似度を算出すべき空格子点に対して上方向に隣接する格子点の色情報の大きさを示し、Ｇdounは、下方向に隣接する格子点の色情報の大きさを示し、Ｇleftは、左方向に隣接する格子点の色情報の大きさを示し、Ｇrightは、右方向に隣接する格子点の色情報の大きさを示す。
【００８９】
すなわち、類似度算出部１９は、画像バッファメモリ１６からＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を読み出し、縦類似度Ｃt（ｉ，ｊ）および横類似度Ｃy（ｉ，ｊ）を
Ｃt（ｉ，ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜
＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜
Ｃy（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜
＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜
によって算出する。
【００９０】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
また、類似度算出部１９は、図１１（２）、（３）に示すように、補間処理の対象となる空格子点の斜め方向に位置する空格子点の縦類似度および横類似度を算出し、各縦類似度を加重加算して周辺縦類似度Ｃtn（ｉ，ｊ）を算出すると共に、各横類似度を加重加算して周辺横類似度Ｃyn（ｉ，ｊ）を算出する。
【００９１】
すなわち、類似度算出部１９は、周辺縦類似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）を
によって算出する。
【００９２】
なお、t1〜t4は定数であり、かつ少なくとも１つは「０」でなく、y1〜y4は定数であり、かつ少なくとも１つは「０」でない。
また、類似度算出部１９は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×ht
Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×hy
によって算出する。
【００９３】
なお、htおよびhyは、定数であり、例えば、「１／２」や「１／４」とする。
このように、第六の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、補間処理の対象となる空格子点および周辺に位置する空格子点の色情報の大きさを反映することができる。特に、第六の実施形態は、このような類似度の算出に際し、第四の実施形態および第五の実施形態と比較して、広範囲に位置する空格子点の色情報の大きさを用いることができる。
【００９４】
したがって、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の信頼性を確実に向上させることができるため、高い精度で補間処理を行うことができる。
（第七の実施形態）
図１２は、第七の実施形態の類似度の算出方法を説明する図である。
【００９５】
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第七の実施形態は、請求項３、請求項６、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第七の実施形態との対応関係については、縦類似度決定手順、横類似度決定手順、周辺縦類似度決定手順、周辺横類似度決定手順および類似度決定手順は、類似度算出部１９で行われる処理に対応し、補間量決定手順は、補間量算出部２０で行われる処理に対応する。
【００９６】
第七の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
類似度算出部１９は、図１２（１）に示すように、縦類似度および横類似度を算出すべき空格子点の座標を（ｉ，ｊ）とした場合、その空格子点の色情報の大きさと、その空格子点に隣接する格子点の色情報の大きさを用いて縦類似度および横類似度を算出する。
【００９７】
すなわち、類似度算出部１９は、画像バッファメモリ１６からＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を読み出し、縦類似度Ｃt（ｉ，ｊ）および横類似度Ｃy（ｉ，ｊ）を
によって算出する。
【００９８】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
また、類似度算出部１９は、図１２（２）、（３）に示すように、補間処理の対象となる空格子点の斜め方向に位置する空格子点の縦類似度および横類似度を算出し、各縦類似度を加重加算して周辺縦類似度Ｃtn（ｉ，ｊ）を算出すると共に、各横類似度を加重加算して周辺横類似度Ｃyn（ｉ，ｊ）を算出する。
【００９９】
すなわち、類似度算出部１９は、周辺縦類似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）を
によって算出する。
【０１００】
なお、t1〜t4は定数であり、かつ少なくとも１つは「０」でなく、y1〜y4は定数であり、かつ少なくとも１つは「０」でない。
また、類似度算出部１９は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×ht
Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×hy
によって算出する。
【０１０１】
なお、htおよびhyは、定数であり、例えば、「１／２」や「１／４」とする。
このように、第七の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、補間処理の対象となる空格子点および周辺に位置する空格子点の色情報の大きさを反映することができる。特に、第七の実施形態は、このような類似度の算出に際し、第四の実施形態および第五の実施形態と比較して、広範囲に位置する空格子点の色情報の大きさを用いることができる。
【０１０２】
したがって、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の信頼性を確実に向上させることができるため、高い精度で補間処理を行うことができる。
（第八の実施形態）
図１３は、第八の実施形態の類似度の算出方法を説明する図である。
【０１０３】
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第八の実施形態は、請求項３、請求項７、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第八の実施形態との対応関係については、縦類似度決定手順、横類似度決定手順、周辺縦類似度決定手順、周辺横類似度決定手順および類似度決定手順は、類似度算出部１９で行われる処理に対応し、補間量決定手順は、補間量算出部２０で行われる処理に対応する。
【０１０４】
第八の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
類似度算出部１９は、図１１（１）または図１２（１）に示すように、縦類似度および横類似度を算出すべき空格子点の座標を（ｉ，ｊ）とした場合、その空格子点の色情報の大きさと、その空格子点に隣接する格子点の色情報の大きさを用いて縦類似度および横類似度を算出する（詳細は、上述した第六の実施形態および第七の実施形態と同じ）。
【０１０５】
また、類似度算出部１９は、図１３に示すように、補間処理の対象となる空格子点に対し、斜め方向に位置する空格子点の縦類似度および横類似度と、上下左右方向に最近接する空格子点の縦類似度および横類似度とを算出し、各縦類似度を加重加算して周辺縦類似度Ｃtn（ｉ，ｊ）を算出すると共に、各横類似度を加重加算して周辺横類似度Ｃyn（ｉ，ｊ）を算出する。
【０１０６】
すなわち、類似度算出部１９は、周辺縦類似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）を
によって算出する。
【０１０７】
なお、t1〜t8は定数であり、かつ少なくとも１つは「０」でなく、y1〜y8は定数であり、かつ少なくとも１つは「０」でない。
また、類似度算出部１９は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×ht
Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×hy
によって算出する。
【０１０８】
なお、htおよびhyは、定数であり、例えば、「１／２」や「１／４」とする。このように、第八の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、補間処理の対象となる空格子点および周辺に位置する空格子点の色情報の大きさを反映することができる。特に、第八の実施形態は、このような類似度の算出に際し、第六の実施形態および第七の実施形態と比較して、広範囲に位置する空格子点の色情報の大きさを用いることができる。
【０１０９】
したがって、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の信頼性を確実に向上させることができるため、高い精度で補間処理を行うことができる。
なお、本実施形態では、周辺縦類似度および周辺横類似度の算出に際し、補間処理の対象となる空格子点に斜め方向に位置する空格子点と上下左右方向に最近接する空格子点との縦類似度および横類似度を用いているが、請求項３に記載の発明は、このような空格子点に限定されず、補間処理の対象となる空格子点の周辺に位置する空格子点であれば、如何なる範囲に位置する空格子点の縦類似度および横類似度を用いてもよい。
【０１１０】
【発明の効果】
上述したように請求項１に記載の発明では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の決定に際し、該空格子点に隣接する格子点の色情報の大きさだけでなく、該空格子点の色情報の大きさを用いる。
また、請求項２に記載の発明では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の決定に際し、該空格子点の色情報の大きさと、該空格子点に対して斜め方向の少なくとも一方に位置する空格子点の色情報の大きさと、補間処理の対象となる空格子点および該空格子点に対して斜め方向の少なくとも一方に位置する空格子点に隣接する格子点の色情報とを用いる。
【０１１１】
さらに、請求項３ないし請求項７に記載の発明では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の決定に際し、縦類似度および横類似度と共に、周辺縦類似度および周辺横類似度を用いる。
したがって、請求項１ないし請求項７に記載の発明によれば、補間処理の対象となる空格子点に隣接する格子点の色情報の大きさのみを用いて該空格子点の縦方向の類似度および横方向の類似度を決定する場合と比較して、該空格子点の縦方向の類似度および横方向の類似度を高い精度で求めることができる。
【０１１２】
特に、請求項３ないし請求項７に記載の発明では、補間処理の対象となる空格子点の周辺部分の画像の特徴を反映しつつ、該空格子点の縦方向の類似度および横方向の類似度を決定できるため、画像の特徴が局所的には現れない場合であっても、縦方向の類似度および横方向の類似度の精度を確実に向上することができる。
【０１１３】
請求項８に記載の発明では、空格子点の縦方向の類似度または横方向の類似度の何れか一方が突出している場合には、その方向に隣接する二つの格子点の画素出力の平均値を空格子点の補間量とすることができる。
したがって、空格子点の縦方向の類似度および横方向の類似度を確実に反映しつつ、空格子点の補間量を決定することができる。
【０１１４】
請求項９および請求項１０に記載の発明では、空格子点の縦方向の類似度および横方向の類似度が近似する場合であっても、各類似度を確実に反映しつつ、空格子点の補間量を算出することができる。
したがって、請求項１ないし請求項１０に記載の発明によれば、補間処理の対象となる空格子点の空間的な類似度を的確に推定することによって、補間処理の信頼性を確実に向上することができる。
【０１１５】
なお、本発明は無彩色に近い画像で非常に有効であるが、自然画像のように異なる色同士の相関が大きい場合には、無彩色に近い画像に限らず、カラー画像であっても同様の効果が得られる。
【図面の簡単な説明】
【図１】電子カメラの機能ブロック図である。
【図２】格子点の色情報と空格子点の補間量とを示す図である。
【図３】第一の実施形態の動作フローチャートである。
【図４】第一の実施形態の補間処理の動作フローチャートである。
【図５】第一の実施形態の類似度の算出方法を説明する図である。
【図６】ｆ（ｘ）のグラフの形状を示す図である。
【図７】第二の実施形態の類似度の算出方法を説明する図である。
【図８】第三の実施形態の類似度の算出方法を説明する図である。
【図９】第四の実施形態の類似度の算出方法を説明する図である。
【図１０】第五の実施形態の類似度の算出方法を説明する図である。
【図１１】第六の実施形態の類似度の算出方法を説明する図である。
【図１２】第七の実施形態の類似度の算出方法を説明する図である。
【図１３】第八の実施形態の類似度の算出方法を説明する図である。
【図１４】撮像素子の構成を示す図である。
【図１５】従来の補間処理を説明する図である。
【図１６】縦縞上の画像の例を示す図である。
【図１７】色情報の大きさの例を示す図である。
【符号の説明】
１０ 制御部
１１ 撮影光学系
１２ ＯＬＰＦ
１３ 撮像素子
１４ Ａ／Ｄ変換部
１５ 階調変換部
１６ 画像バッファメモリ
１７ 信号処理部
１８ 補間処理部
１９ 類似度算出部
２０ 補間量算出部
【発明の属する技術分野】
本発明は、予め決められた色を出力する格子点と該色を出力しない空格子点とが市松模様状に配された画像の補間処理方法に関する。
【０００２】
【従来の技術】
電子カメラには、カラー画像の画像信号を生成する際、単一の撮像素子を用いるものがある。このような撮像素子は、例えば図１４（１）に示すように、ＲＧＢ（赤色・緑色・青色）の３色のカラーフィルタがベイア配列されて構成される。
ここで、緑色（Ｇ）に着目すると、撮像素子は、図１４（２）に示すように緑色を出力する画素である格子点と、緑色を出力しない画素である空格子点とが市松模様状に配されて構成されていると言える。
【０００３】
従来、このような撮像素子によって生成された画像信号に相当するカラー画像の補間処理には、空格子点に隣接する格子点の色情報の大きさの平均値を空格子点の補間量とするものがあった。
また、米国特許第５，３８２，９７６号明細書（クラス３４８）には、空格子点の空間的な類似度を空格子点に隣接する格子点の色傾斜（chrominance gradients）によって推定し、類似度の強い方向に隣接する格子点の色情報の大きさに基づいて補間量を算出する技術が開示されている。
【０００４】
図１５は、米国特許第５,３８２，９７６号に開示された従来の補間処理を説明する図である。
図において、Ｇ１１，Ｇ１３，・・・，Ｇ６６は緑色（Ｇ）の色情報の大きさを示し、Ｒ１２，Ｒ１４，・・・，Ｒ５６は赤色（Ｒ）の色情報の大きさを示し、Ｂ２１，Ｂ２３，・・・，Ｂ６７は青色（Ｂ）の色情報の大きさを示す。
【０００５】
上述した米国特許では、例えば、Ｒ３４を出力する画素の緑色の補間量Ｇ３４を求める際、まず、横方向の色傾斜に関する情報Ｇdiff-horを
Ｇdiff-hor ＝ ｜Ｇ２４−Ｇ４４｜
によって求め、縦方向の色傾斜に関する情報Ｇdiff-verを
Ｇdiff-ver ＝ ｜Ｇ３３−Ｇ３５｜
によって求める。
【０００６】
そして、このように求めたＧdiff-horとＧdiff-verとの大小関係によって場合分けし、Ｇ３４を算出する。
すなわち、所定の値Ｔhresholdについて、
Ｇdiff-hor＜Ｔhreshold AND Ｇdiff-ver＞Ｔhreshold ・・・条件１
が成り立つ場合（横方向の類似度が強い場合）、Ｇ３４を
Ｇ３４ ＝ （Ｇ３３＋Ｇ３５）／２
によって求め、
Ｇdiff-hor＞Ｔhreshold AND Ｇdiff-ver＜Ｔhreshold ・・・条件２
が成り立つ場合（縦方向の類似度が強い場合）、Ｇ３４を
Ｇ３４ ＝ （Ｇ２４＋Ｇ４４）／２
によって求め、
（Ｇdiff-hor＜Ｔhreshold AND Ｇdiff-ver＜Ｔhreshold）OR
（Ｇdiff-hor＞Ｔhreshold AND Ｇdiff-ver＞Ｔhreshold） ・・・条件３
が成り立つ場合、Ｇ３４を
Ｇ３４ ＝ （Ｇ２４＋Ｇ４４＋Ｇ３３＋Ｇ３５）／４
によって求める。
【０００７】
ここで、上述した米国特許で開示された補間処理方法を用いて、図１６に示すような黒と白との縦縞状の画像の補間処理を行う場合を考える。なお、図１６に示す画像が図１４に示す撮像素子に投影されると、緑色（Ｇ）の色情報の大きさは、図１７に示す値になると仮定する。
【０００８】
例えば、補間量Ｇ３４を求める際、図１７において、「Ｇ２４＝２００」、「Ｇ４４＝２００」、「Ｇ３３＝１０」、「Ｇ３５＝１０」であるため、Ｇdiff-horとＧdiff-verとは、共に「０」となる。したがって、Ｇdiff-horとＧdiff-verとの間には、条件１および条件２は成り立たず、「Ｔhreshold≠０」である場合に限り条件３が成り立つことになる。
【０００９】
仮に、「Ｔhreshold≠０」とした場合、補間量Ｇ３４は、
Ｇ３４ ＝ （２００＋２００＋１０＋１０）／４ ＝ １０５
となる。
【００１０】
【発明が解決しようとする課題】
しかし、実際には、図１６に示す画像は縦方向の類似度が強く、補間量Ｇ３４は「２００」となるべきである。
【００１１】
このように、上述した米国特許では、Ｇdiff-horとＧdiff-verとが一致した場合、横方向の類似度と縦方向の類似度とが一致していると判定されることになり、補間処理の対象となる空格子点の空間的な類似度が誤って推定されるおそれがあった。そのため、適切な補間量を求めることができず、最悪の場合、補間処理によって得られる画像が破綻する可能性があった。
【００１２】
そこで、請求項１〜請求項１０に記載の発明は、補間処理の対象となる空格子点の空間的な類似度を的確に推定しつつ、その空格子点の補間量を高い精度で求めることができる補間処理方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
請求項１に記載の補間処理方法は、予め決められた色を出力する格子点と該色を出力しない空格子点とが市松模様状に配された画像の補間処理方法において、補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて、該空格子点の縦方向の類似度を決定する縦方向類似度決定手順と、補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて、該空格子点の横方向の類似度を決定する横方向類似度決定手順と、前記縦方向の類似度および前記横方向の類似度に応じて補間処理の対象となる空格子点に対して類似性が強い方向に隣接する格子点の色情報の大きさの平均値を選択、もしくは該空格子点に対して縦方向および横方向に位置する格子点の色情報の大きさを該類似度に応じて加重加算することによって、該空格子点の補間量を決定する補間量決定手順とを備えたことを特徴とする。
【００１４】
請求項２に記載の補間処理方法は、予め決められた色を出力する格子点と該色を出力しない空格子点とが市松模様状に配された画像の補間処理方法において、補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して斜め方向の少なくとも一方に位置する空格子点の色情報の大きさと、補間処理の対象となる空格子点および該空格子点に対して斜め方向の少なくとも一方に位置する空格子点に隣接する格子点の色情報とを用いて、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度を決定する類似度決定手順と、前記縦方向の類似度および前記横方向の類似度に応じて補間処理の対象となる空格子点に対して類似性が強い方向に隣接する格子点の色情報の大きさの平均値を選択、もしくは該空格子点に対して縦方向および横方向に位置する格子点の色情報の大きさを該類似度に応じて加重加算することによって、該空格子点の補間量を決定する補間量決定手順とを備えたことを特徴とする。
【００１５】
請求項３に記載の補間処理方法は、予め決められた色を出力する格子点と該色を出力しない空格子点とが市松模様状に配された画像の補間処理方法において、補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて、該空格子点と当該格子点との類似度を示す縦類似度を決定する縦類似度決定手順と、補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて、該空格子点と当該格子点との類似度を示す横類似度を決定する横類似度決定手順と、補間処理の対象となる空格子点の周辺に位置する格子点の色情報の大きさと、該空格子点の周辺に位置する空格子点の色情報の大きさとを用いて、周辺に位置する空格子点の縦方向の類似度を示す周辺縦類似度を決定する周辺縦類似度決定手順と、補間処理の対象となる空格子点の周辺に位置する格子点の色情報の大きさと、該空格子点の周辺に位置する空格子点の色情報の大きさとを用いて、周辺に位置する空格子点の横方向の類似度を示す周辺横類似度を決定する周辺横類似度決定手順と、前記縦類似度および前記周辺縦類似度に基づき、補間処理の対象となる空格子点の縦方向の類似度を決定すると共に、前記横類似度および前記周辺横類似度に基づき、該空格子点の横方向の類似度を決定する類似度決定手順と、前記縦方向の類似度および前記横方向の類似度に応じて補間処理の対象となる空格子点に対して類似性が強い方向に隣接する格子点の色情報の大きさの平均値を選択、もしくは該空格子点に対して縦方向および横方向に位置する格子点の色情報の大きさを該類似度に応じて加重加算することによって、該空格子点の補間量を決定する補間量決定手順とを備えたことを特徴とする。
【００１６】
請求項４に記載の補間処理方法は、請求項３に記載の補間処理方法において、前記周辺縦類似度決定手順は、補間処理の対象となる空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさと、当該格子点に対して補間処理の対象となる空格子点とは反対方向に隣接する空格子点の色情報の大きさとを用いて周辺縦類似度を決定し、前記周辺横類似度決定手順は、補間処理の対象となる空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさと、当該格子点に対して補間処理の対象となる空格子点とは反対方向に隣接する空格子点の色情報の大きさとを用いて周辺横類似度を決定することを特徴とする。
【００１７】
請求項５に記載の補間処理方法は、請求項３に記載の補間処理方法において、周辺縦類似度決定手順は、補間処理の対象となる空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさと、当該格子点に対して縦方向の少なくとも一方に隣接する空格子点の色情報の大きさとを用いて周辺縦類似度を決定し、周辺横類似度決定手順は、補間処理の対象となる空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさと、当該格子点に対して横方向の少なくとも一方に隣接する空格子点の色情報の大きさとを用いて周辺横類似度を決定することを特徴とする。
【００１８】
請求項６に記載の補間処理方法は、請求項３に記載の補間処理方法において、周辺縦類似度決定手順は、補間処理の対象となる空格子点に対して斜め方向の少なくとも一方に位置する空格子点の色情報の大きさと、斜め方向に位置する空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて周辺縦類似度を決定し、周辺横類似度決定手順は、補間処理の対象となる空格子点に対して斜め方向の少なくとも一方に位置する空格子点の色情報の大きさと、斜め方向に位置する空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて周辺縦類似度を決定することを特徴とする。
【００１９】
請求項７に記載の補間処理方法は、請求項３に記載の補間処理方法において、周辺縦類似度決定手順は、補間処理の対象となる空格子点に対して上下左右方向と斜め方向とを含む８方向の少なくとも一方に位置する空格子点の色情報の大きさと、８方向の少なくとも一方に位置する空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて周辺縦類似度を決定し、周辺横類似度決定手順は、補間処理の対象となる空格子点に対して上下左右方向と斜め方向とを含む８方向の少なくとも一方に位置する空格子点の色情報の大きさと、８方向の少なくとも一方に位置する空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて周辺縦類似度を決定することを特徴とする。
【００２０】
請求項８に記載の補間処理方法は、請求項１ないし請求項７の何れか１項に記載の補間処理方法において、補間量決定手順は、前記縦方向の類似度および前記横方向の類似度について、何れか一方の類似度が突出する場合、その類似度を示す方向に隣接する２つの格子点の色情報の大きさの平均値を補間量とし、双方の類似度が近似する場合、該平均値を算出する以外の方法で補間量を決定することを特徴とする。
【００２１】
請求項９に記載の補間処理方法は、請求項８に記載の補間処理方法において、補間量決定手順は、前記縦方向の類似度および前記横方向の類似度が近似する場合、各類似度に対応する重み係数に基づいて該空格子点の補間量を決定することを特徴とする。
請求項１０に記載の補間処理方法は、請求項８に記載の補間処理方法において、補間量決定手順は、前記縦方向の類似度および前記横方向の類似度が近似する場合、補間処理の対象となる空格子点に隣接する４つの格子点の色情報の大きさのメディアンによって該空格子点の補間量を決定することを特徴とする。
【００２２】
【発明の実施の形態】
以下、図面に基づいて本発明の実施形態について詳細を説明する。
なお、ここでは、本発明にかかわる補間処理方法を実現する電子スチルカメラを用いて説明を行う。
（第一の実施形態）
図１は、第一の実施形態にかかわる電子カメラの機能ブロック図である。
【００２３】
なお、第一の実施形態は請求項１、請求項８および請求項９に記載の発明に対応した実施形態に相当する。
また、第一の実施形態および後述する各実施形態では、緑色を出力する画素を格子点とし、赤色もしくは青色を出力する画素を緑色に関する空格子点とする。すなわち、第一の実施形態および後述する各実施形態における補間処理は、これらの空格子点の緑色の色情報の大きさに相当する補間量を求める処理に相当する。
【００２４】
図１において、制御部１０の出力は、撮影光学系１１、ＯＬＰＦ (光学的低域通過フィルタ：Optical Low Pass Filter)１２、撮像素子１３、Ａ／Ｄ変換部１４、階調変換部１５、画像バッファメモリ１６および信号処理部１７に接続される。
信号処理部１７は、補間処理部１８を有し、補間処理部１８は、類似度算出部１９および補間量算出部２０で構成される。
【００２５】
撮影光学系１１で取得された光学像は、ＯＬＰＦ１２によってフィルタリングされ、撮像素子１３に与えられる。なお、ＯＬＰＦ１２を設けず、撮影光学系１１で取得された光学像が撮像素子１３に直接与えられてもよい。
撮像素子１３の出力はＡ／Ｄ変換部１４に接続され、Ａ／Ｄ変換部１４の出力は階調変換部１５に接続される。また、階調変換部１５の出力は画像バッファメモリ１６に接続され、画像バッファメモリ１６の出力は信号処理部１７に接続される。
【００２６】
なお、信号処理部１７に接続された画像バッファメモリ１６の出力は、信号処理部１７を介して類似度算出部１９と補間量算出部２０とに接続される。また、補間量算出部２０には、類似度算出部１９から縦方向の類似度と横方向の類似度が供給され、画像バッファメモリ１６には、信号処理部１７を介して補間量算出部２０から補間量が供給される（詳細は、後述する）。
【００２７】
また、第一の実施形態および後述する各実施形態では、撮像素子１３として、図１４（１）に示すようなＲＧＢの３色のカラーフィルタがベイア配列された構成の撮像素子を用い、画像バッファメモリ１６は、これらの３色に対応する３つの領域で構成される。
ここで、画像バッファメモリ１６内の緑色に対応する領域は、Ａ／Ｄ変換部１４によって生成されて、階調変換部１５によって階調変換（ｌｏｇ化やγ変換等）された緑色の画像データ（格子点の画素出力に相当する）を格納する領域と、後述する補間処理によって得られる緑色の画像データ（空格子点の補間量に相当する）を格納する領域とで構成される。
【００２８】
また、以降の説明を簡単にするために、撮像素子１３の各画素の位置は、「右方向を正とする横軸Ｘ」と「下方向を正とする縦軸Ｙ」とで構成される座標系で表す。また、格子点の画素出力は、Ｇ（ｘ，ｙ）で表し、空格子点の補間量は、Ｇ'（ｘ，ｙ）で表す。
図２は、このような格子点の色情報の大きさと空格子点の補間量とを示した図である。図において、Ｘ_maxはＸ成分の最大値を示し、Ｙ_maxはＹ成分の最大値を示す。
【００２９】
図３は、第一の実施形態の動作フローチャートである。
図４は、第一の実施形態の補間処理の動作フローチャートである。
図５は、第一の実施形態の類似度の算出方法を説明する図である。
図５において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
【００３０】
なお、請求項１、請求項８および請求項９の発明と第一の実施形態との対応関係については、縦方向類似度決定手順および横方向類似度決定手順は類似度算出部１９で行われる処理に対応し、補間量決定手順は補間量算出部２０で行われる処理に対応する。
以下、図１ないし図５を参照して第一の実施形態の動作を説明する。
【００３１】
主電源が投入されている状態において、撮像素子１３では、撮影光学系１１およびＯＬＰＦ１２を介して与えられる光学像が光電変換面（図示されない）に結像され、光電変換によって信号電荷が生成される。また、撮像素子１３は、このように生成された信号電荷を走査して画像信号を生成し、Ａ／Ｄ変換部１４に与える。
【００３２】
Ａ／Ｄ変換部１４は、このように与えられた画像信号をＡ／Ｄ変換し、階調変換部１５は、Ａ／Ｄ変換された画像信号を階調変換（ｌｏｇ化やγ変換等）して画像データを生成する（図３Ｓ１）。なお、第一の実施形態および後述する各実施形態において、画像データは、撮像素子１３の各画素に対応する色情報に相当する。
【００３３】
このように生成された画像データは、ＲＧＢの３色に分割され、各色に対応する画像バッファメモリ１６内の領域に格納される（図３Ｓ２）。なお、このような処理は、制御部１０によるタイミング制御に基づき繰り返し行われる。また、これらの緑色の画像データ（格子点の色情報）は、図２に示すように、上述した座標系で示される座標に対応付けられて格納される。
【００３４】
制御部１０は、電子スチルカメラの筐体に設けられたレリーズボタン（図示されない）が押下されたか否かを判定する（図３Ｓ３）。
制御部１０は、このような判定によって、レリーズボタンが押下されていないことを認識すると、上述したタイミング制御によって画像データの生成（図３Ｓ１）および格納（図３Ｓ２）の処理を繰り返し指示する。
【００３５】
また、制御部１０は、レリーズボタンが押下されたことを認識すると、信号処理部１７内の補間処理部１８に対して、後述するような補間処理の実行を指示する（図３Ｓ４）。
すなわち、本実施形態では、レリーズボタンが押下された時点に画像バッファメモリ１６に格納されている画像データが補間処理の対象となる。
【００３６】
なお、画像表示を行うために、レリーズボタンが押下された時点によらず、常時、補間処理を実行してもよい。また、レリーズ後にＳ１以降の処理を行ってもよい。
このようにして補間処理が施された画像データ（空格子点の補間量）は、画像バッファメモリ１６に格納される（図３Ｓ５）。
【００３７】
以下、補間処理の動作を説明する。
補間処理部１８は、制御部１０によって補間処理の実行が指示されると、補間処理の対象となる空格子点を選択する（図４Ｓ１）。
例えば、図２において、任意の座標（ｘ，ｙ）について「ｘ＋ｙ＝奇数」が成り立つ場合、その座標には、空格子点が対応付けられている。そのため、本実施形態では、各画素に対応付けられた座標を（１，１）から（Ｘ_max，Ｙ_max）まで順次検索し、Ｘ成分とＹ成分との和が奇数である座標を空格子点とする。
【００３８】
なお、図２において、任意の座標（ｘ，ｙ）について「ｘ＋ｙ＝奇数」が成り立つ場合、ｘが偶数であるか奇数であるかを判定することによって、その座標の画素から出力される色を識別することができる。例えば、「ｘ＋ｙ＝奇数 かつ ｘ＝偶数」が成り立つ画素の出力を赤色とすると、「ｘ＋ｙ＝奇数 かつ ｘ＝奇数」が成り立つ画素の出力は青色となる。
【００３９】
補間処理部１８は、上述したように補間処理の対象となる空格子点を選択すると、類似度算出部１９、補間量算出部２０を起動する。
類似度算出部１９は、図５に示すように、補間処理の対象となる空格子点（ｉ，ｊ）の色情報の大きさＲＢ（ｉ，ｊ）と、その空格子点に対して縦方向および横方向に隣接する格子点の色情報の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を画像バッファメモリ１６から読み出す。すなわち、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度を算出する際に用いる色情報の大きさを画像バッファメモリ１６から読み出す。
【００４０】
また、類似度算出部１９は、ＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１）およびＧ（ｉ，ｊ＋１）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜
＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜
によって算出し、ＲＢ（ｉ，ｊ）、Ｇ（ｉ−１，ｊ）およびＧ（ｉ＋１，ｊ）を用いて、横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃysum（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜
＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜
によって算出する（図４Ｓ２）。
【００４１】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
さらに、類似度算出部１９は、このように算出した縦方向の類似度Ｃtsum（ｉ，ｊ）および空格子点の横方向の類似度Ｃysum（ｉ，ｊ）を補間量算出部２０に供給する。
【００４２】
補間量算出部２０は、縦方向の類似度Ｃtsum（ｉ，ｊ）および空格子点の横方向の類似度Ｃysum（ｉ，ｊ）が供給されると、補間処理の対象となる空格子点に対して縦方向および横方向に隣接する格子点の色情報の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を画像バッファメモリ１６から読み出し、その空格子点の補間量Ｇ'（ｉ，ｊ）を
【００４３】
ただし、ｘ＝（Ｃysum（ｉ，ｊ）−Ｃtsum（ｉ，ｊ））
／｛（Ｃysum（ｉ，ｊ）＋Ｃtsum（ｉ，ｊ））×T1＋T0｝
−１≦ｘ≦１のとき ｆ（ｘ）＝ｘ
ｘ＞１のとき ｆ（ｘ）＝１
ｘ＜−１のとき ｆ（ｘ）＝−１
ここで、T1は「０≦T1≦１」を満たす定数であり、色情報の大きさを「０から２５５まで」の数値（８ビット）で示した場合、T0は「０から１００まで」の定数とする。また、T0とT1とは共に「０」となることはない。例えば、T1とT0との組み合わせ（t1，t0）としては、（０．３，０）、（０．５、１０）、（０．７，０）、（０．３，４０）、（０．５，４０）、（０．７，４０）が考えられる。
【００４４】
このように、補間量算出部２０は、
ｘ＝（Ｃysum（ｉ，ｊ）−Ｃtsum（ｉ，ｊ））
／｛（Ｃysum（ｉ，ｊ）＋Ｃtsum（ｉ，ｊ））×T1＋T0｝
を空格子点の類似度の評価値とし、その評価値に応じて空格子点の補間量を算出する。ここで、「ｘ＞０」が成り立つ場合には横方向の類似度よりも縦方向の類似度が強く、「ｘ＜０」が成り立つ場合には縦方向の類似度よりも横方向の類似度が強いことを意味する。
【００４５】
なお、ｆ（ｘ）のグラフは、図６に示す形状となる。
ところで、式１は、「ｘ＞１」が成り立つ場合、「ｆ（ｘ）＝１」であるため、
Ｇ'（ｉ，ｊ）＝（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１））／２
と等価であり、「ｘ＜−１」が成り立つ場合、「ｆ（ｘ）＝−１」であるため、
Ｇ'（ｉ，ｊ）＝（Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ））／２
と等価である。
【００４６】
すなわち、補間量算出部２０は、「ｘ＞１」が成り立つか否かを判定することによって空格子点の縦方向の類似度が突出しているか否かを判定し（図４Ｓ３）、「ｘ＜−１」が成り立つか否かを判定することによって空格子点の横方向の類似度が突出しているか否かを判定する（図４Ｓ４）。
また、補間量算出部２０は、空格子点の縦方向の類似度が突出している場合（図４Ｓ４のＹＥＳ側）、縦方向に隣接する二つの格子点の色情報の大きさの平均値を空格子点の補間量とし（図４Ｓ５）、空格子点の横方向の類似度が突出している場合（図４Ｓ４のＹＥＳ側）、横方向に隣接する二つの格子点の色情報の大きさの平均値を空格子点の補間量とする（図４Ｓ６）。
【００４７】
ところで、式１は、「−１≦ｘ≦１」が成り立つ場合、
【００４８】
ここで、「（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１））／２」は、縦方向に隣接する二つの格子点の色情報の大きさの平均値に相当し、「（１＋ｘ）／２」は、縦方向の類似度に対応する重み係数に相当する。また、「（Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ））／２」は、横方向に隣接する二つの格子点の色情報の大きさの平均値に相当し、「（１−ｘ）／２」は、横方向の類似度に対応する重み係数に相当する。
【００４９】
すなわち、補間量算出部２０は、何れの類似度も突出していないことを認識した場合（図４Ｓ４のＮＯ側）、空格子点の縦方向に隣接する二つの格子点の色情報の大きさの平均値および横方向に隣接する二つの格子点の色情報の大きさの平均値に対し、各方向の類似度の評価値に基づく加重加算を施すことによって空格子点の補間量を算出する（図４Ｓ７）。
【００５０】
また、補間処理部１８は、全ての空格子点の補間処理が完了したか否かを判定する（図４Ｓ８）。
例えば、このような判定は、上述したような各画素に対応付けられた座標を検索する過程で、任意の座標（ｉ，ｊ）について、「ｉ＞Ｘ_max−３」および「ｊ＞Ｙ_max−３」が成り立つか否かを判定することに相当する。
【００５１】
なお、画像の端部のように本発明の補間処理をそのまま適用できない部分については、画像の端から先を折り返して仮想の画像を生成し（公知の技術）、このように生成した画像を用いて補間処理を行ってもよい。
補間処理部１８は、このような判定によって、全ての空格子点の補間処理が完了したことを認識するまで、上述した処理（図４Ｓ１以降の処理）を繰り返し行う。
【００５２】
すなわち、第一の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、その空格子点の色情報の大きさを反映することができる。そのため、例えば、図１６に示す画像の補間処理を行う場合には、縦方向の類似度が突出していることが判定できる。
したがって、本実施形態によれば、米国特許第５，３８２，９７６号明細書に開示された従来の補間処理によって破綻する可能性があった画像に対しても、高い精度で補間処理を行うことができる。
【００５３】
なお、本実施形態では、「ｔ＝ｙ＝０．５」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を算出しているが、例えば、「ｔ＝ｙ＝０」または「ｔ＝ｙ＝１」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を算出してもよい。
仮に、「ｔ＝ｙ＝０」とした場合、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜
Ｃysum（ｉ，ｊ）＝｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜
によって算出できるため、類似度算出部１９は、Ｇ（ｉ，ｊ−１）およびＧ（ｉ−１，ｊ）を画像バッファメモリ１６から読み出す必要がない。
【００５４】
また、本実施形態では、ｆ（ｘ）を図６に示す形状としているが、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の何れか一方の類似度が突出する場合、その突出する類似度を示す方向に隣接する二つの格子点の色情報の大きさの平均値を空格子点の補間量とできれば、ｆ（ｘ）は如何なる関数であってもよい。
【００５５】
さらに、本実施形態では、補間量の算出時にｆ（ｘ）の値を算出しているが、例えば、補間量算出部１８内にルックアップテーブルを設けて予め算出したｆ（ｘ）の値を格納し、空格子点の縦方向の類似度Ｃtsum（ｉ，ｊ）や横方向の類似度Ｃysum（ｉ，ｊ）に対応付けてルックアップテーブルを参照することによってｆ（ｘ）の値を取得してもよい。
【００５６】
また、本実施形態では、何れか一方の類似度が突出しているか否かの判定をｘの値に基づいて行っているが、例えば、縦方向の類似度Ｃtsum（ｉ，ｊ）が所定の値（ここでは、Thとする）以下であり横方向の類似度Ｃysum（ｉ，ｊ）がThを上回る場合には、縦方向の類似度Ｃtsum（ｉ，ｊ）が突出していると判定し、横方向の類似度Ｃysum（ｉ，ｊ）がTh以下であり縦方向の類似度Ｃtsum（ｉ，ｊ）がThを上回る場合には、横方向の類似度Ｃysum（ｉ，ｊ）が突出していると判定してもよい。
【００５７】
さらに、ｘを算出する際の割算を回避するために、分母に相当する値を算出した後、その値をテーブル参照で「１／分母」に相当する値に置き換えて、掛算でｘを求めてもよいし、分子の絶対値と分母とを対数化（テーブル参照などにより）してから差をとり、これと所定値との大小を比較する方法（この場合、符号は別途判別する）に置き換えてもよい。
【００５８】
また、本実施形態では、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）が近似する場合、請求項９を適用して各類似度に対応する重み係数に基づいて空格子点の補間量を算出しているが、例えば、請求項９に代えて請求項１０を適用することによって、空格子点に隣接する４つの格子点の色情報の大きさのメディアンに基づき空格子点の補間量を算出してもよい。
【００５９】
（第二の実施形態）
図７は、第二の実施形態の類似度の算出方法を説明する図である。
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第二の実施形態は、請求項１、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第二の実施形態との対応関係については、縦方向類似度決定手順および横方向類似度決定手順は類似度算出部１９で行われる処理に対応し、補間量決定手順は補間量算出部２０で行われる処理に対応する。
【００６０】
第二の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
類似度算出部１９は、第一の実施形態と同様に、補間処理の対象となる空格子点（ｉ，ｊ）の色情報の大きさＲＢ（ｉ，ｊ）と、その空格子点に対して縦方向および横方向に隣接する格子点の色情報の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を画像バッファメモリ１６から読み出す。
【００６１】
また、類似度算出部１９は、図７に示すように、ＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１）およびＧ（ｉ，ｊ＋１）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）を
【００６２】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
このように、第二の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、その空格子点の色情報の大きさを反映することができる。そのため、第一の実施形態と同様に、米国特許第５，３８２，９７６号明細書に開示された従来の補間処理によって破綻する可能性があった画像に対しても、高い精度で補間処理を行うことができる。
【００６３】
なお、本実施形態では、「ｔ＝ｙ＝０．５」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を算出しているが、例えば、「ｔ＝ｙ＝０」または「ｔ＝ｙ＝１」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を算出してもよい。
仮に、「ｔ＝ｙ＝１」とした場合、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝｜Ｇ（ｉ，ｊ−１）−ＲＢ（ｉ，ｊ）｜
Ｃysum（ｉ，ｊ）＝｜Ｇ（ｉ−１，ｊ）−ＲＢ（ｉ，ｊ）｜
によって算出できるため、類似度算出部１９は、Ｇ（ｉ，ｊ＋１）およびＧ（ｉ＋１，ｊ）を画像バッファメモリ１６から読み出す必要がない。
【００６４】
（第三の実施形態）
図８は、第三の実施形態の類似度の算出方法を説明する図である。
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第三の実施形態は、請求項２、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第三の実施形態との対応関係については、縦方向類似度決定手順および横方向類似度決定手順は類似度算出部１９で行われる処理に対応し、補間量決定手順は補間量算出部２０で行われる処理に対応する。
【００６５】
第三の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
類似度算出部１９は、図８に示すように、補間処理の対象となる空格子点（ｉ，ｊ）の色情報の大きさＲＢ（ｉ，ｊ）と、その空格子点に対して上方向および左方向に隣接する格子点の色情報の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ−１，ｊ）と、その空格子点に対して左上方向に位置する空格子点の色情報の大きさＲＢ（ｉ−１，ｊ−１）を画像バッファメモリ１６から読み出す。
【００６６】
また、類似度算出部１９は、図８に示すように、ＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１）、Ｇ（ｉ−１，ｊ）およびＲＢ（ｉ−１，ｊ−１）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）を
【００６７】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
このように、第三の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、補間処理の対象となる空格子点や、その空格子点の周辺に位置する空格子点の色情報の大きさを反映することができる。そのため、米国特許第５，３８２，９７６号明細書に開示された従来の補間処理によって破綻する可能性があった画像に対しても、高い精度で補間処理を行うことができる。
【００６８】
なお、本実施形態では、「ｔ＝ｙ＝０．５」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を算出しているが、例えば、「ｔ＝ｙ＝０」または「ｔ＝ｙ＝１」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を算出してもよい。
仮に、「ｔ＝ｙ＝０」とした場合、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）は、
Ｃtsum（ｉ，ｊ）＝｜ＲＢ（ｉ−１，ｊ−１）−Ｇ（ｉ−１，ｊ）｜
Ｃysum（ｉ，ｊ）＝｜ＲＢ（ｉ−１，ｊ−１）−Ｇ（ｉ，ｊ−１）｜
によって算出される。すなわち、このような場合には、補間処理の対象となる空格子点の周辺に位置する格子点および空格子点の色情報の大きさによって縦方向の類似度および横方向の類似度が決定されることになる。
【００６９】
また、本実施形態では、補間処理の対象となる空格子点以外の空格子点の色情報の大きさとして、補間処理の対象となる空格子点に対して左上に位置する空格子点の色情報の大きさを用いたが、請求項２に記載の発明は、このような色情報の大きさに限定されず、左上に位置する空格子点に代えて右上、右下または左下に位置する空格子点の色情報の大きさを用いてもよく、これら四つの空格子点の色情報の大きさを用いて算出した値を加重加算してもよい。
【００７０】
例えば、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を下式によって算出することができる。
Ｃtsum（ｉ，ｊ）＝（t1×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜＋
（１−t1）×｜ＲＢ（ｉ−１，ｊ−１）−Ｇ（ｉ−１，ｊ）｜）×ht1
（t2×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜＋
（１−t2）×｜ＲＢ（ｉ＋１，ｊ−１）−Ｇ（ｉ＋１，ｊ）｜）×ht2
（t3×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜＋
（１−t3）×｜ＲＢ（ｉ−１，ｊ＋１）−Ｇ（ｉ−１，ｊ）｜）×ht3
（t4×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜＋
（１−t4）×｜ＲＢ（ｉ＋１，ｊ＋１）−Ｇ（ｉ＋１，ｊ）｜）×ht4
Ｃysum（ｉ，ｊ）＝（y1×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜＋
（１−y1）×｜ＲＢ（ｉ−１，ｊ−１）−Ｇ（ｉ，ｊ−１）｜）×hy1
（y2×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜＋
（１−y2）×｜ＲＢ（ｉ＋１，ｊ−１）−Ｇ（ｉ，ｊ−１）｜）×hy2
（y3×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜＋
（１−y3）×｜ＲＢ（ｉ−１，ｊ＋１）−Ｇ（ｉ，ｊ＋１）｜）×hy3
（y4×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜＋
（１−y4）×｜ＲＢ（ｉ＋１，ｊ＋１）−Ｇ（ｉ，ｊ＋１）｜）×hy4
ただし、t1〜t4、y1〜y4は「０」以上「１」以下の定数であり、ht1〜ht4、hy1〜hy4は定数であり、かつ少なくとも１つは「０」でない。
【００７１】
このような式において、「ht1＋ht2＋ht3＋ht4 ＝１」および「hy1＋hy2＋hy3＋hy4 ＝１」とした場合には、補間処理の対象となる空格子点に対して斜め方向に位置する空格子点の色情報の大きさを用いて得られた値を加重加算したことに相当する。
（第四の実施形態）
図９は、第四の実施形態の類似度の算出方法を説明する図である。
【００７２】
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第四の実施形態は、請求項３、請求項４、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第四の実施形態との対応関係については、縦類似度決定手順、横類似度決定手順、周辺縦類似度決定手順、周辺横類似度決定手順および類似度決定手順は、類似度算出部１９で行われる処理に対応し、補間量決定手順は、補間量算出部２０で行われる処理に対応する。
【００７３】
第四の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
類似度算出部１９は、図９に示すように、補間処理の対象となる空格子点（ｉ，ｊ）の色情報の大きさＲＢ（ｉ，ｊ）と、その空格子点に対して縦方向および横方向に隣接する格子点の色情報の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を画像バッファメモリ１６から読み出す。
【００７４】
また、類似度算出部１９は、図９に示すように、ＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１）およびＧ（ｉ，ｊ＋１）を用いて、縦類似度Ｃt（ｉ，ｊ）を
Ｃt（ｉ，ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜
＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜
によって算出し、ＲＢ（ｉ，ｊ）、Ｇ（ｉ−１，ｊ）およびＧ（ｉ＋１，ｊ）を用いて、横類似度Ｃy（ｉ，ｊ）を
Ｃy（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜
＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜
によって算出する。
【００７５】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
さらに、類似度算出部１９は、補間処理の対象となる空格子点の周辺に位置する空格子点の色情報の大きさＲＢ（ｉ，ｊ−２）、ＲＢ（ｉ，ｊ＋２）、ＲＢ（ｉ−２，ｊ）、ＲＢ（ｉ＋２，ｊ）を画像バッファメモリ１６から読み出す。
【００７６】
また、類似度算出部１９は、このように読み出したＲＢ（ｉ，ｊ−２）、ＲＢ（ｉ，ｊ＋２）、ＲＢ（ｉ−２，ｊ）、ＲＢ（ｉ＋２，ｊ）と、既に読み出されているＧ（ｉ，ｊ−１）、Ｇ（ｉ，ｊ＋１）、Ｇ（ｉ−１，ｊ）、Ｇ（ｉ＋１，ｊ）とを用いて、周辺縦類似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）を
【００７７】
なお、t1およびt2は定数であり、かつ少なくとも１つは「０」でなく、y1およびy2は定数であり、かつ少なくとも１つは「０」でない。
さらに、類似度算出部１９は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×ht
Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×hy
によって算出する。
【００７８】
なお、htおよびhyは、定数であり、例えば、「１／２」や「１／４」とする。
このように、第四の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、補間処理の対象となる空格子点および周辺に位置する空格子点の色情報の大きさを反映することができる。
したがって、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の信頼性を確実に向上させることができるため、高い精度で補間処理を行うことができる。
【００７９】
（第五の実施形態）
図１０は、第五の実施形態の類似度の算出方法を説明する図である。
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第五の実施形態は、請求項３、請求項５、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第五の実施形態との対応関係については、縦類似度決定手順、横類似度決定手順、周辺縦類似度決定手順、周辺横類似度決定手順および類似度決定手順は、類似度算出部１９で行われる処理に対応し、補間量決定手順は、補間量算出部２０で行われる処理に対応する。
【００８０】
第五の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
【００８１】
類似度算出部１９は、第四の実施形態と同様に、画像バッファメモリ１６からＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を読み出し、縦類似度Ｃt（ｉ，ｊ）および横類似度Ｃy（ｉ，ｊ）を
Ｃt（ｉ，ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜
＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜
Ｃy（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜
＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜
によって算出する（図示省略）。
【００８２】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
また、類似度算出部１９は、図１０に示すように、補間処理の対象となる空格子点に対して斜め方向に位置する四つの空格子点の色情報の大きさＲＢ（ｉ−１，ｊ−１）、ＲＢ（ｉ−１，ｊ＋１）、ＲＢ（ｉ＋１，ｊ−１）、ＲＢ（ｉ＋１，ｊ＋１）を画像バッファメモリ１６から読み出す。
【００８３】
さらに、類似度算出部１９は、このように読み出したＲＢ（ｉ−１，ｊ−１）、ＲＢ（ｉ−１，ｊ＋１）、ＲＢ（ｉ＋１，ｊ−１）、ＲＢ（ｉ＋１，ｊ＋１）と、既に読み出されているＧ（ｉ，ｊ−１）、Ｇ（ｉ，ｊ＋１）、Ｇ（ｉ−１，ｊ）、Ｇ（ｉ＋１，ｊ）とを用いて、周辺縦類似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）を
【００８４】
なお、t1〜t4は定数であり、かつ少なくとも１つは「０」でなく、y1〜y4は定数であり、かつ少なくとも１つは「０」でない。
また、類似度算出部１９は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×ht
Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×hy
によって算出する。
【００８５】
なお、htおよびhyは、定数であり、例えば、「１／２」や「１／４」とする。
このように、第五の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、補間処理の対象となる空格子点および周辺に位置する空格子点の色情報の大きさを反映することができる。
したがって、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の信頼性を確実に向上させることができるため、高い精度で補間処理を行うことができる。
【００８６】
なお、上述した第四の実施形態および第五の実施形態では、縦類似度Ｃt（ｉ，ｊ）および横類似度Ｃy（ｉ，ｊ）を
Ｃt（ｉ、ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜
＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜
Ｃy（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜
＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜
によって算出しているが、例えば、縦類似度Ｃt（ｉ，ｊ）および横類似度Ｃy（ｉ，ｊ）を
【００８７】
（第六の実施形態）
図１１は、第六の実施形態の類似度の算出方法を説明する図である。
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第六の実施形態は、請求項３、請求項６、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第六の実施形態との対応関係については、縦類似度決定手順、横類似度決定手順、周辺縦類似度決定手順、周辺横類似度決定手順および類似度決定手順は、類似度算出部１９で行われる処理に対応し、補間量決定手順は、補間量算出部２０で行われる処理に対応する。
【００８８】
第六の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
類似度算出部１９は、図１１（１）に示すように、縦類似度および横類似度を算出すべき空格子点の座標を（ｉ，ｊ）とした場合、その空格子点の色情報の大きさと、その空格子点に隣接する格子点の色情報の大きさを用いて縦類似度および横類似度を算出する。なお、図１１（１）において、Ｇupは、縦類似度および横類似度を算出すべき空格子点に対して上方向に隣接する格子点の色情報の大きさを示し、Ｇdounは、下方向に隣接する格子点の色情報の大きさを示し、Ｇleftは、左方向に隣接する格子点の色情報の大きさを示し、Ｇrightは、右方向に隣接する格子点の色情報の大きさを示す。
【００８９】
すなわち、類似度算出部１９は、画像バッファメモリ１６からＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を読み出し、縦類似度Ｃt（ｉ，ｊ）および横類似度Ｃy（ｉ，ｊ）を
Ｃt（ｉ，ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜
＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜
Ｃy（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜
＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜
によって算出する。
【００９０】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
また、類似度算出部１９は、図１１（２）、（３）に示すように、補間処理の対象となる空格子点の斜め方向に位置する空格子点の縦類似度および横類似度を算出し、各縦類似度を加重加算して周辺縦類似度Ｃtn（ｉ，ｊ）を算出すると共に、各横類似度を加重加算して周辺横類似度Ｃyn（ｉ，ｊ）を算出する。
【００９１】
すなわち、類似度算出部１９は、周辺縦類似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）を
【００９２】
なお、t1〜t4は定数であり、かつ少なくとも１つは「０」でなく、y1〜y4は定数であり、かつ少なくとも１つは「０」でない。
また、類似度算出部１９は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×ht
Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×hy
によって算出する。
【００９３】
なお、htおよびhyは、定数であり、例えば、「１／２」や「１／４」とする。
このように、第六の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、補間処理の対象となる空格子点および周辺に位置する空格子点の色情報の大きさを反映することができる。特に、第六の実施形態は、このような類似度の算出に際し、第四の実施形態および第五の実施形態と比較して、広範囲に位置する空格子点の色情報の大きさを用いることができる。
【００９４】
したがって、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の信頼性を確実に向上させることができるため、高い精度で補間処理を行うことができる。
（第七の実施形態）
図１２は、第七の実施形態の類似度の算出方法を説明する図である。
【００９５】
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第七の実施形態は、請求項３、請求項６、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第七の実施形態との対応関係については、縦類似度決定手順、横類似度決定手順、周辺縦類似度決定手順、周辺横類似度決定手順および類似度決定手順は、類似度算出部１９で行われる処理に対応し、補間量決定手順は、補間量算出部２０で行われる処理に対応する。
【００９６】
第七の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
類似度算出部１９は、図１２（１）に示すように、縦類似度および横類似度を算出すべき空格子点の座標を（ｉ，ｊ）とした場合、その空格子点の色情報の大きさと、その空格子点に隣接する格子点の色情報の大きさを用いて縦類似度および横類似度を算出する。
【００９７】
すなわち、類似度算出部１９は、画像バッファメモリ１６からＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を読み出し、縦類似度Ｃt（ｉ，ｊ）および横類似度Ｃy（ｉ，ｊ）を
【００９８】
なお、ｔおよびｙは、「０≦ｔ≦１，０≦ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．５」とする。
また、類似度算出部１９は、図１２（２）、（３）に示すように、補間処理の対象となる空格子点の斜め方向に位置する空格子点の縦類似度および横類似度を算出し、各縦類似度を加重加算して周辺縦類似度Ｃtn（ｉ，ｊ）を算出すると共に、各横類似度を加重加算して周辺横類似度Ｃyn（ｉ，ｊ）を算出する。
【００９９】
すなわち、類似度算出部１９は、周辺縦類似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）を
【０１００】
なお、t1〜t4は定数であり、かつ少なくとも１つは「０」でなく、y1〜y4は定数であり、かつ少なくとも１つは「０」でない。
また、類似度算出部１９は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×ht
Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×hy
によって算出する。
【０１０１】
なお、htおよびhyは、定数であり、例えば、「１／２」や「１／４」とする。
このように、第七の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、補間処理の対象となる空格子点および周辺に位置する空格子点の色情報の大きさを反映することができる。特に、第七の実施形態は、このような類似度の算出に際し、第四の実施形態および第五の実施形態と比較して、広範囲に位置する空格子点の色情報の大きさを用いることができる。
【０１０２】
したがって、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の信頼性を確実に向上させることができるため、高い精度で補間処理を行うことができる。
（第八の実施形態）
図１３は、第八の実施形態の類似度の算出方法を説明する図である。
【０１０３】
図において、格子点をＧで示し、空格子点をＲＢで示し、補間処理の対象となる空格子点の座標を（ｉ，ｊ）で示す。
なお、第八の実施形態は、請求項３、請求項７、請求項８および請求項９に記載の発明に対応した実施形態に相当する。また、これらの請求項に記載の発明と第八の実施形態との対応関係については、縦類似度決定手順、横類似度決定手順、周辺縦類似度決定手順、周辺横類似度決定手順および類似度決定手順は、類似度算出部１９で行われる処理に対応し、補間量決定手順は、補間量算出部２０で行われる処理に対応する。
【０１０４】
第八の実施形態の特徴は、類似度算出部１９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあり、他の処理については、第一の実施形態と同様であるため説明を省略する。
類似度算出部１９は、図１１（１）または図１２（１）に示すように、縦類似度および横類似度を算出すべき空格子点の座標を（ｉ，ｊ）とした場合、その空格子点の色情報の大きさと、その空格子点に隣接する格子点の色情報の大きさを用いて縦類似度および横類似度を算出する（詳細は、上述した第六の実施形態および第七の実施形態と同じ）。
【０１０５】
また、類似度算出部１９は、図１３に示すように、補間処理の対象となる空格子点に対し、斜め方向に位置する空格子点の縦類似度および横類似度と、上下左右方向に最近接する空格子点の縦類似度および横類似度とを算出し、各縦類似度を加重加算して周辺縦類似度Ｃtn（ｉ，ｊ）を算出すると共に、各横類似度を加重加算して周辺横類似度Ｃyn（ｉ，ｊ）を算出する。
【０１０６】
すなわち、類似度算出部１９は、周辺縦類似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）を
【０１０７】
なお、t1〜t8は定数であり、かつ少なくとも１つは「０」でなく、y1〜y8は定数であり、かつ少なくとも１つは「０」でない。
また、類似度算出部１９は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）を
Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×ht
Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×hy
によって算出する。
【０１０８】
なお、htおよびhyは、定数であり、例えば、「１／２」や「１／４」とする。このように、第八の実施形態では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度に、補間処理の対象となる空格子点および周辺に位置する空格子点の色情報の大きさを反映することができる。特に、第八の実施形態は、このような類似度の算出に際し、第六の実施形態および第七の実施形態と比較して、広範囲に位置する空格子点の色情報の大きさを用いることができる。
【０１０９】
したがって、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の信頼性を確実に向上させることができるため、高い精度で補間処理を行うことができる。
なお、本実施形態では、周辺縦類似度および周辺横類似度の算出に際し、補間処理の対象となる空格子点に斜め方向に位置する空格子点と上下左右方向に最近接する空格子点との縦類似度および横類似度を用いているが、請求項３に記載の発明は、このような空格子点に限定されず、補間処理の対象となる空格子点の周辺に位置する空格子点であれば、如何なる範囲に位置する空格子点の縦類似度および横類似度を用いてもよい。
【０１１０】
【発明の効果】
上述したように請求項１に記載の発明では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の決定に際し、該空格子点に隣接する格子点の色情報の大きさだけでなく、該空格子点の色情報の大きさを用いる。
また、請求項２に記載の発明では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の決定に際し、該空格子点の色情報の大きさと、該空格子点に対して斜め方向の少なくとも一方に位置する空格子点の色情報の大きさと、補間処理の対象となる空格子点および該空格子点に対して斜め方向の少なくとも一方に位置する空格子点に隣接する格子点の色情報とを用いる。
【０１１１】
さらに、請求項３ないし請求項７に記載の発明では、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度の決定に際し、縦類似度および横類似度と共に、周辺縦類似度および周辺横類似度を用いる。
したがって、請求項１ないし請求項７に記載の発明によれば、補間処理の対象となる空格子点に隣接する格子点の色情報の大きさのみを用いて該空格子点の縦方向の類似度および横方向の類似度を決定する場合と比較して、該空格子点の縦方向の類似度および横方向の類似度を高い精度で求めることができる。
【０１１２】
特に、請求項３ないし請求項７に記載の発明では、補間処理の対象となる空格子点の周辺部分の画像の特徴を反映しつつ、該空格子点の縦方向の類似度および横方向の類似度を決定できるため、画像の特徴が局所的には現れない場合であっても、縦方向の類似度および横方向の類似度の精度を確実に向上することができる。
【０１１３】
請求項８に記載の発明では、空格子点の縦方向の類似度または横方向の類似度の何れか一方が突出している場合には、その方向に隣接する二つの格子点の画素出力の平均値を空格子点の補間量とすることができる。
したがって、空格子点の縦方向の類似度および横方向の類似度を確実に反映しつつ、空格子点の補間量を決定することができる。
【０１１４】
請求項９および請求項１０に記載の発明では、空格子点の縦方向の類似度および横方向の類似度が近似する場合であっても、各類似度を確実に反映しつつ、空格子点の補間量を算出することができる。
したがって、請求項１ないし請求項１０に記載の発明によれば、補間処理の対象となる空格子点の空間的な類似度を的確に推定することによって、補間処理の信頼性を確実に向上することができる。
【０１１５】
なお、本発明は無彩色に近い画像で非常に有効であるが、自然画像のように異なる色同士の相関が大きい場合には、無彩色に近い画像に限らず、カラー画像であっても同様の効果が得られる。
【図面の簡単な説明】
【図１】電子カメラの機能ブロック図である。
【図２】格子点の色情報と空格子点の補間量とを示す図である。
【図３】第一の実施形態の動作フローチャートである。
【図４】第一の実施形態の補間処理の動作フローチャートである。
【図５】第一の実施形態の類似度の算出方法を説明する図である。
【図６】ｆ（ｘ）のグラフの形状を示す図である。
【図７】第二の実施形態の類似度の算出方法を説明する図である。
【図８】第三の実施形態の類似度の算出方法を説明する図である。
【図９】第四の実施形態の類似度の算出方法を説明する図である。
【図１０】第五の実施形態の類似度の算出方法を説明する図である。
【図１１】第六の実施形態の類似度の算出方法を説明する図である。
【図１２】第七の実施形態の類似度の算出方法を説明する図である。
【図１３】第八の実施形態の類似度の算出方法を説明する図である。
【図１４】撮像素子の構成を示す図である。
【図１５】従来の補間処理を説明する図である。
【図１６】縦縞上の画像の例を示す図である。
【図１７】色情報の大きさの例を示す図である。
【符号の説明】
１０ 制御部
１１ 撮影光学系
１２ ＯＬＰＦ
１３ 撮像素子
１４ Ａ／Ｄ変換部
１５ 階調変換部
１６ 画像バッファメモリ
１７ 信号処理部
１８ 補間処理部
１９ 類似度算出部
２０ 補間量算出部
Claims (10)
- 予め決められた色を出力する格子点と該色を出力しない空格子点とが市松模様状に配された画像の補間処理方法において、
補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて、該空格子点の縦方向の類似度を決定する縦方向類似度決定手順と、
補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて、該空格子点の横方向の類似度を決定する横方向類似度決定手順と、
前記縦方向の類似度および前記横方向の類似度に応じて補間処理の対象となる空格子点に対して類似性が強い方向に隣接する格子点の色情報の大きさの平均値を選択、もしくは該空格子点に対して縦方向および横方向に位置する格子点の色情報の大きさを該類似度に応じて加重加算することによって、該空格子点の補間量を決定する補間量決定手順と
を備えたことを特徴とする補間処理方法。 - 予め決められた色を出力する格子点と該色を出力しない空格子点とが市松模様状に配された画像の補間処理方法において、
補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して斜め方向の少なくとも一方に位置する空格子点の色情報の大きさと、補間処理の対象となる空格子点および該空格子点に対して斜め方向の少なくとも一方に位置する空格子点に隣接する格子点の色情報とを用いて、補間処理の対象となる空格子点の縦方向の類似度および横方向の類似度を決定する類似度決定手順と、
前記縦方向の類似度および前記横方向の類似度に応じて補間処理の対象となる空格子点に対して類似性が強い方向に隣接する格子点の色情報の大きさの平均値を選択、もしくは該空格子点に対して縦方向および横方向に位置する格子点の色情報の大きさを該類似度に応じて加重加算することによって、該空格子点の補間量を決定する補間量決定手順とを備えたことを特徴とする補間処理方法。 - 予め決められた色を出力する格子点と該色を出力しない空格子点とが市松模様状に配された画像の補間処理方法において、
補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて、該空格子点と当該格子点との類似度を示す縦類似度を決定する縦類似度決定手順と、
補間処理の対象となる空格子点の色情報の大きさと、該空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて、該空格子点と当該格子点との類似度を示す横類似度を決定する横類似度決定手順と、
補間処理の対象となる空格子点の周辺に位置する格子点の色情報の大きさと、該空格子点の周辺に位置する空格子点の色情報の大きさとを用いて、周辺に位置する空格子点の縦方向の類似度を示す周辺縦類似度を決定する周辺縦類似度決定手順と、
補間処理の対象となる空格子点の周辺に位置する格子点の色情報の大きさと、該空格子点の周辺に位置する空格子点の色情報の大きさとを用いて、周辺に位置する空格子点の横方向の類似度を示す周辺横類似度を決定する周辺横類似度決定手順と、
前記縦類似度および前記周辺縦類似度に基づき、補間処理の対象となる空格子点の縦方向の類似度を決定すると共に、前記横類似度および前記周辺横類似度に基づき、該空格子点の横方向の類似度を決定する類似度決定手順と、
前記縦方向の類似度および前記横方向の類似度に応じて補間処理の対象となる空格子点に対して類似性が強い方向に隣接する格子点の色情報の大きさの平均値を選択、もしくは該空格子点に対して縦方向および横方向に位置する格子点の色情報の大きさを該類似度に応じて加重加算することによって、該空格子点の補間量を決定する補間量決定手順と
を備えたことを特徴とする補間処理方法。 - 請求項３に記載の補間処理方法において、
前記周辺縦類似度決定手順は、
補間処理の対象となる空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさと、当該格子点に対して補間処理の対象となる空格子点とは反対方向に隣接する空格子点の色情報の大きさとを用いて周辺縦類似度を決定し、
前記周辺横類似度決定手順は、
補間処理の対象となる空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさと、当該格子点に対して補間処理の対象となる空格子点とは反対方向に隣接する空格子点の色情報の大きさとを用いて周辺横類似度を決定する
ことを特徴とする補間処理方法。 - 請求項３に記載の補間処理方法において、
前記周辺縦類似度決定手順は、
補間処理の対象となる空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさと、当該格子点に対して縦方向の少なくとも一方に隣接する空格子点の色情報の大きさとを用いて周辺縦類似度を決定し、
前記周辺横類似度決定手順は、
補間処理の対象となる空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさと、当該格子点に対して横方向の少なくとも一方に隣接する空格子点の色情報の大きさとを用いて周辺横類似度を決定する
ことを特徴とする補間処理方法。 - 請求項３に記載の補間処理方法において、
前記周辺縦類似度決定手順は、
補間処理の対象となる空格子点に対して斜め方向の少なくとも一方に位置する空格子点の色情報の大きさと、斜め方向に位置する空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて周辺縦類似度を決定し、
前記周辺横類似度決定手順は、
補間処理の対象となる空格子点に対して斜め方向の少なくとも一方に位置する空格子点の色情報の大きさと、斜め方向に位置する空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて周辺縦類似度を決定する
ことを特徴とする補間処理方法。 - 請求項３に記載の補間処理方法において、
前記周辺縦類似度決定手順は、
補間処理の対象となる空格子点に対して上下左右方向と斜め方向とを含む８方向の少なくとも一方に位置する空格子点の色情報の大きさと、８方向の少なくとも一方に位置する空格子点に対して縦方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて周辺縦類似度を決定し、
前記周辺横類似度決定手順は、
補間処理の対象となる空格子点に対して上下左右方向と斜め方向とを含む８方向の少なくとも一方に位置する空格子点の色情報の大きさと、８方向の少なくとも一方に位置する空格子点に対して横方向の少なくとも一方に隣接する格子点の色情報の大きさとを用いて周辺縦類似度を決定する
ことを特徴とする補間処理方法。 - 請求項１ないし請求項７の何れか１項に記載の補間処理方法において、
前記補間量決定手順は、
前記縦方向の類似度および前記横方向の類似度について、何れか一方の類似度が突出する場合、その類似度を示す方向に隣接する２つの格子点の色情報の大きさの平均値を補間量とし、双方の類似度が近似する場合、該平均値を算出する以外の方法で補間量を決定する
ことを特徴とする補間処理方法。 - 請求項８に記載の補間処理方法において、
前記補間量決定手順は、
前記縦方向の類似度および前記横方向の類似度が近似する場合、各類似度に対応する重み係数に基づいて該空格子点の補間量を決定する
ことを特徴とする補間処理方法。 - 請求項８に記載の補間処理方法において、
前記補間量決定手順は、
前記縦方向の類似度および前記横方向の類似度が近似する場合、補間処理の対象となる空格子点に隣接する４つの格子点の色情報の大きさのメディアンによって該空格子点の補間量を決定する
ことを特徴とする補間処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07045498A JP4038867B2 (ja) | 1998-03-19 | 1998-03-19 | 補間処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07045498A JP4038867B2 (ja) | 1998-03-19 | 1998-03-19 | 補間処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11275373A JPH11275373A (ja) | 1999-10-08 |
| JP4038867B2 true JP4038867B2 (ja) | 2008-01-30 |
Family
ID=13431983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07045498A Expired - Lifetime JP4038867B2 (ja) | 1998-03-19 | 1998-03-19 | 補間処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4038867B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836572B2 (en) | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
| JP4581191B2 (ja) * | 2000-06-21 | 2010-11-17 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP4702912B2 (ja) * | 2000-05-12 | 2011-06-15 | キヤノン株式会社 | 信号処理方法及び信号処理装置 |
| US7088392B2 (en) * | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
| US7576783B2 (en) * | 2005-02-04 | 2009-08-18 | Hau Hwang | Confidence based weighting for color interpolation |
| JP5006067B2 (ja) * | 2006-06-29 | 2012-08-22 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法 |
| JP4889391B2 (ja) * | 2006-07-14 | 2012-03-07 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
| JP5032914B2 (ja) * | 2007-08-10 | 2012-09-26 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法 |
| US8638342B2 (en) * | 2009-10-20 | 2014-01-28 | Apple Inc. | System and method for demosaicing image data using weighted gradients |
| JP5503522B2 (ja) * | 2010-01-20 | 2014-05-28 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法 |
| JP5786547B2 (ja) * | 2011-08-15 | 2015-09-30 | 株式会社リコー | 画像補正システム、画像補正方法およびプログラム |
-
1998
- 1998-03-19 JP JP07045498A patent/JP4038867B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11275373A (ja) | 1999-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7634153B2 (en) | Image processing apparatus and control method thereof | |
| JP3985679B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| US7103214B2 (en) | Image processing apparatus and method | |
| JP5918915B2 (ja) | カラーフィルタを有するセンサを用いて、改善されたカラー画像を作成するための方法およびデバイス | |
| US8131067B2 (en) | Image processing apparatus, image processing method, and computer-readable media for attaining image processing | |
| JP5904213B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP4038867B2 (ja) | 補間処理方法 | |
| WO2013031367A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| WO2005117455A1 (ja) | Ｒａｗデ－タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
| EP2219366B1 (en) | Image capturing device, image capturing method, and image capturing program | |
| JP2009524989A (ja) | パンクロマチック画素及びカラー画素の補間 | |
| JP2019012998A (ja) | Ｒａｗ画像処理システム及び方法 | |
| JP2004153823A (ja) | 局部線形回帰法を用いた画像処理システム | |
| JP4292625B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| JP2005012479A (ja) | データ処理装置、画像処理装置、カメラおよびデータ処理方法 | |
| JP4940086B2 (ja) | 色処理装置およびその方法 | |
| JP2000188762A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| JP2000069492A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| CN115829849A (zh) | 基于G分量引导图的Bayer图像的处理方法、装置和设备 | |
| US6642932B2 (en) | Method and system for interpolation in color images | |
| JP4302854B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| US8564680B1 (en) | Method and apparatus for noise management for color data synthesis in digital image and video capture systems | |
| JPH11103465A (ja) | 補間装置および補間処理プログラムを記録した記録媒体 | |
| JPH11136692A (ja) | 補間装置 | |
| JP2009182733A (ja) | 画像データ生成方法および画像データ生成装置、並びに情報コード読取装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050301 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071029 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |