JP5868090B2 - 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents

画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP5868090B2
JP5868090B2 JP2011204651A JP2011204651A JP5868090B2 JP 5868090 B2 JP5868090 B2 JP 5868090B2 JP 2011204651 A JP2011204651 A JP 2011204651A JP 2011204651 A JP2011204651 A JP 2011204651A JP 5868090 B2 JP5868090 B2 JP 5868090B2
Authority
JP
Japan
Prior art keywords
pixel
addition pattern
pattern
attention
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011204651A
Other languages
English (en)
Other versions
JP2013066114A5 (ja
JP2013066114A (ja
Inventor
大祐 鈴木
大祐 鈴木
山下　孝一
孝一 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2011204651A priority Critical patent/JP5868090B2/ja
Priority to US13/494,742 priority patent/US8818108B2/en
Priority to CN201210321287.9A priority patent/CN103024285B/zh
Publication of JP2013066114A publication Critical patent/JP2013066114A/ja
Publication of JP2013066114A5 publication Critical patent/JP2013066114A5/ja
Application granted granted Critical
Publication of JP5868090B2 publication Critical patent/JP5868090B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、ＣＣＤ画像センサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）やＣＭＯＳ画像センサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などの固体撮像素子から出力された撮像信号を処理する画像処理技術に関し、特に、色フィルタアレイを有する固体撮像素子から出力された撮像信号を処理する画像処理技術に関する。
近年、ＣＣＤ画像センサやＣＭＯＳ画像センサなどの固体撮像素子を搭載したディジタル方式のカラー撮像装置（ディジタルスチルカメラやディジタルビデオカメラ）が普及している。このようなカラー撮像装置では、単一の色フィルタアレイと、この色フィルタアレイを透過した光学像を受光する単一の撮像面とを有する単板式の固体撮像素子が広く採用されている。色フィルタ配列としては、原色系あるいは補色系のベイヤ配列（ｂａｙｅｒ ａｒｒａｎｇｅｍｅｎｔ）が広く採用されている。一般に、原色系のベイヤ配列は、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の色フィルタの配列で構成され、補色系のベイヤ配列は、例えば、シアン（Ｃ）、マゼンタ（Ｍ）、緑色（Ｇ）及び黄色（Ｙ）の色フィルタの配列で構成される。
カラー撮像装置の感度を向上させる方法としては、固体撮像素子の出力信号を電気的に増幅する方法や、固体撮像素子の電荷蓄積時間を長くする長時間露光がある。しかしながら、低照度環境下で得られた撮像信号は比較的多くのノイズ成分を含むため、この撮像信号を電気的に増幅したり長時間露光を行ったりすると、撮像画像のＳ／Ｎ比（信号対雑音比）が低下することがある。そこで、高感度化と高Ｓ／Ｎ比とを実現する方法として、複数の同色の画素を選択し、これら選択された画素のディジタル信号を加算するディジタル画素加算方法が提案されている。この種のディジタル画素加算方法は、例えば、特開２０００−１８４２７４号公報（特許文献１）に開示されている。
特開２０００−１８４２７４号公報（第４頁、段落００１０など）
しかしながら、特許文献１に開示されるディジタル画素加算方法では、複数画素（例えば、２画素あるいは３画素）のディジタル信号を加算することで１つの画素が新たに生成されるので、解像度が低下し、画質が低下するという問題がある。
上記に鑑みて本発明は、低照度環境下で高感度化と高Ｓ／Ｎ比とを実現することができ、解像度の低下をも抑制することができる画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
本発明の第１の態様による画像処理装置は、時間的に連続する複数のフレーム画像を処理する画像処理装置であって、前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、前記注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出し、さらに前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択する面内パターン検出部と、前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、前記参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出し、さらに前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択する参照パターン検出部と、前記面内画素加算パターンに含まれる画素と前記参照画素加算パターンに含まれる画素とを加算して前記注目画素に対応する補正画素を生成する画素加算部とを備えることを特徴とする。
本発明の第２の態様による撮像装置は、前記第１の態様による画像処理装置と、前記複数のフレーム画像を出力する撮像素子とを備えることを特徴とする。
本発明の第３の態様による画像処理方法は、時間的に連続する複数のフレーム画像を処理する画像処理方法であって、前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、前記注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出するステップと、前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択するステップと、前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、前記参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出するステップと、前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択するステップと、前記面内画素加算パターンに含まれる画素と前記参照画素加算パターンに含まれる画素とを加算して前記注目画素に対応する補正画素を生成するステップとを備えることを特徴とする。
本発明の第４の態様によるコンピュータプログラムは、記録媒体から読み出されて、上記第３の態様による画像処理方法が備えるステップをプロセッサに実行させることを特徴とする。
本発明の第５の態様によるコンピュータ読み取り可能な記録媒体は、前記第４の態様によるコンピュータプログラムを記録したものである。
本発明によれば、低照度環境下で高感度化と高Ｓ／Ｎ比とを実現することができ、解像度の低下をも抑制することができる。
本発明に係る実施の形態１の撮像装置の概略構成を示すブロック図である。 実施の形態１の画素加算回路の構成の一例を概略的に示すブロック図である。 実施の形態１のノイズ低減回路に含まれる空間フィルタの概略構成を示す図である。 （Ａ）は、面内パターン検出回路に入力されるフレーム遅延信号のフレーム画像を示す図であり、（Ｂ）は、（Ａ）のフレーム画像中の５×５画素領域を示す図である。 実施の形態１の撮像装置の面内パターン検出回路の構成を示すブロック図である。 図５の面内パターン検出回路に含まれる遅延回路の構成を概略的に示す図である。 （Ａ）は、図６の遅延回路に入力されるフィルタ信号のフレーム画像を示す図であり、（Ｂ）は、（Ａ）のフレーム画像中の９×９画素領域を示す図である。 図５の面内パターン検出回路に含まれる演算回路の構成を概略的に示すブロック図である。 実施の形態１の前方参照パターン検出回路または後方参照パターン検出回路のいずれかの構成を概略的に示すブロック図である。 図９の回路に含まれる遅延回路の構成を概略的に示す図である。 （Ａ）は、図１０の遅延回路に入力されるフレーム遅延信号のフレーム画像を示す図であり、（Ｂ）は、（Ａ）のフレーム画像中の１１×１１画素領域を示す図である。 図９の回路に含まれる演算回路の構成を概略的に示すブロック図である。 実施の形態１の画素加算部に含まれる選択回路の構成を概略的に示す図である。 フレーム画像の画素空間配置を概略的に示す図である。 注目画素がＧ画素のときの画素空間配置を示す図である。 注目画素がＧ画素のときの空間フィルタの演算対象画素の配列を示す図である。 注目画素がＲ画素のときの画素空間配置を示す図である。 注目画素がＲ画素のときの空間フィルタの演算対象画素の配列を示す図である。 注目画素がＢ画素のときの画素空間配置を示す図である。 注目画素がＢ画素のときの空間フィルタの演算対象画素の配列を示す図である。 注目画素（Ｇ画素）とその上側の周辺画素とを組合せた上側ブロックパターンを示す図である。 注目画素（Ｇ画素）とその右側の周辺画素とを組合せた上側ブロックパターンを示す図である。 注目画素（Ｇ画素）とその下側の周辺画素とを組合せた上側ブロックパターンを示す図である。 注目画素（Ｇ画素）とその左側の周辺画素とを組合せた上側ブロックパターンを示す図である。 注目画素（Ｇ画素）とその上側及び下側の周辺画素とを組合せた上側縦ラインパターンを示す図である。 注目画素（Ｇ画素）とその上側及び下側の周辺画素とを組合せた下側縦ラインパターンを示す図である。 注目画素（Ｇ画素）とその右側及び左側の周辺画素とを組合せた左側横ラインパターンを示す図である。 注目画素（Ｇ画素）とその右側及び下側の周辺画素とを組合せた右側横ラインパターンを示す図である。 注目画素（Ｇ画素）とその左上側及び右下側の周辺画素とを組合せた左上側斜めラインパターンを示す図である。 注目画素（Ｇ画素）とその右下側及び左上側の周辺画素とを組合せた右下側斜めラインパターンを示す図である。 注目画素（Ｇ画素）とその右上側及び左下側の周辺画素とを組合せた右上側斜めラインパターンを示す図である。 注目画素（Ｇ画素）とその左下側及び右上側の周辺画素とを組合せた左下側斜めラインパターンを示す図である。 注目画素（Ｒ画素）とその左上側の周辺画素とを組合せた左上側ブロックパターンを示す図である。 注目画素（Ｒ画素）とその右上側の周辺画素とを組合せた右上側ブロックパターンを示す図である。 注目画素（Ｒ画素）とその右下側の周辺画素とを組合せた右下側ブロックパターンを示す図である。 注目画素（Ｒ画素）とその左下側の周辺画素とを組合せた左下側ブロックパターンを示す図である。 注目画素（Ｂ画素）とその左上側の周辺画素とを組合せた左上側ブロックパターンを示す図である。 注目画素（Ｂ画素）とその右上側の周辺画素とを組合せた右上側ブロックパターンを示す図である。 注目画素（Ｂ画素）とその右下側の周辺画素とを組合せた右下側ブロックパターンを示す図である。 注目画素（Ｂ画素）とその左下側の周辺画素とを組合せた左下側ブロックパターンを示す図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 注目画素（Ｇ画素）とその上側の周辺画素とを組合せた上側縦ラインパターンを示す図である。 注目画素（Ｇ画素）とその下側の周辺画素とを組合せた下側縦ラインパターンを示す図である。 注目画素（Ｇ画素）とその左側の周辺画素とを組合せた左側ブロックパターンを示す図である。 注目画素（Ｇ画素）とその右側の周辺画素とを組合せた右側ブロックパターンを示す図である。 注目画素（Ｇ画素）とその右上側の周辺画素とを組合せた右上側斜めラインパターンを示す図である。 注目画素（Ｇ画素）とその右下側の周辺画素とを組合せた右下側斜めラインパターンを示す図である。 注目画素（Ｇ画素）とその左下側の周辺画素とを組合せた左下側斜めラインパターンを示す図である。 注目画素（Ｇ画素）とその左上側の周辺画素とを組合せた左上側斜めラインパターンを示す図である。 注目画素（Ｒ画素）とその上側の周辺画素とを組合せた上側縦ラインパターンを示す図である。 注目画素（Ｒ画素）とその下側の周辺画素とを組合せた下側縦ラインパターンを示す図である。 注目画素（Ｒ画素）とその左側の周辺画素とを組合せた左側ブロックパターンを示す図である。 注目画素（Ｒ画素）とその右側の周辺画素とを組合せた右側ブロックパターンを示す図である。 注目画素（Ｒ画素）とその右上側の周辺画素とを組合せた右上側斜めラインパターンを示す図である。 注目画素（Ｒ画素）とその右下側の周辺画素とを組合せた右下側斜めラインパターンを示す図である。 注目画素（Ｒ画素）とその左下側の周辺画素とを組合せた左下側斜めラインパターンを示す図である。 注目画素（Ｒ画素）とその左上側の周辺画素とを組合せた左上側斜めラインパターンを示す図である。 注目画素（Ｂ画素）とその上側の周辺画素とを組合せた上側縦ラインパターンを示す図である。 注目画素（Ｂ画素）とその下側の周辺画素とを組合せた下側縦ラインパターンを示す図である。 注目画素（Ｂ画素）とその左側の周辺画素とを組合せた左側ブロックパターンを示す図である。 注目画素（Ｂ画素）とその右側の周辺画素とを組合せた右側ブロックパターンを示す図である。 注目画素（Ｂ画素）とその右上側の周辺画素を組合せた右上側斜めラインパターンを示す図である。 注目画素（Ｂ画素）とその右下側の周辺画素を組合せた右下側斜めラインパターンを示す図である。 注目画素（Ｂ画素）とその左下側の周辺画素を組合せた左下側斜めラインパターンを示す図である。 注目画素（Ｂ画素）とその左上側の周辺画素を組合せた左上側斜めラインパターンを示す図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＧ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＲ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと前方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 （Ａ），（Ｂ）は、注目フレーム画像におけるＢ画素が注目画素のときの面内加算パターンと後方参照加算パターンとの組み合わせを例示する図である。 本発明に係る実施の形態２の撮像装置の概略構成を示すブロック図である。 （Ａ）は、照度と絞り値（開口量）との関係を示すグラフであり、（Ｂ）は、照度と増幅利得との関係を示すグラフであり、（Ｃ）は、照度と増感倍率Ｌとの関係を示すグラフであり、（Ｄ）は、照度と露光時間との関係を示すグラフであり、（Ｅ）は、照度と平均レベルＡＳＡとの関係を示すグラフである。 本発明に係る実施の形態３の撮像装置３の概略構成を示すブロック図である。 本発明に係る実施の形態１の変形例の撮像装置４の概略構成を示すブロック図である。 画像処理ユニットの構成を概略的に示す図である。
以下、本発明に係る実施の形態について図面を参照しつつ説明する。
実施の形態１．
図１は、本発明に係る実施の形態１の撮像装置１の概略構成を示すブロック図である。図１に示されるように、撮像装置１は、撮像光学系（レンズ機構）１１、ＣＣＤ画像センサ１２、フロントエンド部１３、画素加算回路（ＡＤＤ）１４、映像信号処理回路（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１５、駆動回路（ＤＲＶ）１６、タイミング発生回路（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１７、同期信号発生回路（ＳＳＧ：Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ Ｓｉｇｎａｌ Ｇｅｎｅｒａｔｏｒ）１８及びＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９を備える。撮像光学系１１は、前側レンズ１１０、開口絞り１１１及び後側レンズ１１２を有する。
また、ＣＣＤ画像センサ１２は、単板式の固体撮像素子であり、単一の色フィルタアレイ１２１と単一のＣＣＤ素子１２２とを有する。色フィルタアレイ１２１は、互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなるものであればよい。本実施の形態では、色フィルタアレイ１２１の色フィルタ配列として原色系のベイヤ配列を使用するが、これに限定されるものではなく、補色系のベイヤ配列を使用してもよい。ＣＣＤ素子１２２の２次元配列の複数の受光素子（フォトダイオード）上に複数の色フィルタがそれぞれ配置されている。これら受光素子は、入射光を検出して信号電荷を発生させる光電変換素子である。
図１において、撮像光学系（レンズ機構）１１は、被写体の光学像をＣＣＤ画像センサ１２の撮像面上に合焦させる。ＣＣＤ画像センサ１２で光電変換して得られた撮像信号は、フロントエンド部１３に転送される。フロントエンド部１３は、相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理回路１３Ｃ、プログラマブル利得増幅回路（ＰＧＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｉｎ Ａｍｐｌｉｆｉｅｒ）１３Ｐ及びＡ／Ｄ変換器（ＡＤＣ）１３Ａからなる。ＣＤＳ処理回路１３Ｃは、ＣＣＤ画像センサ１２から出力される撮像信号からノイズなどの不要な成分を除去する。プログラマブル利得増幅回路１３Ｐは、ＣＤＳ処理回路１３Ｃの出力信号を、制御回路であるＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９から出力された制御信号によって制御された利得で増幅して出力する。Ａ／Ｄ変換器１３Ａは、プログラマブル利得増幅回路１３Ｐの出力信号をデジタル信号に変換する。
画素加算回路１４は、制御端子ＩＮｃと同期信号入力端子ＩＮｓを有する。ＭＰＵ１９からは制御信号ＣＯＮＴが制御端子ＩＮｃを介して供給され、同期信号発生回路１８からは水平同期信号ＨＤと垂直同期信号ＶＤとが同期信号入力端子ＩＮｓを介して供給されている。画素加算回路１４は、Ａ／Ｄ変換器１３Ａのデジタル出力を加算する機能を有する。
映像信号処理回路１５は、画素加算回路１４の出力信号に、色同時化処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理及び色補正処理などを施して得られる映像信号を映像信号出力端子ＯＵＴから出力する。
同期信号発生回路１８は、垂直同期信号ＶＤ及び水平同期信号ＨＤを生成して画素加算回路１４、映像信号処理回路１５及びタイミング発生回路１７に供給する。
タイミング発生回路１７はＣＣＤ画像センサ１２の駆動タイミング信号ＤＲＴを発生して駆動回路１６に供給する。駆動回路１６は、タイミング発生回路１７から出力された駆動タイミング信号ＤＲＴに応じてＣＣＤ画像センサ１２の駆動信号ＤＲＳを生成する。ＣＣＤ画像センサ１２は、駆動回路１６から出力された駆動信号ＤＲＳに基づいて、光電変換及び電荷転送を行う。
ＭＰＵ１９は、撮像光学系１１の開口絞り（光量を調整するための絞り）１１１の制御、タイミング発生回路１７が発生するＣＣＤ画像センサ１２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、露光時間の制御）、プログラマブル利得増幅回路１３Ｐの増幅利得の制御、並びに画素加算回路１４の画素加算処理の制御を行う。
図２は、実施の形態１の画素加算回路１４の構成の一例を概略的に示すブロック図である。図２に示されるように、画素加算回路１４は、１フレーム遅延回路３１，３２、遅延回路３４，３５，３６，３７，３８、画素加算部２０、面内パターン検出回路５０及び参照パターン検出回路７０を有する。以下、図２を参照しつつ、画素加算回路１４の動作を説明する。
Ａ／Ｄ変換器１３Ａから出力されたＲ画素値（赤色の色フィルタを透過した光から生成された画素の値）、Ｇ画素値（緑色の色フィルタを透過した光から生成された画素の値）及びＢ画素値（青色の色フィルタを透過した光から生成された画素）を含む撮像信号Ｆ３が入力端子ＩＮａに印加され、ノイズ低減回路４０の空間フィルタ４３と１フレーム遅延回路３１と遅延回路３６とへ供給される。１フレーム遅延回路３１は、撮像信号Ｆ３を１フレーム期間遅延させたフレーム遅延信号Ｆ２を、ノイズ低減回路４０の空間フィルタ４２と１フレーム遅延回路３２と遅延回路３５へ供給する。１フレーム遅延回路３２は、フレーム遅延信号Ｆ２を１フレーム期間遅延させたフレーム遅延信号Ｆ１をノイズ低減回路４０の空間フィルタ４１と遅延回路３４へ供給する。空間フィルタ４３は、フレーム遅延信号Ｆ３のノイズを低減したフィルタ信号ＮＲ３を出力する。空間フィルタ４２は、フレーム遅延信号Ｆ２のノイズを低減したフィルタ信号ＮＲ２を出力する。空間フィルタ４１は、信号Ｆ１のノイズを低減した信号ＮＲ１を出力する。図３は、空間フィルタ４１，４２，４３と同じ回路構成を有する空間フィルタ４ｘの構成を概略的に示す図である。図４（Ａ），（Ｂ）に示されるように、空間フィルタ４ｘの遅延回路４２０は、フレーム遅延信号Ｆ１，Ｆ２，Ｆ３のいずれかであるフレーム遅延信号Ｆｘのフレーム画像中の任意の５×５画素領域をサンプリングする。遅延回路４２０は、サンプリングされた５×５画素領域内の複数画素の画素値を乗算回路４６１〜４８５に並列に出力する。乗算回路４６１〜４８５は、入力される画素値にフィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７を乗算する。総和演算回路４９０は、乗算回路４６１〜４８５の出力値（重み付き画素値）を加算して出力端子４０２から出力する。
図２を参照すると、面内パターン検出回路５０は、前記空間フィルタ４２でノイズが低減されたフィルタ信号ＮＲ２の相関の高い画素領域を検出（判別）して、検出した画素領域の画素位置を画素加算部２０へ通知するとともに、参照パターン検出回路７０内の前方参照パターン検出回路（空間判別回路）７１及び後方参照パターン検出回路（空間判別回路）７２へ通知する。同時に、前記画素領域における最大画素値と最小画素値を前方参照パターン検出回路７１及び後方参照パターン検出回路７２へ供給する。図５は、この面内パターン検出回路５０の構成を示すブロック図である。図６は、図５の面内パターン検出回路５０に含まれる遅延回路５２０の構成を概略的に示す図であり、図７（Ａ），（Ｂ）は、遅延回路５２０でサンプリングされるフレーム画像中の任意の５×５画素領域を示す図である。また、図８は、図５の面内パターン検出回路５０に含まれる演算回路６００の構成を概略的に示すブロック図である。面内パターン検出回路５０の詳細については後述する。
図２を参照すると、遅延回路３８は、空間フィルタ４３の出力である信号ＮＲ３を所定時間遅延させて信号ＮＲ３Ｄを出力する。遅延回路３８の所定の遅延時間は、面内パターン検出回路５０での処理遅延時間に基づいて決められる。遅延回路３７は、空間フィルタ４１の出力である信号ＮＲ１を所定時間遅延させてフレーム遅延信号ＮＲ１Ｄを出力する。遅延回路３７の所定の遅延時間は、面内パターン検出回路５０での処理遅延時間に基づいて決められる。
遅延回路３６は、撮像信号Ｆ３を所定時間遅延させて信号Ｆ３Ｄを出力する。遅延回路３６の所定の遅延時間は、空間フィルタ４２と面内パターン検出回路５０での処理遅延時間に基づいて決められる。遅延回路３５は、１フレーム遅延回路３１の出力である信号Ｆ２を所定時間遅延させて信号Ｆ２Ｄを出力する。遅延回路３５の所定の遅延時間は、空間フィルタ４２と面内パターン検出回路５０での処理遅延時間に基づいて決められる。遅延回路３４は、１フレーム遅延回路３２の出力である信号Ｆ１を所定時間遅延させて信号Ｆ１Ｄを出力する。遅延回路３４の所定の遅延時間は、空間フィルタ４２と面内パターン検出回路５０での処理遅延時間に基づいて決められる。
前方参照パターン検出回路７１は、面内パターン検出回路５０で検出された画素領域と相関の高い信号ＮＲ１Ｄの画素領域を検出（判別）して、検出した画素の画素位置を画素加算部２０へ通知する。後方参照パターン検出回路７２は、面内パターン検出回路５０で判別した画素領域と相関の高い信号ＮＲ３Ｄの画素領域を検出（判別）して、検出した画素の画素位置を画素加算部２０へ通知する。図９は、前方参照パターン検出回路７１及び後方参照パターン検出回路７２と同じ構成を有する回路７ｘの構成を概略的に示すブロック図である。図１０は、図９の回路７ｘに含まれる遅延回路７７０の構成を概略的に示す図であり、図１１（Ａ），（Ｂ）は、遅延回路７７０にサンプリングされるフレーム画像中の任意の１１×１１画素領域を示す図である。また、図１２は、図９の回路７ｘに含まれる演算回路７２０の構成を概略的に示すブロック図である。前方参照パターン検出回路７１及び後方参照パターン検出回路７２の詳細については後述する。
図２を参照すると、画素加算部２０は、遅延回路３４，３５，３６の出力信号に含まれる複数の画素パターンにおける画素を加算する機能を有する。図２に示されるように、画素加算部２０は、選択回路２１，２２，２３と加算演算回路２４とを有する。選択回路２１，２２，２３は、加算すべき画素を、面内パターン検出回路５０から通知された信号Ｆ２Ｄの指定画素位置と、前方参照パターン検出回路７１から通知された信号Ｆ１Ｄの指定画素位置と、後方参照パターン検出回路７２から通知された信号Ｆ３Ｄ内の指定画素位置とに基づいて選択する。加算演算回路２４は、選択回路２１，２２，２３によって選択された画素を加算して画素加算信号を生成する。画素加算部２０は、画素加算信号を出力端子ＯＵＴａから映像信号処理回路１５へ供給する。また、面内パターン検出回路５０から注目画素の加算対象画素の位置を指定するタイミングで、画素加算部２０には、注目画素を中心とし加算対象画素を中心とした周辺画素が入力されている必要がある。遅延回路３４，３５，３６では、加算対象画素の画素位置（面内パターン検出回路５０の出力）と画素値（画素加算部２０の入力）とが整合するように遅延時間が決められる。
選択回路（参照画素選択部）２３は、後方参照パターン検出回路７２から通知された指定画素を信号Ｆ３Ｄから選択して加算演算回路２４へ供給する。選択回路（面内画素選択部）２２は、面内パターン検出回路５０から通知された指定画素を信号Ｆ２Ｄから選択して加算演算回路２４へ供給する。選択回路（参照画素選択部）２１は、前方参照パターン検出回路７１から通知された指定画素を信号Ｆ１Ｄから選択して加算演算回路２４へ供給する。加算演算回路２４は、選択回路２１，２２，２３から入力された画素を加算して、画素加算信号を出力端子ＯＵＴａから映像信号処理回路１５へ供給する。図１３は、選択回路２１，２２，２３と同一構成を有する選択回路２ｘの構成を概略的に示す図である。図１３の選択回路２ｘの動作については後述する。
ところで、図３に示されるように、空間フィルタ４ｘは、５×５画素領域の２５個の画素値を並列に出力する遅延回路４２０を有する。図４（Ａ）に示されるように、遅延回路４２０は、フレーム遅延信号Ｆ１，Ｆ２，Ｆ３のいずれかであるフレーム遅延信号Ｆｘのフレーム画像中の任意の５×５画素領域をサンプリングし、この５×５画素領域中の画素値Ｐ５５を注目画素値とする２５個の画素値Ｐ３３〜Ｐ３７，Ｐ４３〜Ｐ４７，Ｐ５３〜Ｐ５７，Ｐ６３〜Ｐ６７，Ｐ７３〜Ｐ７７（図４（Ｂ））を並列に出力する機能を有する。図４（Ａ）において、Ｘは、水平画素方向を示し、Ｙは、垂直画素方向を示している。図４（Ｂ）の画素値Ｐ７７が入力端子４０１に印加されたタイミングについて説明する。
Ａ／Ｄ変換器１３Ａから出力された画素値Ｐ７７は、画素加算回路１４の入力端子４０１に印加され、１ライン遅延回路４２２、１画素遅延回路４３２、乗算回路４６１へ供給される。１画素遅延回路４３２は、１画素遅延した画素値Ｐ６７を出力する。画素値Ｐ６７は、１画素遅延回路４３３、乗算回路４６２へ供給される。１画素遅延回路４３３は、１画素遅延した画素値Ｐ５７を出力する。画素値Ｐ５７は、１画素遅延回路４３４、乗算回路４６３へ供給される。１画素遅延回路４３４は、１画素遅延した画素値Ｐ４７を出力する。画素値Ｐ４７は、１画素遅延回路４３５、乗算回路４６４へ供給される。１画素遅延回路４３５は、１画素遅延した画素値Ｐ３７を出力する。画素値Ｐ３７は、乗算回路４６５へ供給される。
１ライン遅延回路４２２から出力された画素値Ｐ７６は、１ライン遅延回路４２３、１画素遅延回路４３７、乗算回路４６６へ供給される。１画素遅延回路４３７は、１画素遅延した画素値Ｐ６６を出力する。画素値Ｐ６６は、１画素遅延回路４３８、乗算回路４６７へ供給される。１画素遅延回路４３８は、１画素遅延した画素値Ｐ５６を出力する。画素値Ｐ５６は、１画素遅延回路４３９、乗算回路４６８へ供給される。１画素遅延回路４３９は、１画素遅延した画素値Ｐ４６を出力する。画素値Ｐ４６は、１画素遅延回路４４０、乗算回路４６９へ供給される。１画素遅延回路４４０は、１画素遅延した画素値Ｐ３６を出力する。画素値Ｐ３６は、乗算回路４７０へ供給される。
１ライン遅延回路４２３から出力された画素値Ｐ７５は、１ライン遅延回路４２４、１画素遅延回路４４２、乗算回路４７１へ供給される。１画素遅延回路４４２は、１画素遅延した画素値Ｐ６５を出力する。画素値Ｐ６５は、１画素遅延回路４４３、乗算回路４７２へ供給される。１画素遅延回路４４３は、１画素遅延した画素値Ｐ５５を出力する。画素値Ｐ５５は、１画素遅延回路４４４、乗算回路４７３へ供給される。１画素遅延回路４４４は、１画素遅延した画素値Ｐ４５を出力する。画素値Ｐ４５は、１画素遅延回路４４５、乗算回路４７４へ供給される。１画素遅延回路４４５は、１画素遅延した画素値Ｐ３５を出力する。画素値Ｐ３５は、乗算回路４７５へ供給される。
１ライン遅延回路４２４から出力された画素値Ｐ７４は、１ライン遅延回路４２５、１画素遅延回路４４７、乗算回路４７６へ供給される。１画素遅延回路４４７は、１画素遅延した画素値Ｐ６４を出力する。画素値Ｐ６４は、１画素遅延回路４４８、乗算回路４７７へ供給される。１画素遅延回路４４８は、１画素遅延した画素値Ｐ５４を出力する。画素値Ｐ５４は、１画素遅延回路４４９、乗算回路４７８へ供給される。１画素遅延回路４４９は、１画素遅延した画素値Ｐ４４を出力する。画素値Ｐ４４は、１画素遅延回路４５０、乗算回路４７９へ供給される。１画素遅延回路４５０は、１画素遅延した画素値Ｐ３４を出力する。画素値Ｐ３４は、乗算回路４８０へ供給される。
１ライン遅延回路４２５から出力された画素値Ｐ７３は、１画素遅延回路４５２、乗算回路４８１へ供給される。１画素遅延回路４５２は、１画素遅延した画素値Ｐ６３を出力する。画素値Ｐ６３は、１画素遅延回路４５３、乗算回路４８２へ供給される。１画素遅延回路４５３は、１画素遅延した画素値Ｐ５３を出力する。画素値Ｐ５３は、１画素遅延回路４５４、乗算回路４８３へ供給される。１画素遅延回路４５４は、１画素遅延した画素値Ｐ４３を出力する。画素値Ｐ４３は、１画素遅延回路４５５、乗算回路４８４へ供給される。１画素遅延回路４５５は、１画素遅延した画素値Ｐ３３を出力する。画素値Ｐ３３は、乗算回路４８５へ供給される。
ＭＰＵ１９は、制御端子４１７を介して係数可変設定回路４９５へ低域通過型フィルタの特性を設定する。係数可変設定回路４９５は、ＭＰＵ１９からの設定指示に基づいてフィルタ係数群（重み係数群）ＫＤを設定する。同期信号発生回路１８は、同期信号入力端子４１８を介して係数可変設定回路４９５へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。係数可変設定回路４９５は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ５５の画素位置を判断して、色フィルタ配列に対応する注目画素の画素位置を特定する。係数可変設定回路４９５は、注目画素がＲ画素かＧ画素かＢ画素かも特定できる。そして、係数可変設定回路４９５は、特定された画素位置とフィルタ係数群ＫＤとに基づいて、乗算回路４６１〜４８５に対して独立に２５個のフィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７を設定する。乗算回路４６１〜４８５は、入力される画素値にフィルタ係数を乗算する。総和演算回路４９０は、乗算回路４６１〜４８５の出力値（重み付き画素値）を加算して出力端子４０２から出力する。
図１４は、フレーム画像Ｆｘの画素空間配置を概略的に示す図である。図１４中、Ｐｋｓ（ｋ，ｓは、水平方向及び垂直方向における画素位置を表す整数または記号）は、フレーム画像Ｆｘ中の１画素またはその画素値を表している。図１５は、図１４の画素空間配置で注目画素がＧ画素のときの水平１１画素、垂直１１画素の空間的な配置を示す図である。図１５中、Ｇｎｍ（ｎ，ｍは、水平方向及び垂直方向における画素位置を表す整数または記号）は、Ｇ画素またはその画素値を表し、Ｒｐｑ（ｐ，ｑは、水平方向及び垂直方向における画素位置を表す整数または記号）は、Ｒ画素またはその画素値を表し、Ｂｒｓ（ｒ，ｓは、水平方向及び垂直方向における画素位置を表す整数または記号）は、Ｂ画素またはその画素値を表している。他の図面においても同様である。
図１５に示されるように、Ｒ画素、Ｇ画素、Ｂ画素は市松状に配列されている。Ｒ１０、Ｒ３０、Ｒ５０、Ｒ７０、Ｒ９０、Ｒ１２、Ｒ３２、Ｒ５２、Ｒ７２、Ｒ９２、Ｒ１４、Ｒ３４、Ｒ５４、Ｒ７４、Ｒ９４、Ｒ１６、Ｒ３６、Ｒ５６、Ｒ７６、Ｒ９６、Ｒ１８、Ｒ３８、Ｒ５８、Ｒ７８、Ｒ９８、Ｒ１Ａ、Ｒ３Ａ、Ｒ５Ａ、Ｒ７Ａ、Ｒ９ＡはＲ画素を示す。Ｇ００、Ｇ２０、Ｇ４０、Ｇ６０、Ｇ８０、ＧＡ０、Ｇ１１、Ｇ３１、Ｇ５１、Ｇ７１、Ｇ９１、Ｇ０２、Ｇ２２、Ｇ４２、Ｇ６２，Ｇ８２、ＧＡ２、Ｇ１３、Ｇ３３、Ｇ５３、Ｇ７３，Ｇ９３、Ｇ０４、Ｇ２４、Ｇ４４、Ｇ６４、Ｇ８４、ＧＡ４、Ｇ１５、Ｇ３５、Ｇ５５、Ｇ７５、Ｇ９５、Ｇ０６、Ｇ２６、Ｇ４６、Ｇ６６、Ｇ８６、ＧＡ６、Ｇ１７、Ｇ３７、Ｇ５７、Ｇ７７、Ｇ９７、Ｇ０８、Ｇ２８、Ｇ４８、Ｇ６８、Ｇ８８、ＧＡ８、Ｇ１９、Ｇ３９、Ｇ５９、Ｇ７９、Ｇ９９、Ｇ０Ａ、Ｇ２Ａ、Ｇ４Ａ、Ｇ６Ａ、Ｇ８Ａ、ＧＡＡはＧ画素を示す。Ｂ０１、Ｂ２１、Ｂ４１、Ｂ６１，Ｂ８１、ＢＡ１、Ｂ０３、Ｂ２３、Ｂ４３、Ｂ６３、Ｂ８３，ＢＡ３、Ｂ０５、Ｂ２５、Ｂ４５、Ｂ６５、Ｂ８５、ＢＡ５、Ｂ０７、Ｂ２７、Ｂ４７、Ｂ６７，Ｂ８７、ＢＡ７、Ｂ０９、Ｂ２９、Ｂ４９、Ｂ６９，Ｂ８９、ＢＡ９はＢ画素を示す。例えば、Ｒ３４、Ｇ３５、Ｂ４５、Ｇ４４の水平２画素、垂直２画素の４画素の基本配列で画素配列は構成されている。図１５は、Ｇ５５の隣接画素がＢ画素の場合を例に説明したが、Ｇ４４のように隣接画素がＲ画素の配列パターンも存在する。その場合は、Ｒ画素とＢ画素が入れ替わった色配置となるが、注目画素がＧ画素のときの加算対象画素はＧ画素のみなので、どちらの色配置に基づいて説明しても構わない。
図１６は、画素加算回路１４の空間フィルタ４１，４２，４３で注目画素がＧ画素のときの、演算対象画素の配列（点線で囲まれた領域の画素）を示す図である。
このとき、空間フィルタ４１，４２，４３の出力は次式で求める。
Ｇ＝Ｋ４４×Ｇ４４＋Ｋ６４×Ｇ６４
＋Ｋ５５×Ｇ５５
＋Ｋ４６×Ｇ４６＋Ｋ６６×Ｇ６６
係数可変設定回路４９５は、フィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７のうち、上式で使わない係数を０に設定する。係数可変設定回路４９５は、ＭＰＵ１９からの設定指示に基づいて、よりノイズが低減されるフィルタ係数を設定する。例えば以下のフィルタ係数を設定することができる。
Ｋ４４＝１／８
Ｋ６４＝１／８
Ｋ５５＝４／８
Ｋ４６＝１／８
Ｋ６６＝１／８
被写体照度が所定の閾値以下の低照度時で画素の信号振幅が小さい場合は、上記フィルタ係数を例えば各々８倍の係数とすることができる。また、微弱な信号成分が少しでも失われることを防ぐため、１以上のフィルタ係数とすることができる。
あるいは、係数可変設定回路４９５は、ＭＰＵ１９からの設定指示に基づいて、例えば以下のフィルタ係数を設定することができる。
Ｋ４４＝１／５
Ｋ６４＝１／５
Ｋ５５＝１／５
Ｋ４６＝１／５
Ｋ６６＝１／５
被写体照度が所定の閾値以下の低照度時で画素の信号振幅が小さい場合は、上記フィルタ係数を例えば各々５倍の係数とすることができる。また、微弱な信号成分が少しでも失われることを防ぐため、１以上のフィルタ係数とすることができる。
上記実施の形態では、空間フィルタ４１，４２，４３は、周辺画素の５画素を対象としたノイズ低減フィルタを構成するが、さらにノイズが多い低照度時の撮像信号の場合は、周辺の９画素を対象としたノイズ低減フィルタを構成したほうがよい。このとき、空間フィルタ４ｘの出力は次式で求める。
Ｇ＝Ｋ５３×Ｇ５３
＋Ｋ４４×Ｇ４４＋Ｋ６４×Ｇ６４
＋Ｋ３５×Ｇ３５＋Ｋ５５×Ｇ５５＋Ｋ７５×Ｇ７５
＋Ｋ４６×Ｇ４６＋Ｋ６６×Ｇ６６
＋Ｋ５７×Ｇ５７
図１７は、図１４の画素空間配置で注目画素がＲ画素のときの水平１１画素、垂直１１画素の空間的な配置を示す図である。Ｒ画素、Ｇ画素、Ｂ画素は市松状に配列されている。Ｒ１１、Ｒ３１、Ｒ５１、Ｒ７１、Ｒ９１、Ｒ１３、Ｒ３３、Ｒ５３、Ｒ７３，Ｒ９３、Ｒ１５、Ｒ３５、Ｒ５５、Ｒ７５、Ｒ９５、Ｒ１７、Ｒ３７、Ｒ５７、Ｒ７７、Ｒ９７、Ｒ１９、Ｒ３９、Ｒ５９、Ｒ７９、Ｒ９９はＲ画素を示す。Ｇ１０、Ｇ３０、Ｇ５０、Ｇ７０、Ｇ９０、Ｇ１２、Ｇ３２、Ｇ５２、Ｇ７２、Ｇ９２、Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４、Ｇ９４、Ｇ１６、Ｇ３６、Ｇ５６、Ｇ７６、Ｇ９６、Ｇ１８、Ｇ３８、Ｇ５８、Ｇ７８、Ｇ９８、Ｇ１Ａ、Ｇ３Ａ、Ｇ５Ａ、Ｇ７Ａ、Ｇ９Ａ、Ｇ０１、Ｇ２１、Ｇ４１、Ｇ６１，Ｇ８１、ＧＡ１、Ｇ０３、Ｇ２３、Ｇ４３、Ｇ６３、Ｇ８３，ＧＡ３、Ｇ０５、Ｇ２５、Ｇ４５、Ｇ６５、Ｇ８５、ＧＡ５、Ｇ０７、Ｇ２７、Ｇ４７、Ｇ６７，Ｇ８７、ＧＡ７、Ｇ０９、Ｇ２９、Ｇ４９、Ｇ６９，Ｇ８９、ＧＡ９はＧ画素を示す。Ｂ００、Ｂ２０、Ｂ４０、Ｂ６０、Ｂ８０、ＢＡ０、Ｂ０２、Ｂ２２、Ｂ４２、Ｂ６２，Ｂ８２、ＢＡ２、Ｂ０４、Ｂ２４、Ｂ４４、Ｂ６４、Ｂ８４、ＢＡ４、Ｂ０６、Ｂ２６、Ｂ４６、Ｂ６６、Ｂ８６、ＢＡ６、Ｂ０８、Ｂ２８、Ｂ４８、Ｂ６８、Ｂ８８、ＢＡ８、Ｂ０Ａ、Ｂ２Ａ、Ｂ４Ａ、Ｂ６Ａ、Ｂ８Ａ、ＢＡＡはＢ画素を示す。例えば、Ｒ３３、Ｇ３４、Ｂ４４、Ｇ４３の水平２画素、垂直２画素の４画素の基本配列で色フィルタ配列は構成されている。
図１８は、画素加算回路１４の空間フィルタ４１，４２，４３で注目画素がＲ画素のときの、演算対象画素の配列を示す図である。
このとき、空間フィルタ４１，４２，４３の出力は次式で求められる。
Ｒ＝Ｋ５３×Ｒ５３
＋Ｋ３５×Ｒ３５＋Ｋ５５×Ｒ５５＋Ｋ７５×Ｒ７５
＋Ｋ５７×Ｒ５７
係数可変設定回路４９５は、フィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７のうち、上式で使わない係数を０に設定する。係数可変設定回路４９５は、ＭＰＵ１９からの設定指示に基づいて、よりノイズが低減されるフィルタ係数を設定する。例えば以下のフィルタ係数を設定することができる。
Ｋ５３＝１／８
Ｋ３５＝１／８
Ｋ５５＝４／８
Ｋ７５＝１／８
Ｋ５７＝１／８
被写体照度が所定の閾値以下の低照度時で画素の信号振幅が小さい場合は、上記フィルタ係数を例えば各々８倍の係数とすることができる。微弱な信号成分が少しでも失われることを防ぐため、１以上のフィルタ係数とすることができる。
あるいは、係数可変設定回路４９５は、ＭＰＵ１９からの設定指示に基づいて、例えば以下のフィルタ係数を設定することができる。
Ｋ５３＝１／５
Ｋ３５＝１／５
Ｋ５５＝１／５
Ｋ７５＝１／５
Ｋ５７＝１／５
被写体照度が所定の閾値以下の低照度時で画素の信号振幅が小さい場合は、上記フィルタ係数を例えば各々５倍の係数とすることができる。微弱な信号成分が少しでも失われることを防ぐため、１以上のフィルタ係数とすることができる。
上記実施の形態では、空間フィルタ４１，４２，４３は、周辺の５画素を対象としたノイズ低減フィルタとしたが、さらにノイズが多い低照度時の撮像信号の場合は、周辺の９画素を対象としたノイズ低減フィルタとするように構成したほうが良い。このとき、空間フィルタ４１，４２，４３の出力は次式で求める。
Ｒ＝Ｋ３３×Ｒ３３＋Ｋ５３×Ｒ５３＋Ｋ７３×Ｒ７３
＋Ｋ３５×Ｒ３５＋Ｋ５５×Ｒ５５＋Ｋ７５×Ｒ７５
＋Ｋ３７×Ｒ３７＋Ｋ５７×Ｒ５７＋Ｋ７７×Ｒ７７
図１４は、図１４の画素空間配置で注目画素がＢ画素のときの水平１１画素、垂直１１画素の周辺画素の色フィルタ配置を示す図である。Ｒ画素、Ｇ画素、Ｂ画素は市松状に配列されている。Ｒ００、Ｒ２０、Ｒ４０、Ｒ６０、Ｒ８０、ＲＡ０、Ｒ０２、Ｒ２２、Ｒ４２、Ｒ６２，Ｒ８２、ＲＡ２、Ｒ０４、Ｒ２４、Ｒ４４、Ｒ６４、Ｒ８４、ＲＡ４、Ｒ０６、Ｒ２６、Ｒ４６、Ｒ６６、Ｒ８６、ＲＡ６、Ｒ０８、Ｒ２８、Ｒ４８、Ｒ６８、Ｒ８８、ＲＡ８、Ｒ０Ａ、Ｒ２Ａ、Ｒ４Ａ、Ｒ６Ａ、Ｒ８Ａ、ＲＡＡはＲ画素を示す。Ｇ１０、Ｇ３０、Ｇ５０、Ｇ７０、Ｇ９０、Ｇ１２、Ｇ３２、Ｇ５２、Ｇ７２、Ｇ９２、Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４、Ｇ９４、Ｇ１６、Ｇ３６、Ｇ５６、Ｇ７６、Ｇ９６、Ｇ１８、Ｇ３８、Ｇ５８、Ｇ７８、Ｇ９８、Ｇ１Ａ、Ｇ３Ａ、Ｇ５Ａ、Ｇ７Ａ、Ｇ９Ａ、Ｇ０１、Ｇ２１、Ｇ４１、Ｇ６１，Ｇ８１、ＧＡ１、Ｇ０３、Ｇ２３、Ｇ４３、Ｇ６３、Ｇ８３，ＧＡ３、Ｇ０５、Ｇ２５、Ｇ４５、Ｇ６５、Ｇ８５、ＧＡ５、Ｇ０７、Ｇ２７、Ｇ４７、Ｇ６７，Ｇ８７、ＧＡ７、Ｇ０９、Ｇ２９、Ｇ４９、Ｇ６９，Ｇ８９、ＧＡ９はＧ画素を示す。Ｂ１１、Ｂ３１、Ｂ５１、Ｂ７１、Ｂ９１、Ｂ１３、Ｂ３３、Ｂ５３、Ｂ７３，Ｂ９３、Ｂ１５、Ｂ３５、Ｂ５５、Ｂ７５、Ｂ９５、Ｂ１７、Ｂ３７、Ｂ５７、Ｂ７７、Ｂ９７、Ｂ１９、Ｂ３９、Ｂ５９、Ｂ７９、Ｂ９９はＢ画素を示す。例えば、Ｒ４４、Ｇ４５、Ｂ５５、Ｇ５４の水平２画素、垂直２画素の４画素の基本配列で色フィルタ配列は構成されている。
図１９は、図１４の画素空間配置で注目画素がＢ画素のときの水平１１画素、垂直１１画素の空間的な配置を示す図である。Ｒ画素、Ｇ画素、Ｂ画素は市松状に配列されている。図２０は、画素加算回路１４の空間フィルタ４１，４２，４３で注目画素がＢ画素のときの、演算対象画素の配列を示す図である。
このとき、空間フィルタ４１，４２，４３の出力は次式で求める。
Ｂ＝Ｋ５３×Ｂ５３
＋Ｋ３５×Ｂ３５＋Ｋ５５×Ｂ５５＋Ｋ７５×Ｂ７５
＋Ｋ５７×Ｂ５７
係数可変設定回路４９５は、フィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７のうち、上式で使わない係数を０に設定する。係数可変設定回路４９５は、ＭＰＵ１９からの設定指示に基づいて、よりノイズが低減されるフィルタ係数を設定する。例えば以下のフィルタ係数を設定することができる。
Ｋ５３＝１／８
Ｋ３５＝１／８
Ｋ５５＝４／８
Ｋ７５＝１／８
Ｋ５７＝１／８
被写体照度が所定の閾値以下の低照度時で画素の信号振幅が小さい場合は、上記フィルタ係数を例えば各々８倍の係数とすることができる。微弱な信号成分が少しでも失われることを防ぐため、１以上のフィルタ係数とすることができる。
あるいは、係数可変設定回路４９５は、ＭＰＵ１９からの設定指示に基づいて、例えば以下のフィルタ係数を設定することができる。
Ｋ５３＝１／５
Ｋ３５＝１／５
Ｋ５５＝１／５
Ｋ７５＝１／５
Ｋ５７＝１／５
被写体照度が所定の閾値以下の低照度時で画素の信号振幅が小さい場合は、上記フィルタ係数を例えば各々５倍の係数とすることができる。微弱な信号成分が少しでも失われることを防ぐため、１以上のフィルタ係数とすることができる。
上記実施の形態では、空間フィルタ４１，４２，４３は、周辺の５画素を対象としたノイズ低減フィルタとしたが、さらにノイズが多い低照度時の撮像信号の場合は、周辺の９画素を対象としたノイズ低減フィルタとするように構成したほうが良い。このとき、空間フィルタ４１，４２，４３の出力は次式で求める。
Ｒ＝Ｋ３３×Ｂ３３＋Ｋ５３×Ｂ５３＋Ｋ７３×Ｂ７３
＋Ｋ３５×Ｂ３５＋Ｋ５５×Ｂ５５＋Ｋ７５×Ｂ７５
＋Ｋ３７×Ｂ３７＋Ｋ５７×Ｂ５７＋Ｋ７７×Ｂ７７
上記実施の形態では、空間フィルタ４１，４２，４３の構成は、例えばノイズが高域周波数に多く分布するとの仮定から、低域通過型フィルタの構成とされたが、フィルタ係数を調整して撮像信号に含まれるノイズの特性に応じたノイズ低減フィルタとされてもよい。また、空間フィルタ４１，４２，４３の構成を、例えばイプシロンフィルタなどの輪郭保存型の低域通過型フィルタとして、より原画の特徴を残してノイズを除去することで、注目画素と相関の高い画素の検出精度を高めてもよい。
また、上記実施の形態では、空間フィルタ４１，４２，４３は、水平３画素、垂直３画素の９画素を使った低域通過型フィルタの構成とされたが、ノイズ成分の多い場合は、水平５画素、垂直５画素の２５画素を使った低域通過型フィルタの構成とされてもよい。
また、上記実施の形態では、空間フィルタ４１，４２，４３は、面内の低域通過型フィルタの構成とされたが、これに限定されるものではない。空間フィルタ４１，４２，４３の構成を、時間軸方向の低域通過型フィルタとしてもよいし、画像の動きに応じて適応的にフィルタ係数を変えることができる時間軸方向の非巡回型フィルタの構成としてもよい。
本実施の形態では、空間フィルタ４１，４２，４３を設け、ノイズ成分による誤判定を防ぎ、より相関の高い画素を特定できるように構成したので、画素加算画像の解像度が低下することなく高画質化できる。
次に、図５〜図８を参照して、面内パターン検出回路５０の動作を詳細に説明する。図５に示されるように、面内パターン検出回路５０は、遅延回路５２０、画素選択回路（面内画素抽出部）５９９、演算回路６００及び画素指定回路６３０を有している。図５では、全ての構成を表記することにより煩雑となり分かりにくくなってしまうことがないように、同じ構成の繰返し部分が省略されている。注目画素Ｐ５５を中心とした水平１１画素、垂直１１画素からなる画素の配置を図７（Ａ），（Ｂ）に示す。以下、図７（Ｂ）の画素値Ｐ９９が入力端子５００に印加されたタイミングについて説明する。Ａ／Ｄ変換器１３Ａから出力された画素値Ｐ９９は、画素加算回路１４の入力端子ＩＮａから、１フレーム遅延回路３１、空間フィルタ４２を経て面内パターン検出回路５０の入力端子５００に印加される。
図６は、遅延回路５２０の構成を示す図である。入力端子５００に印加された画素値Ｐ９９は、１ライン遅延回路５０１、１画素遅延回路５１１、画素選択回路５９９へ供給される。１画素遅延回路５１１は、１画素遅延した画素値Ｐ８９を出力する。画素値Ｐ８９は、１画素遅延回路５１２、画素選択回路５９９へ供給される。１画素遅延回路５１２は、１画素遅延した画素値Ｐ７９を出力する。画素値Ｐ７９は、１画素遅延回路５１３、画素選択回路５９９へ供給される。１画素遅延回路５１３は、１画素遅延した画素値Ｐ６９を出力する。画素値Ｐ６９は、１画素遅延回路５１４、画素選択回路５９９へ供給される。１画素遅延回路５１４は、１画素遅延した画素値Ｐ５９を出力する。画素値Ｐ５９は、１画素遅延回路５１５、画素選択回路５９９へ供給される。１画素遅延回路５１５は、１画素遅延した画素値Ｐ４９を出力する。画素値Ｐ４９は、１画素遅延回路５１６、画素選択回路５９９へ供給される。１画素遅延回路５１６は、１画素遅延した画素値Ｐ３９を出力する。画素値Ｐ３９は、１画素遅延回路５１７、画素選択回路５９９へ供給される。１画素遅延回路５１７は、１画素遅延した画素値Ｐ２９を出力する。画素値Ｐ２９は、１画素遅延回路５１８、画素選択回路５９９へ供給される。１画素遅延回路５１８は、１画素遅延した画素値Ｐ１９を出力する。画素値Ｐ１９は、画素選択回路５９９へ供給される。
１ライン遅延回路５０１は画素値Ｐ９８を出力する。画素値Ｐ９８は、１ライン遅延回路５０２、１画素遅延回路５２１、画素選択回路５９９へ供給される。１画素遅延回路５２１は、１画素遅延した画素値Ｐ８８を出力する。画素値Ｐ８８は、１画素遅延回路５２２、画素選択回路５９９へ供給される。１画素遅延回路５２２は、１画素遅延した画素値Ｐ７８を出力する。画素値Ｐ７８は、１画素遅延回路５２３、画素選択回路５９９へ供給される。１画素遅延回路５２３は、１画素遅延した画素値Ｐ６８を出力する。画素値Ｐ６８は、１画素遅延回路５２４、画素選択回路５９９へ供給される。１画素遅延回路５２４は、１画素遅延した画素値Ｐ５８を出力する。画素値Ｐ５８は、１画素遅延回路５２５、画素選択回路５９９へ供給される。１画素遅延回路５２５は、１画素遅延した画素値Ｐ４８を出力する。画素値Ｐ４８は、１画素遅延回路５２６、画素選択回路５９９へ供給される。１画素遅延回路５２６は、１画素遅延した画素値Ｐ３８を出力する。画素値Ｐ３８は、１画素遅延回路５２７、画素選択回路５９９へ供給される。１画素遅延回路５２７は、１画素遅延した画素値Ｐ２８を出力する。画素値Ｐ２８は、１画素遅延回路５２８、画素選択回路５９９へ供給される。１画素遅延回路５２８は、１画素遅延した画素値Ｐ１８を出力する。画素値Ｐ１８は、画素選択回路５９９へ供給される。
１ライン遅延回路５０２は画素値Ｐ９７を出力する。画素値Ｐ９７は、１ライン遅延回路５０３、１画素遅延回路５３１、画素選択回路５９９へ供給される。１画素遅延回路５３１は、１画素遅延した画素値Ｐ８７を出力する。画素値Ｐ８７は、１画素遅延回路５３２、画素選択回路５９９へ供給される。１画素遅延回路５３２は、１画素遅延した画素値Ｐ７７を出力する。画素値Ｐ７７は、１画素遅延回路５３３、画素選択回路５９９へ供給される。１画素遅延回路５３３は、１画素遅延した画素値Ｐ６７を出力する。画素値Ｐ６７は、１画素遅延回路５３４、画素選択回路５９９へ供給される。１画素遅延回路５３４は、１画素遅延した画素値Ｐ５７を出力する。画素値Ｐ５７は、１画素遅延回路５３５、画素選択回路５９９へ供給される。１画素遅延回路５３５は、１画素遅延した画素値Ｐ４７を出力する。画素値Ｐ４７は、１画素遅延回路５３６、画素選択回路５９９へ供給される。１画素遅延回路５３６は、１画素遅延した画素値Ｐ３７を出力する。画素値Ｐ３７は、１画素遅延回路５３７、画素選択回路５９９へ供給される。１画素遅延回路５３７は、１画素遅延した画素値Ｐ２７を出力する。画素値Ｐ２７は、１画素遅延回路５３８、画素選択回路５９９へ供給される。１画素遅延回路５３８は、１画素遅延した画素値Ｐ１７を出力する。画素値Ｐ１７は、画素選択回路５９９へ供給される。
１ライン遅延回路５０３は画素値Ｐ９６を出力する。画素値Ｐ９６は、１ライン遅延回路５０４、１画素遅延回路５４１、画素選択回路５９９へ供給される。１画素遅延回路５４１は、１画素遅延した画素値Ｐ８６を出力する。画素値Ｐ８６は、１画素遅延回路５４２、画素選択回路５９９へ供給される。１画素遅延回路５４２は、１画素遅延した画素値Ｐ７６を出力する。画素値Ｐ７６は、１画素遅延回路５４３、画素選択回路５９９へ供給される。１画素遅延回路５４３は、１画素遅延した画素値Ｐ６６を出力する。画素値Ｐ６６は、１画素遅延回路５４４、画素選択回路５９９へ供給される。１画素遅延回路５４４は、１画素遅延した画素値Ｐ５６を出力する。画素値Ｐ５６は、１画素遅延回路５４５、画素選択回路５９９へ供給される。１画素遅延回路５４５は、１画素遅延した画素値Ｐ４６を出力する。画素値Ｐ４６は、１画素遅延回路５４６、画素選択回路５９９へ供給される。１画素遅延回路５４６は、１画素遅延した画素値Ｐ３６を出力する。画素値Ｐ３６は、１画素遅延回路５４７、画素選択回路５９９へ供給される。１画素遅延回路５４７は、１画素遅延した画素値Ｐ２６を出力する。画素値Ｐ２６は、１画素遅延回路５４８、画素選択回路５９９へ供給される。１画素遅延回路５４８は、１画素遅延した画素値Ｐ１６を出力する。画素値Ｐ１６は、画素選択回路５９９へ供給される。
１ライン遅延回路５０４は画素値Ｐ９５を出力する。画素値Ｐ９５は、１ライン遅延回路５０５、１画素遅延回路５５１、画素選択回路５９９へ供給される。１画素遅延回路５５１は、１画素遅延した画素値Ｐ８５を出力する。画素値Ｐ８５は、１画素遅延回路５５２、画素選択回路５９９へ供給される。１画素遅延回路５５２は、１画素遅延した画素値Ｐ７５を出力する。画素値Ｐ７５は、１画素遅延回路５５３、画素選択回路５９９へ供給される。１画素遅延回路５５３は、１画素遅延した画素値Ｐ６５を出力する。画素値Ｐ６５は、１画素遅延回路５５４、画素選択回路５９９へ供給される。１画素遅延回路５５４は、１画素遅延した画素値Ｐ５５を出力する。画素値Ｐ５５は、１画素遅延回路５５５、画素選択回路５９９へ供給される。１画素遅延回路５５５は、１画素遅延した画素値Ｐ４５を出力する。画素値Ｐ４５は、１画素遅延回路５５６、画素選択回路５９９へ供給される。１画素遅延回路５５６は、１画素遅延した画素値Ｐ３５を出力する。画素値Ｐ３５は、１画素遅延回路５５７、画素選択回路５９９へ供給される。１画素遅延回路５５７は、１画素遅延した画素値Ｐ２５を出力する。画素値Ｐ２５は、１画素遅延回路５５８、画素選択回路５９９へ供給される。１画素遅延回路５５８は、１画素遅延した画素値Ｐ１５を出力する。画素値Ｐ１５は、画素選択回路５９９へ供給される。
１ライン遅延回路５０５は画素値Ｐ９４を出力する。画素値Ｐ９４は、１ライン遅延回路５０６、１画素遅延回路５６１、画素選択回路５９９へ供給される。１画素遅延回路５６１は、１画素遅延した画素値Ｐ８４を出力する。画素値Ｐ８４は、１画素遅延回路５６２、画素選択回路５９９へ供給される。１画素遅延回路５６２は、１画素遅延した画素値Ｐ７４を出力する。画素値Ｐ７４は、１画素遅延回路５６３、画素選択回路５９９へ供給される。１画素遅延回路５６３は、１画素遅延した画素値Ｐ６４を出力する。画素値Ｐ６４は、１画素遅延回路５６４、画素選択回路５９９へ供給される。１画素遅延回路５６４は、１画素遅延した画素値Ｐ５４を出力する。画素値Ｐ５４は、１画素遅延回路５６５、画素選択回路５９９へ供給される。１画素遅延回路５６５は、１画素遅延した画素値Ｐ４４を出力する。画素値Ｐ４４は、１画素遅延回路５６６、画素選択回路５９９へ供給される。１画素遅延回路５６６は、１画素遅延した画素値Ｐ３４を出力する。画素値Ｐ３４は、１画素遅延回路５６７、画素選択回路５９９へ供給される。１画素遅延回路５６７は、１画素遅延した画素値Ｐ２４を出力する。画素値Ｐ２４は、１画素遅延回路５６８、画素選択回路５９９へ供給される。１画素遅延回路５６８は、１画素遅延した画素値Ｐ１４を出力する。画素値Ｐ１４は、画素選択回路５９９へ供給される。
１ライン遅延回路５０６は画素値Ｐ９３を出力する。画素値Ｐ９３は、１ライン遅延回路５０７、１画素遅延回路５７１、画素選択回路５９９へ供給される。１画素遅延回路５７１は、１画素遅延した画素値Ｐ８３を出力する。画素値Ｐ８３は、１画素遅延回路５７２、画素選択回路５９９へ供給される。１画素遅延回路５７２は、１画素遅延した画素値Ｐ７３を出力する。画素値Ｐ７３は、１画素遅延回路５７３、画素選択回路５９９へ供給される。１画素遅延回路５７３は、１画素遅延した画素値Ｐ６３を出力する。画素値Ｐ６３は、１画素遅延回路５７４、画素選択回路５９９へ供給される。１画素遅延回路５７４は、１画素遅延した画素値Ｐ５３を出力する。画素値Ｐ５３は、１画素遅延回路５７５、画素選択回路５９９へ供給される。１画素遅延回路５７５は、１画素遅延した画素値Ｐ４３を出力する。画素値Ｐ４３は、１画素遅延回路５７６、画素選択回路５９９へ供給される。１画素遅延回路５７６は、１画素遅延した画素値Ｐ３３を出力する。画素値Ｐ３３は、１画素遅延回路５７７、画素選択回路５９９へ供給される。１画素遅延回路５７７は、１画素遅延した画素値Ｐ２３を出力する。画素値Ｐ２３は、１画素遅延回路５７８、画素選択回路５９９へ供給される。１画素遅延回路５７８は、１画素遅延した画素値Ｐ１３を出力する。画素値Ｐ１３は、画素選択回路５９９へ供給される。
１ライン遅延回路５０７は画素値Ｐ９２を出力する。画素値Ｐ９２は、１ライン遅延回路５０８、１画素遅延回路５８１、画素選択回路５９９へ供給される。１画素遅延回路５８１は、１画素遅延した画素値Ｐ８２を出力する。画素値Ｐ８２は、１画素遅延回路５８２、画素選択回路５９９へ供給される。１画素遅延回路５８２は、１画素遅延した画素値Ｐ７２を出力する。画素値Ｐ７２は、１画素遅延回路５８３、画素選択回路５９９へ供給される。１画素遅延回路５８３は、１画素遅延した画素値Ｐ６２を出力する。画素値Ｐ６２は、１画素遅延回路５８４、画素選択回路５９９へ供給される。１画素遅延回路５８４は、１画素遅延した画素値Ｐ５２を出力する。画素値Ｐ５２は、１画素遅延回路５８５、画素選択回路５９９へ供給される。１画素遅延回路５８５は、１画素遅延した画素値Ｐ４２を出力する。画素値Ｐ４２は、１画素遅延回路５８６、画素選択回路５９９へ供給される。１画素遅延回路５８６は、１画素遅延した画素値Ｐ３２を出力する。画素値Ｐ３２は、１画素遅延回路５８７、画素選択回路５９９へ供給される。１画素遅延回路５８７は、１画素遅延した画素値Ｐ２２を出力する。画素値Ｐ２３は、１画素遅延回路５８８、画素選択回路５９９へ供給される。１画素遅延回路５８８は、１画素遅延した画素値Ｐ１２を出力する。画素値Ｐ１３は、画素選択回路５９９へ供給される。
１ライン遅延回路５０８は画素値Ｐ９１を出力する。画素値Ｐ９１は、１画素遅延回路５９１、画素選択回路５９９へ供給される。１画素遅延回路５９１は、１画素遅延した画素値Ｐ８１を出力する。画素値Ｐ８１は、１画素遅延回路５９２、画素選択回路５９９へ供給される。１画素遅延回路５９２は、１画素遅延した画素値Ｐ７１を出力する。画素値Ｐ７１は、１画素遅延回路５９３、画素選択回路５９９へ供給される。１画素遅延回路５９３は、１画素遅延した画素値Ｐ６１を出力する。画素値Ｐ６１は、１画素遅延回路５９４、画素選択回路５９９へ供給される。１画素遅延回路５９４は、１画素遅延した画素値Ｐ５１を出力する。画素値Ｐ５１は、１画素遅延回路５９５、画素選択回路５９９へ供給される。１画素遅延回路５９５は、１画素遅延した画素値Ｐ４１を出力する。画素値Ｐ４１は、１画素遅延回路５９６、画素選択回路５９９へ供給される。１画素遅延回路５９６は、１画素遅延した画素値Ｐ３１を出力する。画素値Ｐ３１は、１画素遅延回路５９７、画素選択回路５９９へ供給される。１画素遅延回路５９７は、１画素遅延した画素値Ｐ２１を出力する。画素値Ｐ２１は、１画素遅延回路５９８、画素選択回路５９９へ供給される。１画素遅延回路５９８は、１画素遅延した画素値Ｐ１１を出力する。画素値Ｐ１１は、画素選択回路５９９へ供給される。
同期信号発生回路１８は、図５の同期信号入力端子５１８を介して画素選択回路５９９へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。画素選択回路５９９は、水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ５５の画素位置を判断して、色フィルタ配列に対応する注目画素の画素位置を特定することができる。このとき画素選択回路５９９は、注目画素がＲ画素かＧ画素かＢ画素かも特定できる。特定した画素位置に基づいて、差分算出回路６０１〜６１２に加算パターンＴ０１〜Ｔ１２を構成する画素値をそれぞれ供給する。
次に、加算パターンＴ０１〜Ｔ１２について説明する。画素加算に使う画素として、注目画素と相関の高い画素を正しく選択できれば、画素加算後の画像の解像度劣化は小さくすることができる。注目画素と周辺画素との組み合わせから、複数の加算パターンが存在する。図１４の画素空間配置で注目画素がＧ画素のときの４画素加算の加算パターンを図２１〜図２４並びに図２９〜図３２に示す。Ｇ画素の４画素加算の場合は、１２パターンの加算パターンから最も相関の高い最適な加算パターンが求められる。
図２１は、注目画素から上側の周辺画素を組合せた上側ブロックパターンである。画素選択回路５９９は、画素値Ｇ５３、Ｇ４４、Ｇ６４、Ｇ５５を差分算出回路６０１へ供給する。図２２は、注目画素から右側の周辺画素を組合せた右側ブロックパターンである。画素選択回路５９９は、画素値Ｇ６４、Ｇ５５、Ｇ７５、Ｇ６６を差分算出回路６０２へ供給する。図２３は、注目画素から下側の周辺画素を組合せた下側ブロックパターンである。画素選択回路５９９は、画素値Ｇ５５、Ｇ４６、Ｇ６６、Ｇ５７を差分算出回路６０３へ供給する。図２４は、注目画素から左側の周辺画素を組合せた左側ブロックパターンである。画素選択回路５９９は、画素値Ｇ４４、Ｇ３５、Ｇ５５、Ｇ４６を差分算出回路６０４へ供給する。
図２５は、注目画素とその上側及び下側の周辺画素とを組合せた上側縦ラインパターンである。画素選択回路５９９は、画素値Ｇ５１、Ｇ５３、Ｇ５５、Ｇ５７を差分算出回路６０５へ供給する。図２６は、注目画素とその上側及び下側の周辺画素とを組合せた下側縦ラインパターンである。画素選択回路５９９は、画素値Ｇ５３、Ｇ５５、Ｇ５７、Ｇ５９を差分算出回路６０６へ供給する。図２７は、注目画素とその右側及び左側の周辺画素とを組合せた左側横ラインパターンである。画素選択回路５９９は、画素値Ｇ１５、Ｇ３５、Ｇ５５、Ｇ７５を差分算出回路６０７へ供給する。図２８は、注目画素とその右側及び下側の周辺画素とを組合せた右側横ラインパターンである。画素選択回路５９９は、画素値Ｇ３５、Ｇ５５、Ｇ７５、Ｇ９５を差分算出回路６０８へ供給する。
図２９は、注目画素とその左上側及び右下側の周辺画素とを組合せた左上側斜めラインパターンである。画素選択回路５９９は、画素値Ｇ３３、Ｇ４４、Ｇ５５、Ｇ６６を差分算出回路６０９へ供給する。図３０は、注目画素とその右下側及び左上側の周辺画素とを組合せた右下側斜めラインパターンである。画素選択回路５９９は、画素値Ｇ４４、Ｇ５５、Ｇ６６、Ｇ７７を差分算出回路６１０へ供給する。図３１は、注目画素とその右上側及び左下側の周辺画素とを組合せた右上側斜めラインパターンである。画素選択回路５９９は、画素値Ｇ７３、Ｇ６４、Ｇ５５、Ｇ４６を差分算出回路６１１へ供給する。図３２は、注目画素とその左下側及び右上側の周辺画素とを組合せた左下側斜めラインパターンである。画素選択回路５９９は、画素値Ｇ６４、Ｇ５５、Ｇ４６、Ｇ３７を差分算出回路６１２へ供給する。
図１４の画素空間配置で注目画素がＲ画素のときの４画素加算の加算パターンを図３３〜図３６に示す。Ｒ画素の４画素加算の場合は、４パターンの加算パターンから最も相関の高い最適な加算パターンを求める。図３３は、注目画素とその左上側の周辺画素とを組合せた左上側ブロックパターンである。画素選択回路５９９は、画素値Ｒ３３、Ｒ５３、Ｒ３５、Ｒ５５を差分算出回路６０１へ供給する。図３４は、注目画素とその右上側の周辺画素とを組合せた右上側ブロックパターンである。画素選択回路５９９は、画素値Ｒ５３、Ｒ７３、Ｒ５５、Ｒ７５を差分算出回路６０２へ供給する。図３５は、注目画素とその右下側の周辺画素とを組合せた右下側ブロックパターンである。画素選択回路５９９は、画素値Ｒ５５、Ｒ７５、Ｒ５７、Ｒ７７を差分算出回路６０４へ供給する。図３６は、注目画素とその左下側の周辺画素とを組合せた左下側ブロックパターンである。画素選択回路５９９は、画素値Ｒ３５、Ｒ５５、Ｒ３７、Ｒ５７を差分算出回路６０３へ供給する。
図１４の画素空間配置で注目画素がＢ画素のときの４画素加算の加算パターンを図３７〜図４０に示す。Ｂ画素の４画素加算の場合は、４パターンの加算パターンから最も相関の高い最適な加算パターンを求める。図３７は、注目画素とその左上側の周辺画素とを組合せた左上側ブロックパターンである。画素選択回路５９９は、画素値Ｂ３３、Ｂ５３、Ｂ３５、Ｂ５５を差分算出回路６０１へ供給する。図３８は、注目画素とその右上側の周辺画素とを組合せた右上側ブロックパターンである。画素選択回路５９９は、画素値Ｂ５３、Ｂ７３、Ｂ５５、Ｂ７５を差分算出回路６０２へ供給する。図３９は、注目画素とその右下側の周辺画素とを組合せた右下側ブロックパターンである。画素選択回路５９９は、画素値Ｂ５５、Ｂ７５、Ｂ５７、Ｂ７７を差分算出回路６０３へ供給する。図４０は、注目画素とその左下側の周辺画素とを組合せた左下側ブロックパターンである。画素選択回路５９９は、画素値Ｂ３５、Ｂ５５、Ｂ３７、Ｂ５７を差分算出回路６０４へ供給する。
図８に示されるように、面内パターン検出回路５０の演算回路６００を構成する差分算出回路６０１〜６１２は、入力される４画素の組Ｔ０１〜Ｔ１２について、画素値同士を比較して、最大画素値ＭＡＸ１〜ＭＡＸ１２と最小画素値ＭＩＮ１〜ＭＩＮ１２を求める。次に最大画素値と最小画素値の差分（面内相関評価値）ＰＰ１〜ＰＰ１２を求め、当該加算パターンの差分として最小値算出回路６２０へ供給する。注目画素がＧ画素の場合、差分算出回路６０１は、上側ブロックパターンの画素間の差分を算出する。差分算出回路６０２は、右側ブロックパターンの画素間の差分を算出する。差分算出回路６０３は、左側ブロックパターンの画素間の差分を算出する。差分算出回路６０４は、下側ブロックパターンの画素間の差分を算出する。差分算出回路６０５は、上側縦ラインパターンの画素間の差分を算出する。差分算出回路６０６は、下側縦ラインパターンの画素間の差分を算出する。差分算出回路６０７は、左側横ラインパターンの画素間の差分を算出する。差分算出回路６０８は、右側横ラインパターンの画素間の差分を算出する。差分算出回路６０９は、左上側斜めラインパターンの画素間の差分を算出する。差分算出回路６１０は、右下側斜めラインパターンの画素間の差分を算出する。差分算出回路６１１は、右上側斜めラインパターンの画素間の差分を算出する。差分算出回路６１２は、左下側斜めラインパターンの画素間の差分を算出する。
注目画素がＲ画素、Ｂ画素の場合、差分算出回路６０１は、左上側ブロックパターンの画素間の差分を算出する。差分算出回路６０２は、右上側ブロックパターンの画素間の差分を算出する。差分算出回路６０３は、右下側ブロックパターンの画素間の差分を算出する。差分算出回路６０４は、左下側ブロックパターンの画素間の差分を算出する。
最小値算出回路６２０の注目画素がＧ画素の場合の動作について説明する。最小値算出回路６２０は、差分算出回路６０１〜６１２から入力される１２パターンの画素間の差分を比較して、最小の差分ＰＰの加算パターンを求め、画素指定回路６３０へ通知する。画素指定回路６３０は、最小値算出回路６２０から通知された加算パターンを構成する画素の画素位置を出力端子６４０から選択回路２２、前方参照パターン検出回路７１及び後方参照パターン検出回路７２へそれぞれ供給する。画素指定回路６３０は、最小値算出回路６２０から通知された加算パターンに対応する最大画素値ＭＡＸと最小画素値ＭＩＮを各々最大画素値出力端子６４１、最小画素値出力端子６４２から出力して前方参照パターン検出回路７１、後方参照パターン検出回路７２へ供給する。
上側ブロックパターンの構成画素が最小の差分の場合は、画素Ｇ５３、Ｇ４４、Ｇ６４、Ｇ５５の画素位置情報を選択回路２２へ供給する。右側ブロックパターンの構成画素が最小の差分の場合は、画素Ｇ６４、Ｇ５５、Ｇ７５、Ｇ６６の画素位置情報を選択回路２２へ供給する。下側ブロックパターンの構成画素が最小の差分の場合は、画素Ｇ５５、Ｇ４６、Ｇ６６、Ｇ５７の画素位置情報を選択回路２２へ供給する。左側ブロックパターンの構成画素が最小の差分の場合は、画素Ｇ４４、Ｇ３５、Ｇ５５、Ｇ４６の画素位置情報を選択回路２２へ供給する。上側縦ラインパターンの構成画素が最小の差分の場合は、画素Ｇ５１、Ｇ５３、Ｇ５５、Ｇ５７の画素位置情報を選択回路２２へ供給する。下側縦ラインパターンの構成画素が最小の差分の場合は、画素Ｇ５３、Ｇ５５、Ｇ５７、Ｇ５９の画素位置情報を選択回路２２へ供給する。左側横ラインパターンの構成画素が最小の差分の場合は、画素Ｇ１５、Ｇ３５、Ｇ５５、Ｇ７５の画素位置情報を選択回路２２へ供給する。右側横ラインパターンの構成画素が最小の差分の場合は、画素Ｇ３５、Ｇ５５、Ｇ７５、Ｇ９５の画素位置情報を選択回路２２へ供給する。左上側斜めラインパターンの構成画素が最小の差分の場合は、画素Ｇ３３、Ｇ４４、Ｇ５５、Ｇ６６の画素位置情報を選択回路２２へ供給する。右下側斜めラインパターンの構成画素が最小の差分の場合は、画素Ｇ４４、Ｇ５５、Ｇ６６、Ｇ７７の画素位置情報を選択回路２２へ供給する。右上側斜めラインパターンの構成画素が最小の差分の場合は、画素Ｇ７３、Ｇ６４、Ｇ５５、Ｇ４６の画素位置情報を選択回路２２へ供給する。左下側斜めラインパターンの構成画素が最小の差分の場合は、画素Ｇ６４、Ｇ５５、Ｇ４６、Ｇ３７の画素位置情報を選択回路２２へ供給する。
最小値算出回路６２０の注目画素がＲ画素の場合の動作について説明する。最小値算出回路６２０は、差分算出回路６０１〜６０４から入力される４パターンの画素間の差分を比較して、最小の差分の加算パターンを求め、画素指定回路６３０へ通知する。画素指定回路６３０は、最小値算出回路６２０から通知された加算パターンを構成する画素の画素位置を出力端子６４０から選択回路２２、前方参照パターン検出回路７１、後方参照パターン検出回路７２へ供給する。画素指定回路６３０は、最小値算出回路６２０から通知された加算パターンに対応する最大画素値と最小画素値を各々最大画素値出力端子６４１、最小画素値出力端子６４２から出力して前方参照パターン検出回路７１、後方参照パターン検出回路７２へ供給する。
左上側ブロックパターンの構成画素が最小の差分の場合は、画素Ｒ３３、Ｒ５３、Ｒ３５、Ｒ５５の画素位置情報を選択回路２２へ供給する。右上側ブロックパターンの構成画素が最小の差分の場合は、画素Ｒ５３、Ｒ７３、Ｒ５５、Ｒ７５の画素位置情報を選択回路２２へ供給する。右下側ブロックパターンの構成画素が最小の差分の場合は、画素Ｒ５５、Ｒ７５、Ｒ５７、Ｒ７７の画素位置情報を選択回路２２へ供給する。左下側ブロックパターンの構成画素が最小の差分の場合は、画素Ｒ３５、Ｒ５５、Ｒ３７、Ｒ５７の画素位置情報を選択回路２２へ供給する。
最小値算出回路６２０の注目画素がＢ画素の場合の動作について説明する。最小値算出回路６２０は、差分算出回路６０１〜６０４から入力される４パターンの画素間の差分を比較して、最小の差分の加算パターンを求め、画素指定回路６３０へ通知する。画素指定回路６３０は、最小値算出回路６２０から通知された加算パターンを構成する画素の画素位置を出力端子６４０から選択回路２２、前方参照パターン検出回路７１、後方参照パターン検出回路７２へ供給する。画素指定回路６３０は、最小値算出回路６２０から通知された加算パターンに対応する最大画素値と最小画素値を各々最大画素値出力端子６４１、最小画素値出力端子６４２から出力して前方参照パターン検出回路７１、後方参照パターン検出回路７２へ供給する。
左上側ブロックパターンの構成画素が最小の差分の場合は、画素Ｂ３３、Ｂ５３、Ｂ３５、Ｂ５５の画素位置情報を選択回路２２へ供給する。右上側ブロックパターンの構成画素が最小の差分の場合は、画素Ｂ５３、Ｂ７３、Ｂ５５、Ｂ７５の画素位置情報を選択回路２２へ供給する。右下側ブロックパターンの構成画素が最小の差分の場合は、画素Ｂ５５、Ｂ７５、Ｂ５７、Ｂ７７の画素位置情報を選択回路２２へ供給する。左下側ブロックパターンの構成画素が最小の差分の場合は、画素Ｂ３５、Ｂ５５、Ｂ３７、Ｂ５７の画素位置情報を選択回路２２へ供給する。
前記のようにＧ画素の場合は１２パターンの加算パターンから、Ｒ画素、Ｂ画素の場合は４パターンの加算パターンから、最も相関の高い最適な加算パターンを求めるように構成したので画素加算に使う画素に、注目画素と相関の高い画素を正しく選択できるように出来、画素加算後の画像の解像度劣化を小さくすることができる。
次に、前方参照パターン検出回路７１及び後方参照パターン検出回路７２の動作を説明する。前方参照パターン検出回路７１及び後方参照パターン検出回路７２の構成は、図９の回路構成と同じである。図９に示されるように、回路７ｘは、遅延回路７７０、画素選択回路（参照画素抽出部）７１９、演算回路７２０及び画素指定回路７５０を有する。
注目画素Ｐ５５を中心とした水平１１画素、垂直１１画素の周辺画素の配置を図１４に示す。図１４の画素値ＰＡＡが入力端子５００に印加されたタイミングについて説明する。Ａ／Ｄ変換器１３Ａから出力された画素値ＰＡＡは、画素加算回路１４の入力端子ＩＮａから、空間フィルタ４３、遅延回路３８を経て後方参照パターン検出回路７２の入力端子７００に印加される。あるいは、Ａ／Ｄ変換器１３Ａから出力された画素値ＰＡＡは、画素加算回路１４の入力端子ＩＮａから、１フレーム遅延回路３１、１フレーム遅延回路３２、空間フィルタ４１、遅延回路３７を経て前方参照パターン検出回路７１の入力端子７００に印加される。
入力端子７００に印加された画素値ＰＡＡは、図１０の１ライン遅延回路７０１及び１画素遅延回路１７００と図１２の画素選択回路７１９へ供給される。１画素遅延回路１７００は、１画素遅延した画素値Ｐ９Ａを出力する。画素値Ｐ９Ａは、１画素遅延回路１７０１、画素選択回路７１９へ供給される。１画素遅延回路１７０１は、１画素遅延した画素値Ｐ８Ａを出力する。画素値Ｐ８Ａは、１画素遅延回路１７０２、画素選択回路７１９へ供給される。１画素遅延回路１７０２は、１画素遅延した画素値Ｐ７Ａを出力する。画素値Ｐ７Ａは、１画素遅延回路１７０３、画素選択回路７１９へ供給される。１画素遅延回路１７０３は、１画素遅延した画素値Ｐ６Ａを出力する。画素値Ｐ６Ａは、１画素遅延回路１７０４、画素選択回路７１９へ供給される。１画素遅延回路１７０４は、１画素遅延した画素値Ｐ５Ａを出力する。画素値Ｐ５Ａは、１画素遅延回路１７０５、画素選択回路７１９へ供給される。１画素遅延回路１７０５は、１画素遅延した画素値Ｐ４Ａを出力する。画素値Ｐ４Ａは、１画素遅延回路１７０６、画素選択回路７１９へ供給される。１画素遅延回路１７０６は、１画素遅延した画素値Ｐ３Ａを出力する。画素値Ｐ３Ａは、１画素遅延回路１７０７、画素選択回路７１９へ供給される。１画素遅延回路１７０７は、１画素遅延した画素値Ｐ２Ａを出力する。画素値Ｐ２Ａは、１画素遅延回路１７０８、画素選択回路７１９へ供給される。１画素遅延回路１７０８は、１画素遅延した画素値Ｐ１Ａを出力する。画素値Ｐ１Ａは、１画素遅延回路１７０９、画素選択回路７１９へ供給される。１画素遅延回路１７０９は、１画素遅延した画素値Ｐ０Ａを出力する。画素値Ｐ０Ａは、画素選択回路７１９へ供給される。
１ライン遅延回路７０１は画素値ＰＡ９を出力する。画素値ＰＡ９は、１ライン遅延回路７０２、１画素遅延回路１７１０、画素選択回路７１９へ供給される。１画素遅延回路１７１０は、１画素遅延した画素値Ｐ９９を出力する。画素値Ｐ９９は、１画素遅延回路１７１１、画素選択回路７１９へ供給される。１画素遅延回路１７１１は、１画素遅延した画素値Ｐ８９を出力する。画素値Ｐ８９は、１画素遅延回路１７１２、画素選択回路７１９へ供給される。１画素遅延回路１７１２は、１画素遅延した画素値Ｐ７９を出力する。画素値Ｐ７９は、１画素遅延回路１７１３、画素選択回路７１９へ供給される。１画素遅延回路１７１３は、１画素遅延した画素値Ｐ６９を出力する。画素値Ｐ６９は、１画素遅延回路１７１４、画素選択回路７１９へ供給される。１画素遅延回路１７１４は、１画素遅延した画素値Ｐ５９を出力する。画素値Ｐ５９は、１画素遅延回路１７１５、画素選択回路７１９へ供給される。１画素遅延回路１７１５は、１画素遅延した画素値Ｐ４９を出力する。画素値Ｐ４９は、１画素遅延回路１７１６、画素選択回路７１９へ供給される。１画素遅延回路１７１６は、１画素遅延した画素値Ｐ３９を出力する。画素値Ｐ３９は、１画素遅延回路１７１７、画素選択回路７１９へ供給される。１画素遅延回路１７１７は、１画素遅延した画素値Ｐ２９を出力する。画素値Ｐ２９は、１画素遅延回路１７１８、画素選択回路７１９へ供給される。１画素遅延回路１７１８は、１画素遅延した画素値Ｐ１９を出力する。画素値Ｐ１９は、１画素遅延回路１７１９、画素選択回路７１９へ供給される。１画素遅延回路１７１９は、１画素遅延した画素値Ｐ０９を出力する。画素値Ｐ０９は、画素選択回路７１９へ供給される。
１ライン遅延回路７０２は画素値ＰＡ８を出力する。画素値ＰＡ８は、１ライン遅延回路７０３、１画素遅延回路１７２０、画素選択回路７１９へ供給される。１画素遅延回路１７２０は、１画素遅延した画素値Ｐ９８を出力する。画素値Ｐ９８は、１画素遅延回路１７２１、画素選択回路７１９へ供給される。１画素遅延回路１７２１は、１画素遅延した画素値Ｐ８８を出力する。画素値Ｐ８８は、１画素遅延回路１７２２、画素選択回路７１９へ供給される。１画素遅延回路１７２２は、１画素遅延した画素値Ｐ７８を出力する。画素値Ｐ７８は、１画素遅延回路１７２３、画素選択回路７１９へ供給される。１画素遅延回路１７２３は、１画素遅延した画素値Ｐ６８を出力する。画素値Ｐ６８は、１画素遅延回路１７２４、画素選択回路７１９へ供給される。１画素遅延回路１７２４は、１画素遅延した画素値Ｐ５８を出力する。画素値Ｐ５８は、１画素遅延回路１７２５、画素選択回路７１９へ供給される。１画素遅延回路１７２５は、１画素遅延した画素値Ｐ４８を出力する。画素値Ｐ４８は、１画素遅延回路１７２６、画素選択回路７１９へ供給される。１画素遅延回路１７２６は、１画素遅延した画素値Ｐ３８を出力する。画素値Ｐ３８は、１画素遅延回路１７２７、画素選択回路７１９へ供給される。１画素遅延回路１７２７は、１画素遅延した画素値Ｐ２８を出力する。画素値Ｐ２８は、１画素遅延回路１７２８、画素選択回路７１９へ供給される。１画素遅延回路１７２８は、１画素遅延した画素値Ｐ１８を出力する。画素値Ｐ１８は、１画素遅延回路１７２９、画素選択回路７１９へ供給される。１画素遅延回路１７２９は、１画素遅延した画素値Ｐ０８を出力する。画素値Ｐ０８は、画素選択回路７１９へ供給される。
１ライン遅延回路７０３は画素値ＰＡ７を出力する。画素値ＰＡ７は、１ライン遅延回路７０４、１画素遅延回路１７３０、画素選択回路７１９へ供給される。１画素遅延回路１７３０は、１画素遅延した画素値Ｐ９７を出力する。画素値Ｐ９７は、１画素遅延回路１７３１、画素選択回路７１９へ供給される。１画素遅延回路１７３１は、１画素遅延した画素値Ｐ８７を出力する。画素値Ｐ８７は、１画素遅延回路１７３２、画素選択回路７１９へ供給される。１画素遅延回路１７３２は、１画素遅延した画素値Ｐ７７を出力する。画素値Ｐ７７は、１画素遅延回路１７３３、画素選択回路７１９へ供給される。１画素遅延回路１７３３は、１画素遅延した画素値Ｐ６７を出力する。画素値Ｐ６７は、１画素遅延回路１７３４、画素選択回路７１９へ供給される。１画素遅延回路１７３４は、１画素遅延した画素値Ｐ５７を出力する。画素値Ｐ５７は、１画素遅延回路１７３５、画素選択回路７１９へ供給される。１画素遅延回路１７３５は、１画素遅延した画素値Ｐ４７を出力する。画素値Ｐ４７は、１画素遅延回路１７３６、画素選択回路７１９へ供給される。１画素遅延回路１７３６は、１画素遅延した画素値Ｐ３７を出力する。画素値Ｐ３７は、１画素遅延回路１７３７、画素選択回路７１９へ供給される。１画素遅延回路１７３７は、１画素遅延した画素値Ｐ２７を出力する。画素値Ｐ２７は、１画素遅延回路１７３８、画素選択回路７１９へ供給される。１画素遅延回路１７３８は、１画素遅延した画素値Ｐ１７を出力する。画素値Ｐ１７は、１画素遅延回路１７３９、画素選択回路７１９へ供給される。１画素遅延回路１７３９は、１画素遅延した画素値Ｐ０７を出力する。画素値Ｐ０７は、画素選択回路７１９へ供給される。
１ライン遅延回路７０４は画素値ＰＡ６を出力する。画素値ＰＡ６は、１ライン遅延回路７０５、１画素遅延回路１７４０、画素選択回路７１９へ供給される。１画素遅延回路１７４０は、１画素遅延した画素値Ｐ９６を出力する。画素値Ｐ９６は、１画素遅延回路１７４１、画素選択回路７１９へ供給される。１画素遅延回路１７４１は、１画素遅延した画素値Ｐ８６を出力する。画素値Ｐ８６は、１画素遅延回路１７４２、画素選択回路７１９へ供給される。１画素遅延回路１７４２は、１画素遅延した画素値Ｐ７６を出力する。画素値Ｐ７６は、１画素遅延回路１７４３、画素選択回路７１９へ供給される。１画素遅延回路１７４３は、１画素遅延した画素値Ｐ６６を出力する。画素値Ｐ６６は、１画素遅延回路１７４４、画素選択回路７１９へ供給される。１画素遅延回路１７４４は、１画素遅延した画素値Ｐ５６を出力する。画素値Ｐ５６は、１画素遅延回路１７４５、画素選択回路７１９へ供給される。１画素遅延回路１７４５は、１画素遅延した画素値Ｐ４６を出力する。画素値Ｐ４６は、１画素遅延回路１７４６、画素選択回路７１９へ供給される。１画素遅延回路１７４６は、１画素遅延した画素値Ｐ３６を出力する。画素値Ｐ３６は、１画素遅延回路１７４７、画素選択回路７１９へ供給される。１画素遅延回路１７４７は、１画素遅延した画素値Ｐ２６を出力する。画素値Ｐ２６は、１画素遅延回路１７４８、画素選択回路７１９へ供給される。１画素遅延回路１７４８は、１画素遅延した画素値Ｐ１６を出力する。画素値Ｐ１６は、１画素遅延回路１７４９、画素選択回路７１９へ供給される。１画素遅延回路１７４９は、１画素遅延した画素値Ｐ０６を出力する。画素値Ｐ０６は、画素選択回路７１９へ供給される。
１ライン遅延回路７０５は画素値ＰＡ５を出力する。画素値ＰＡ５は、１ライン遅延回路７０６、１画素遅延回路１７５０、画素選択回路７１９へ供給される。１画素遅延回路１７５０は、１画素遅延した画素値Ｐ９５を出力する。画素値Ｐ９５は、１画素遅延回路１７５１、画素選択回路７１９へ供給される。１画素遅延回路１７５１は、１画素遅延した画素値Ｐ８５を出力する。画素値Ｐ８５は、１画素遅延回路１７５２、画素選択回路７１９へ供給される。１画素遅延回路１７５２は、１画素遅延した画素値Ｐ７５を出力する。画素値Ｐ７５は、１画素遅延回路１７５３、画素選択回路７１９へ供給される。１画素遅延回路１７５３は、１画素遅延した画素値Ｐ６５を出力する。画素値Ｐ６５は、１画素遅延回路１７５４、画素選択回路７１９へ供給される。１画素遅延回路１７５４は、１画素遅延した画素値Ｐ５５を出力する。画素値Ｐ５５は、１画素遅延回路１７５５、画素選択回路７１９へ供給される。１画素遅延回路１７５５は、１画素遅延した画素値Ｐ４５を出力する。画素値Ｐ４５は、１画素遅延回路１７５６、画素選択回路７１９へ供給される。１画素遅延回路１７５６は、１画素遅延した画素値Ｐ３５を出力する。画素値Ｐ３５は、１画素遅延回路１７５７、画素選択回路７１９へ供給される。１画素遅延回路１７５７は、１画素遅延した画素値Ｐ２５を出力する。画素値Ｐ２５は、１画素遅延回路１７５８、画素選択回路７１９へ供給される。１画素遅延回路１７５８は、１画素遅延した画素値Ｐ１５を出力する。画素値Ｐ１５は、１画素遅延回路１７５９、画素選択回路７１９へ供給される。１画素遅延回路１７５９は、１画素遅延した画素値Ｐ０５を出力する。画素値Ｐ０５は、画素選択回路７１９へ供給される。
１ライン遅延回路７０６は画素値ＰＡ４を出力する。画素値ＰＡ４は、１ライン遅延回路７０７、１画素遅延回路１７６０、画素選択回路７１９へ供給される。１画素遅延回路１７６０は、１画素遅延した画素値Ｐ９４を出力する。画素値Ｐ９４は、１画素遅延回路１７６１、画素選択回路７１９へ供給される。１画素遅延回路１７６１は、１画素遅延した画素値Ｐ８４を出力する。画素値Ｐ８４は、１画素遅延回路１７６２、画素選択回路７１９へ供給される。１画素遅延回路１７６２は、１画素遅延した画素値Ｐ７４を出力する。画素値Ｐ７４は、１画素遅延回路１７６３、画素選択回路７１９へ供給される。１画素遅延回路１７６３は、１画素遅延した画素値Ｐ６４を出力する。画素値Ｐ６４は、１画素遅延回路１７６４、画素選択回路７１９へ供給される。１画素遅延回路１７６４は、１画素遅延した画素値Ｐ５４を出力する。画素値Ｐ５４は、１画素遅延回路１７６５、画素選択回路７１９へ供給される。１画素遅延回路１７６５は、１画素遅延した画素値Ｐ４４を出力する。画素値Ｐ４４は、１画素遅延回路１７６６、画素選択回路７１９へ供給される。１画素遅延回路１７６６は、１画素遅延した画素値Ｐ３４を出力する。画素値Ｐ３４は、１画素遅延回路１７６７、画素選択回路７１９へ供給される。１画素遅延回路１７６７は、１画素遅延した画素値Ｐ２４を出力する。画素値Ｐ２４は、１画素遅延回路１７６８、画素選択回路７１９へ供給される。１画素遅延回路１７６８は、１画素遅延した画素値Ｐ１４を出力する。画素値Ｐ１４は、１画素遅延回路１７６９、画素選択回路７１９へ供給される。１画素遅延回路１７６９は、１画素遅延した画素値Ｐ０４を出力する。画素値Ｐ０４は、画素選択回路７１９へ供給される。
１ライン遅延回路７０７は画素値ＰＡ３を出力する。画素値ＰＡ３は、１ライン遅延回路７０８、１画素遅延回路１７７０、画素選択回路７１９へ供給される。１画素遅延回路１７７０は、１画素遅延した画素値Ｐ９３を出力する。画素値Ｐ９３は、１画素遅延回路１７７１、画素選択回路７１９へ供給される。１画素遅延回路１７７１は、１画素遅延した画素値Ｐ８３を出力する。画素値Ｐ８３は、１画素遅延回路１７７２、画素選択回路７１９へ供給される。１画素遅延回路１７７２は、１画素遅延した画素値Ｐ７３を出力する。画素値Ｐ７３は、１画素遅延回路１７７３、画素選択回路７１９へ供給される。１画素遅延回路１７７３は、１画素遅延した画素値Ｐ６３を出力する。画素値Ｐ６３は、１画素遅延回路１７７４、画素選択回路７１９へ供給される。１画素遅延回路１７７４は、１画素遅延した画素値Ｐ５３を出力する。画素値Ｐ５３は、１画素遅延回路１７７５、画素選択回路７１９へ供給される。１画素遅延回路１７７５は、１画素遅延した画素値Ｐ４３を出力する。画素値Ｐ４３は、１画素遅延回路１７７６、画素選択回路７１９へ供給される。１画素遅延回路１７７６は、１画素遅延した画素値Ｐ３３を出力する。画素値Ｐ３３は、１画素遅延回路１７７７、画素選択回路７１９へ供給される。１画素遅延回路１７７７は、１画素遅延した画素値Ｐ２３を出力する。画素値Ｐ２３は、１画素遅延回路１７７８、画素選択回路７１９へ供給される。１画素遅延回路１７７８は、１画素遅延した画素値Ｐ１３を出力する。画素値Ｐ１３は、１画素遅延回路１７７９、画素選択回路７１９へ供給される。１画素遅延回路１７７９は、１画素遅延した画素値Ｐ０３を出力する。画素値Ｐ０３は、画素選択回路７１９へ供給される。
１ライン遅延回路７０８は画素値ＰＡ２を出力する。画素値ＰＡ２は、１ライン遅延回路７０９、１画素遅延回路１７８０、画素選択回路７１９へ供給される。１画素遅延回路１７８０は、１画素遅延した画素値Ｐ９２を出力する。画素値Ｐ９２は、１画素遅延回路１７８１、画素選択回路７１９へ供給される。１画素遅延回路１７８１は、１画素遅延した画素値Ｐ８２を出力する。画素値Ｐ８２は、１画素遅延回路１７８２、画素選択回路７１９へ供給される。１画素遅延回路１７８２は、１画素遅延した画素値Ｐ７２を出力する。画素値Ｐ７２は、１画素遅延回路１７８３、画素選択回路７１９へ供給される。１画素遅延回路１７８３は、１画素遅延した画素値Ｐ６２を出力する。画素値Ｐ６２は、１画素遅延回路１７８４、画素選択回路７１９へ供給される。１画素遅延回路１７８４は、１画素遅延した画素値Ｐ５２を出力する。画素値Ｐ５２は、１画素遅延回路１７８５、画素選択回路７１９へ供給される。１画素遅延回路１７８５は、１画素遅延した画素値Ｐ４２を出力する。画素値Ｐ４２は、１画素遅延回路１７８６、画素選択回路７１９へ供給される。１画素遅延回路１７８６は、１画素遅延した画素値Ｐ３２を出力する。画素値Ｐ３２は、１画素遅延回路１７８７、画素選択回路７１９へ供給される。１画素遅延回路１７８７は、１画素遅延した画素値Ｐ２２を出力する。画素値Ｐ２２は、１画素遅延回路１７８８、画素選択回路７１９へ供給される。１画素遅延回路１７８８は、１画素遅延した画素値Ｐ１２を出力する。画素値Ｐ１２は、１画素遅延回路１７８９、画素選択回路７１９へ供給される。１画素遅延回路１７８９は、１画素遅延した画素値Ｐ０２を出力する。画素値Ｐ０２は、画素選択回路７１９へ供給される。
１ライン遅延回路７０９は画素値ＰＡ１を出力する。画素値ＰＡ１は、１ライン遅延回路７１０、１画素遅延回路１７９０、画素選択回路７１９へ供給される。１画素遅延回路１７９０は、１画素遅延した画素値Ｐ９１を出力する。画素値Ｐ９１は、１画素遅延回路１７９１、画素選択回路７１９へ供給される。１画素遅延回路１７９１は、１画素遅延した画素値Ｐ８１を出力する。画素値Ｐ８１は、１画素遅延回路１７９２、画素選択回路７１９へ供給される。１画素遅延回路１７９２は、１画素遅延した画素値Ｐ７１を出力する。画素値Ｐ７１は、１画素遅延回路１７９３、画素選択回路７１９へ供給される。１画素遅延回路１７９３は、１画素遅延した画素値Ｐ６１を出力する。画素値Ｐ６１は、１画素遅延回路１７９４、画素選択回路７１９へ供給される。１画素遅延回路１７９４は、１画素遅延した画素値Ｐ５１を出力する。画素値Ｐ５１は、１画素遅延回路１７９５、画素選択回路７１９へ供給される。１画素遅延回路１７９５は、１画素遅延した画素値Ｐ４１を出力する。画素値Ｐ４１は、１画素遅延回路１７９６、画素選択回路７１９へ供給される。１画素遅延回路１７９６は、１画素遅延した画素値Ｐ３１を出力する。画素値Ｐ３１は、１画素遅延回路１７９７、画素選択回路７１９へ供給される。１画素遅延回路１７９７は、１画素遅延した画素値Ｐ２１を出力する。画素値Ｐ２１は、１画素遅延回路１７９８、画素選択回路７１９へ供給される。１画素遅延回路１７９８は、１画素遅延した画素値Ｐ１１を出力する。画素値Ｐ１１は、１画素遅延回路１７９９、画素選択回路７１９へ供給される。１画素遅延回路１７９９は、１画素遅延した画素値Ｐ０１を出力する。画素値Ｐ０１は、画素選択回路７１９へ供給される。
１ライン遅延回路７１０は画素値ＰＡ０を出力する。画素値ＰＡ０は、１画素遅延回路１８００、画素選択回路７１９へ供給される。１画素遅延回路１８００は、１画素遅延した画素値Ｐ９０を出力する。画素値Ｐ９０は、１画素遅延回路１８０１、画素選択回路７１９へ供給される。１画素遅延回路１８０１は、１画素遅延した画素値Ｐ８０を出力する。画素値Ｐ８０は、１画素遅延回路１８０２、画素選択回路７１９へ供給される。１画素遅延回路１８０２は、１画素遅延した画素値Ｐ７０を出力する。画素値Ｐ７０は、１画素遅延回路１８０３、画素選択回路７１９へ供給される。１画素遅延回路１８０３は、１画素遅延した画素値Ｐ６０を出力する。画素値Ｐ６０は、１画素遅延回路１８０４、画素選択回路７１９へ供給される。１画素遅延回路１８０４は、１画素遅延した画素値Ｐ５０を出力する。画素値Ｐ５０は、１画素遅延回路１８０５、画素選択回路７１９へ供給される。１画素遅延回路１８０５は、１画素遅延した画素値Ｐ４０を出力する。画素値Ｐ４０は、１画素遅延回路１８０６、画素選択回路７１９へ供給される。１画素遅延回路１８０６は、１画素遅延した画素値Ｐ３０を出力する。画素値Ｐ３０は、１画素遅延回路１８０７、画素選択回路７１９へ供給される。１画素遅延回路１８０７は、１画素遅延した画素値Ｐ２０を出力する。画素値Ｐ２０は、１画素遅延回路１８０８、画素選択回路７１９へ供給される。１画素遅延回路１８０８は、１画素遅延した画素値Ｐ１０を出力する。画素値Ｐ１０は、１画素遅延回路１８０９、画素選択回路７１９へ供給される。１画素遅延回路１８０９は、１画素遅延した画素値Ｐ００を出力する。画素値Ｐ００は、画素選択回路７１９へ供給される。
同期信号発生回路１８は、同期信号入力端子７１８を介して画素選択回路７１９へ水平同期信号ＨＤと垂直同期信号ＶＤを供給するので、画素選択回路７１９は、水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目フレーム画像の注目画素Ｐ５５、あるいは隣接フレーム画像の注目画素相当のＰ５５の画素位置を判断して、色フィルタ配列に対応する注目画素の画素位置を特定する。注目画素が、Ｒ画素かＧ画素かＢ画素かも特定できる。特定した画素位置に基づいて、加算パターンの画素領域に対応する差分算出回路７２１〜７２５各々へ、加算パターンを構成する画素値を供給する。面内パターン検出回路５０は画素領域入力端子７１１を介して画素選択回路７１９へ面内パターン検出回路５０で注目画素に最も相関の高い周辺画素の加算パターンを通知する。画素選択回路７１９は、面内パターン検出回路５０で判別された加算パターンに基づきフレーム画像間での画素領域の移動も考慮した加算パターンに従って画素を選択する。
前記加算パターンについて説明する。画素加算に使う画素に、注目画素と相関の高い画素を正しく選択できれば、画素加算後の画像の解像度劣化は小さくすることができる。注目画素と周辺画素の組み合わせから、複数の加算パターンが存在する。図１４の画素空間配置で注目画素がＧ画素のときの、面内４画素加算パターンと前側フレーム画像内４画素加算パターン、あるいは面内４画素加算パターンと後側フレーム画像内４画素加算パターンの組合せを図４１（Ａ），（Ｂ）〜図１６０（Ａ），（Ｂ）に示す。
これら図４１（Ａ），（Ｂ）〜図１６０（Ａ），（Ｂ）において、フィルタ信号ＮＲ２の注目フレーム画像の面内加算パターンが示され、フレーム遅延信号ＮＲ１Ｄの前側の隣接フレーム画像（参照フレーム画像）の加算パターンが示され、フレーム遅延信号ＮＲ３Ｄの後側の隣接フレーム画像の加算パターンが示されている。前方参照パターン検出回路７１、後方参照パターン検出回路７２は各々、面内パターン検出回路５０で判別された面内加算パターンに対し、隣接フレーム画像の５パターンの加算パターンの中から最も相関の高い加算パターンを判別する。
図４１（Ａ），（Ｂ）〜図４５（Ａ），（Ｂ）は、注目画素がＧ画素で、第１の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第１の面内加算パターンは、注目画素から上側の周辺画素を組合せた上側ブロックパターンである。
図４１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５３、Ｇ１４４、Ｇ１６４、Ｇ１５５を差分算出回路７２１へ供給する。図４２は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４２、Ｇ１３３、Ｇ１５３、Ｇ１４４を差分算出回路７２２へ供給する。図４３は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６４、Ｇ１５５、Ｇ１７５、Ｇ１６６を差分算出回路７２３へ供給する。図４４は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６２、Ｇ１５３、Ｇ１７３、Ｇ１６４を差分算出回路７２４へ供給する。図４５は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１３５、Ｇ１５５、Ｇ１４６を差分算出回路７２５へ供給する。
図４６〜図５０は、注目画素がＧ画素で、第１の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第１の面内加算パターンは、注目画素から上側の周辺画素を組合せた上側ブロックパターンである。
図４６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５３、Ｇ３４４、Ｇ３６４、Ｇ３５５を差分算出回路７２１へ供給する。図４７は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４２、Ｇ３３３、Ｇ３５３、Ｇ３４４を差分算出回路７２２へ供給する。図４８は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６４、Ｇ３５５、Ｇ３７５、Ｇ３６６を差分算出回路７２３へ供給する。図４９は注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６２、Ｇ３５３、Ｇ３７３、Ｇ３６４を差分算出回路７２４へ供給する。図５０は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３３５、Ｇ３５５、Ｇ３４６を差分算出回路７２５へ供給する。
図５１〜図５５は、注目画素がＧ画素で、第２の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第２の面内加算パターンは、注目画素から右側の周辺画素を組合せた右側ブロックパターンである。
図５１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６４、Ｇ１５５、Ｇ１７５、Ｇ１６６を差分算出回路７２１へ供給する。図５２は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５３、Ｇ１４４、Ｇ１６４、Ｇ１５５を差分算出回路７２２へ供給する。図５３は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１７５、Ｇ１６６、Ｇ１８６、Ｇ１７７を差分算出回路７２３へ供給する。図５４は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１７３、Ｇ１６４、Ｇ１８４、Ｇ１７５を差分算出回路７２４へ供給する。図５５は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５５、Ｇ１４６、Ｇ１６６、Ｇ１５７を差分算出回路７２５へ供給する。
図５６〜図６０は注目画素がＧ画素で、第２の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第２の面内加算パターンは、注目画素から右側の周辺画素を組合せた右側ブロックパターンである。
図５６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６４、Ｇ３５５、Ｇ３７５、Ｇ３６６を差分算出回路７２１へ供給する。図５７は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５３、Ｇ３４４、Ｇ３６４、Ｇ３５５を差分算出回路７２２へ供給する。図５８は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３７５、Ｇ３６６、Ｇ３８６、Ｇ３７７を差分算出回路７２３へ供給する。図５９は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３７３、Ｇ３６４、Ｇ３８４、Ｇ３７５を差分算出回路７２４へ供給する。図６０は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５５、Ｇ３４６、Ｇ３６６、Ｇ３５７を差分算出回路７２５へ供給する。
図６１〜図６５は、注目画素がＧ画素で、第３の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第３の面内加算パターンは、注目画素から下側の周辺画素を組合せた下側ブロックパターンである。
図６１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５５、Ｇ１４６、Ｇ１６６、Ｇ１５７を差分算出回路７２１へ供給する。図６２は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１３５、Ｇ１５５、Ｇ１４６を差分算出回路７２２へ供給する。図６３は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６６、Ｇ１５７、Ｇ１７７、Ｇ１６８を差分算出回路７２３へ供給する。図６４は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６４、Ｇ１５５、Ｇ１７５、Ｇ１６６を差分算出回路７２４へ供給する。図６５は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４６、Ｇ１３７、Ｇ１５７、Ｇ１４８を差分算出回路７２５へ供給する。
図６６〜図７０は、注目画素がＧ画素で、第３の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第３の面内加算パターンは、注目画素から下側の周辺画素を組合せた下側ブロックパターンである。
図６６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５５、Ｇ３４６、Ｇ３６６、Ｇ３５７を差分算出回路７２１へ供給する。図６７は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３３５、Ｇ３５５、Ｇ３４６を差分算出回路７２２へ供給する。図６８は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６６、Ｇ３５７、Ｇ３７７、Ｇ３６８を差分算出回路７２３へ供給する。図６９は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６４、Ｇ３５５、Ｇ３７５、Ｇ３６６を差分算出回路７２４へ供給する。図７０は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４６、Ｇ３３７、Ｇ３５７、Ｇ３４８を差分算出回路７２５へ供給する。
図７１〜図７５は、注目画素がＧ画素で、第４の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第４の面内加算パターンは、注目画素から左側の周辺画素を組合せた左側ブロックパターンである。
図７１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１３５、Ｇ１５５、Ｇ１４６を差分算出回路７２１へ供給する。図７２は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３３、Ｇ１２４、Ｇ１４４、Ｇ１３５を差分算出回路７２２へ供給する。図７３は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５５、Ｇ１４６、Ｇ１６６、Ｇ１５７を差分算出回路７２３へ供給する。図７４は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５３、Ｇ１４４、Ｇ１６４、Ｇ１５５を差分算出回路７２４へ供給する。図７５は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３５、Ｇ１２６、Ｇ１４６、Ｇ１３７を差分算出回路７２５へ供給する。
図７６〜図８０は、注目画素がＧ画素で、第４の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第４の面内加算パターンは、注目画素から左側の周辺画素を組合せた左側ブロックパターンである。
図７６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３３５、Ｇ３５５、Ｇ３４６を差分算出回路７２１へ供給する。図７７は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３３、Ｇ３２４、Ｇ３４４、Ｇ３３５を差分算出回路７２２へ供給する。図７８は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５５、Ｇ３４６、Ｇ３６６、Ｇ３５７を差分算出回路７２３へ供給する。図７９は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５３、Ｇ３４４、Ｇ３６４、Ｇ３５５を差分算出回路７２４へ供給する。図８０は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３５、Ｇ３２６、Ｇ３４６、Ｇ３３７を差分算出回路７２５へ供給する。
図８１〜図８５は、注目画素がＧ画素で、第５の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第５の面内加算パターンは、注目画素から上側の周辺画素を組合せた上側縦ラインパターンである。
図８１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５１、Ｇ１５３、Ｇ１５５、Ｇ１５７を差分算出回路７２１へ供給する。図８２は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４０、Ｇ１４２、Ｇ１４４、Ｇ１４６を差分算出回路７２２へ供給する。図８３は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４２、Ｇ１４４、Ｇ１４６、Ｇ１４８を差分算出回路７２３へ供給する。図８４は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６０、Ｇ１６２、Ｇ１６４、Ｇ１６６を差分算出回路７２４へ供給する。図８５は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６２、Ｇ１６４、Ｇ１６６、Ｇ１６８を差分算出回路７２５へ供給する。
図８６〜図９０は、注目画素がＧ画素で、第５の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第５の面内加算パターンは、注目画素から上側の周辺画素を組合せた上側縦ラインパターンである。
図８６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５１、Ｇ３５３、Ｇ３５５、Ｇ３５７を差分算出回路７２１へ供給する。図８７は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４０、Ｇ３４２、Ｇ３４４、Ｇ３４６を差分算出回路７２２へ供給する。図８８は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４２、Ｇ３４４、Ｇ３４６、Ｇ３４８を差分算出回路７２３へ供給する。図８９は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６０、Ｇ３６２、Ｇ３６４、Ｇ３６６を差分算出回路７２４へ供給する。図９０は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６２、Ｇ３６４、Ｇ３６６、Ｇ３６８を差分算出回路７２５へ供給する。
図９１〜図９５は、注目画素がＧ画素で、第６の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第６の面内加算パターンは、注目画素から下側の周辺画素を組合せた下側縦ラインパターンである。
図９１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５３、Ｇ１５５、Ｇ１５７、Ｇ１５９を差分算出回路７２１へ供給する。図９２は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４２、Ｇ１４４、Ｇ１４６、Ｇ１４８を差分算出回路７２２へ供給する。図９３は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１４６、Ｇ１４８、Ｇ１４Ａを差分算出回路７２３へ供給する。図９４は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６２、Ｇ１６４、Ｇ１６６、Ｇ１６８を差分算出回路７２４へ供給する。図９５は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６４、Ｇ１６６、Ｇ１６８、Ｇ１６Ａを差分算出回路７２５へ供給する。
図９６〜図１００は、注目画素がＧ画素で、第６の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第６の面内加算パターンは、注目画素から下側の周辺画素を組合せた下側縦ラインパターンである。
図９６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５３、Ｇ３５５、Ｇ３５７、Ｇ３５９を差分算出回路７２１へ供給する。図９７は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４２、Ｇ３４４、Ｇ３４６、Ｇ３４８を差分算出回路７２２へ供給する。図９８は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３４６、Ｇ３４８、Ｇ３４Ａを差分算出回路７２３へ供給する。図９９は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６２、Ｇ３６４、Ｇ３６６、Ｇ３６８を差分算出回路７２４へ供給する。図１００は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６４、Ｇ３６６、Ｇ３６８、Ｇ３６Ａを差分算出回路７２５へ供給する。
図１０１〜図１０５は、注目画素がＧ画素で、第７の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第７の面内加算パターンは、注目画素から左側の周辺画素を組合せた左側横ラインパターンである。
図１０１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１１５、Ｇ１３５、Ｇ１５５、Ｇ１７５を差分算出回路７２１へ供給する。図１０２は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１０４、Ｇ１２４、Ｇ１４４、Ｇ１６４を差分算出回路７２２へ供給する。図１０３は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１２４、Ｇ１４４、Ｇ１６４、Ｇ１８４を差分算出回路７２３へ供給する。図１０４は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１０６、Ｇ１２６、Ｇ１４６、Ｇ１６６を差分算出回路７２４へ供給する。図１０５は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１２６、Ｇ１４６、Ｇ１６６、Ｇ１８６を差分算出回路７２５へ供給する。
図１０６〜図１１０は、注目画素がＧ画素で、第７の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第７の面内加算パターンは、注目画素から左側の周辺画素を組合せた左側横ラインパターンである。
図１０６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３１５、Ｇ３３５、Ｇ３５５、Ｇ３７５を差分算出回路７２１へ供給する。図１０７は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３０４、Ｇ３２４、Ｇ３４４、Ｇ３６４を差分算出回路７２２へ供給する。図１０８は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３２４、Ｇ３４４、Ｇ３６４、Ｇ３８４を差分算出回路７２３へ供給する。図１０９は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３０６、Ｇ３２６、Ｇ３４６、Ｇ３６６を差分算出回路７２４へ供給する。図１１０は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３２６、Ｇ３４６、Ｇ３６６、Ｇ３８６を差分算出回路７２５へ供給する。
図１１１〜図１１５は、注目画素がＧ画素で、第８の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第８の面内加算パターンは、注目画素から右側の周辺画素を組合せた右側横ラインパターンである。
図１１１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３５、Ｇ１５５、Ｇ１７５、Ｇ１９５を差分算出回路７２１へ供給する。図１１２は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１２４、Ｇ１４４、Ｇ１６４、Ｇ１８４を差分算出回路７２２へ供給する。図１１３は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１６４、Ｇ１８４、Ｇ１Ａ４を差分算出回路７２３へ供給する。図１１４は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１２６、Ｇ１４６、Ｇ１６６、Ｇ１８６を差分算出回路７２４へ供給する。図１１５は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４６、Ｇ１６６、Ｇ１８６、Ｇ１Ａ６を差分算出回路７２５へ供給する。
図１１６〜図１２０は、注目画素がＧ画素で、第８の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第８の面内加算パターンは、注目画素から右側の周辺画素を組合せた右側横ラインパターンである。
図１１６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３５、Ｇ３５５、Ｇ３７５、Ｇ３９５を差分算出回路７２１へ供給する。図１１７は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３２４、Ｇ３４４、Ｇ３６４、Ｇ３８４を差分算出回路７２２へ供給する。図１１８は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３６４、Ｇ３８４、Ｇ３Ａ４を差分算出回路７２３へ供給する。図１１９は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３２６、Ｇ３４６、Ｇ３６６、Ｇ３８６を差分算出回路７２４へ供給する。図１２０は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４６、Ｇ３６６、Ｇ３８６、Ｇ３Ａ６を差分算出回路７２５へ供給する。
図１２１〜図１２５は、注目画素がＧ画素で、第９の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第９の面内加算パターンは、注目画素から左上側の周辺画素を組合せた左上側斜めラインパターンである。
図１２１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３３、Ｇ１４４、Ｇ１５５、Ｇ１６６を差分算出回路７２１へ供給する。図１２２は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１２２、Ｇ１３３、Ｇ１４４、Ｇ１５５を差分算出回路７２２へ供給する。図１２３は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１５５、Ｇ１６６、Ｇ１７７を差分算出回路７２３へ供給する。図１２４は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４２、Ｇ１５３、Ｇ１６４、Ｇ１７５を差分算出回路７２４へ供給する。図１２５は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１２４、Ｇ１３５、Ｇ１４６、Ｇ１５７を差分算出回路７２５へ供給する。
図１２６〜図１３０は、注目画素がＧ画素で、第９の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第９の面内加算パターンは、注目画素から左上側の周辺画素を組合せた左上側斜めラインパターンである。
図１２６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３３、Ｇ３４４、Ｇ３５５、Ｇ３６６を差分算出回路７２１へ供給する。図１２７は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３２２、Ｇ３３３、Ｇ３４４、Ｇ３５５を差分算出回路７２２へ供給する。図１２８は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３５５、Ｇ３６６、Ｇ３７７を差分算出回路７２３へ供給する。図１２９は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４２、Ｇ３５３、Ｇ３６４、Ｇ３７５を差分算出回路７２４へ供給する。図１３０は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３２４、Ｇ３３５、Ｇ３４６、Ｇ３５７を差分算出回路７２５へ供給する。
図１３１〜図１３５は、注目画素がＧ画素で、第１０の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第１０の面内加算パターンは、注目画素から右下側の周辺画素を組合せた右下側斜めラインパターンである。
図１３１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１５５、Ｇ１６６、Ｇ１７７を差分算出回路７２１へ供給する。図１３２は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３３、Ｇ１４４、Ｇ１５５、Ｇ１６６を差分算出回路７２２へ供給する。図１３３は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５５、Ｇ１６６、Ｇ１７７、Ｇ１８８を差分算出回路７２３へ供給する。図１３４は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５３、Ｇ１６４、Ｇ１７５、Ｇ１８６を差分算出回路７２４へ供給する。図１３５は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３５、Ｇ１４６、Ｇ１５７、Ｇ１６８を差分算出回路７２５へ供給する。
図１３６〜図１４０は、注目画素がＧ画素で、第１０の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第１０の面内加算パターンは、注目画素から右下側の周辺画素を組合せた右下側斜めラインパターンである。
図１３６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３５５、Ｇ３６６、Ｇ３７７を差分算出回路７２１へ供給する。図１３７は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３３、Ｇ３４４、Ｇ３５５、Ｇ３６６を差分算出回路７２２へ供給する。図１３８は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５５、Ｇ３６６、Ｇ３７７、Ｇ３８８を差分算出回路７２３へ供給する。図１３９は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５３、Ｇ３６４、Ｇ３７５、Ｇ３８６を差分算出回路７２４へ供給する。図１４０は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３５、Ｇ３４６、Ｇ３５７、Ｇ３６８を差分算出回路７２５へ供給する。
図１４１〜図１４５は、注目画素がＧ画素で、第１１の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第１１の面内加算パターンは、注目画素から右上側の周辺画素を組合せた右上側斜めラインパターンである。
図１４１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４６、Ｇ１５５、Ｇ１６４、Ｇ１７３を差分算出回路７２１へ供給する。図１４２は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５５、Ｇ１６４、Ｇ１７３、Ｇ１８２を差分算出回路７２２へ供給する。図１４３は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３７、Ｇ１４６、Ｇ１５５、Ｇ１６４を差分算出回路７２３へ供給する。図１４４は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３５、Ｇ１４４、Ｇ１５３、Ｇ１６２を差分算出回路７２４へ供給する。図１４５は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５７、Ｇ１６６、Ｇ１７５、Ｇ１８４を差分算出回路７２５へ供給する。
図１４６〜図１５０は、注目画素がＧ画素で、第１１の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第１１の面内加算パターンは、注目画素から右上側の周辺画素を組合せた右上側斜めラインパターンである。
図１４６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４６、Ｇ３５５、Ｇ３６４、Ｇ３７３を差分算出回路７２１へ供給する。図１４７は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５５、Ｇ３６４、Ｇ３７３、Ｇ３８２を差分算出回路７２２へ供給する。図１４８は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３７、Ｇ３４６、Ｇ３５５、Ｇ３６４を差分算出回路７２３へ供給する。図１４９は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３５、Ｇ３４４、Ｇ３５３、Ｇ３６２を差分算出回路７２４へ供給する。図１５０は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５７、Ｇ３６６、Ｇ３７５、Ｇ３８４を差分算出回路７２５へ供給する。
図１５１〜図１５５は、注目画素がＧ画素で、第１２の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第１２の面内加算パターンは、注目画素から左下側の周辺画素を組合せた左下側斜めラインパターンである。
図１５１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３７、Ｇ１４６、Ｇ１５５、Ｇ１６４を差分算出回路７２１へ供給する。図１５２は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４６、Ｇ１５５、Ｇ１６４、Ｇ１７３を差分算出回路７２２へ供給する。図１５３は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１２８、Ｇ１３７、Ｇ１４６、Ｇ１５５を差分算出回路７２３へ供給する。図１５４は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１２６、Ｇ１３５、Ｇ１４４、Ｇ１５３を差分算出回路７２４へ供給する。図１５５は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４８、Ｇ１５７、Ｇ１６６、Ｇ１７５を差分算出回路７２５へ供給する。
図１５６〜図１６０は、注目画素がＧ画素で、第１２の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第１２の面内加算パターンは、注目画素から左下側の周辺画素を組合せた左下側斜めラインパターンである。
図１５６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３７、Ｇ３４６、Ｇ３５５、Ｇ３６４を差分算出回路７２１へ供給する。図１５７は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４６、Ｇ３５５、Ｇ３６４、Ｇ３７３を差分算出回路７２２へ供給する。図１５８は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３２８、Ｇ３３７、Ｇ３４６、Ｇ３５５を差分算出回路７２３へ供給する。図１５９は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３２６、Ｇ３３５、Ｇ３４４、Ｇ３５３を差分算出回路７２４へ供給する。図１６０は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４８、Ｇ３５７、Ｇ３６６、Ｇ３７５を差分算出回路７２５へ供給する。
図１４の画素空間配置で注目画素がＲ画素のときの、面内４画素加算パターンと前側フレーム画像内４画素加算パターン、あるいは面内４画素加算パターンと後側フレーム画像内４画素加算パターンの組合せを図１６１〜図２００に示す。これら図１６１〜図２００において、フィルタ信号ＮＲ２の注目フレーム画像の面内加算パターンが示され、フレーム遅延信号ＮＲ１Ｄの前側の隣接フレーム画像の加算パターンが示され、フレーム遅延信号ＮＲ３Ｄの後側の隣接フレーム画像の加算パターンが示されている。前方参照パターン検出回路７１、後方参照パターン検出回路７２は各々、面内パターン検出回路５０で判別された面内加算パターンに対し、隣接フレーム画像の５パターンの加算パターンの中から最も相関の高い加算パターンを判別する。
図１６１〜図１６５は、注目画素がＲ画素で、第１の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第１の面内加算パターンは、注目画素から左上側の周辺画素を組合せた左上側ブロックパターンである。
図１６１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３３、Ｒ１５３、Ｒ１３５、Ｒ１５５を差分算出回路７２１へ供給する。図１６２は、注目フレーム画像の画素配置を左シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１１３、Ｒ１３３、Ｒ１１５、Ｒ１３５を差分算出回路７２２へ供給する。図１６３は、注目フレーム画像の画素配置を右シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５３、Ｒ１７３、Ｒ１５５、Ｒ１７５を差分算出回路７２３へ供給する。図１６４は、注目フレーム画像の画素配置を上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３１、Ｒ１５１、Ｒ１３３、Ｒ１５３を差分算出回路７２４へ供給する。図１６５は、注目フレーム画像の画素配置を下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３５、Ｒ１５５、Ｒ１３７、Ｒ１５７を差分算出回路７２５へ供給する。
図１６６〜図１７０は、注目画素がＲ画素で、第１の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第１の面内加算パターンは、注目画素から左上側の周辺画素を組合せた左上側ブロックパターンである。
図１６６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３３、Ｒ３５３、Ｒ３３５、Ｒ３５５を差分算出回路７２１へ供給する。図１６７は、注目フレーム画像の画素配置を右シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３１３、Ｒ３３３、Ｒ３１５、Ｒ３３５を差分算出回路７２２へ供給する。図１６８は、注目フレーム画像の画素配置を左シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５３、Ｒ３７３、Ｒ３５５、Ｒ３７５を差分算出回路７２３へ供給する。図１６９は、注目フレーム画像の画素配置を上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３１、Ｒ３５１、Ｒ３３３、Ｒ３５３を差分算出回路７２４へ供給する。図１７０は、注目フレーム画像の画素配置を下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３５、Ｒ３５５、Ｒ３３７、Ｒ３５７を差分算出回路７２５へ供給する。
図１７１〜図１７５は、注目画素がＲ画素で、第２の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第２の面内加算パターンは、注目画素から右上側の周辺画素を組合せた右上側ブロックパターンである。
図１７１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５３、Ｒ１７３、Ｒ１５５、Ｒ１７５を差分算出回路７２１へ供給する。図１７２は、注目フレーム画像の画素配置を左シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３３、Ｒ１５３、Ｒ１３５、Ｒ１５５を差分算出回路７２２へ供給する。図１７３は、注目フレーム画像の画素配置を右シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１７３、Ｒ１９３、Ｒ１７５、Ｒ１９５を差分算出回路７２３へ供給する。図１７４は、注目フレーム画像の画素配置を上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５１、Ｒ１７１、Ｒ１５３、Ｒ１７３を差分算出回路７２４へ供給する。図１７５は、注目フレーム画像の画素配置を下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５５、Ｒ１７５、Ｒ１５７、Ｒ１７７を差分算出回路７２５へ供給する。
図１７６〜図１８０は、注目画素がＲ画素で、第２の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第２の面内加算パターンは、注目画素から右上側の周辺画素を組合せた右上側ブロックパターンである。
図１７６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５３、Ｒ３７３、Ｒ３５５、Ｒ３７５を差分算出回路７２１へ供給する。図１７７は、注目フレーム画像の画素配置を右シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３３、Ｒ３５３、Ｒ３３５、Ｒ３５５を差分算出回路７２２へ供給する。図１７８は、注目フレーム画像の画素配置を左シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３７３、Ｒ３９３、Ｒ３７５、Ｒ３９５を差分算出回路７２３へ供給する。図１７９は、注目フレーム画像の画素配置を上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５１、Ｒ３７１、Ｒ３５３、Ｒ３７３を差分算出回路７２４へ供給する。図１８０は、注目フレーム画像の画素配置を下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５５、Ｒ３７５、Ｒ３５７、Ｒ３７７を差分算出回路７２５へ供給する。
図１８１〜図１８５は、注目画素がＲ画素で、第３の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第３の面内加算パターンは、注目画素から右下側の周辺画素を組合せた右下側ブロックパターンである。
図１８１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５５、Ｒ１７５、Ｒ１５７、Ｒ１７７を差分算出回路７２１へ供給する。図１８２は、注目フレーム画像の画素配置を左シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３５、Ｒ１５５、Ｒ１３７、Ｒ１５７を差分算出回路７２２へ供給する。図１８３は、注目フレーム画像の画素配置を右シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１７５、Ｒ１９５、Ｒ１７７、Ｒ１９７を差分算出回路７２３へ供給する。図１８４は、注目フレーム画像の画素配置を上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５３、Ｒ１７３、Ｒ１５５、Ｒ１７５を差分算出回路７２４へ供給する。図１８５は、注目フレーム画像の画素配置を下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５７、Ｒ１７７、Ｒ１５９、Ｒ１７９を差分算出回路７２５へ供給する。
図１８６〜図１９０は、注目画素がＲ画素で、第３の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第３の面内加算パターンは、注目画素から右下側の周辺画素を組合せた右下側ブロックパターンである。
図１８６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５５、Ｒ３７５、Ｒ３５７、Ｒ３７７を差分算出回路７２１へ供給する。図１８７は、注目フレーム画像の画素配置を右シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３５、Ｒ３５５、Ｒ３３７、Ｒ３５７を差分算出回路７２２へ供給する。図１８８は、注目フレーム画像の画素配置を左シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３７５、Ｒ３９５、Ｒ３７７、Ｒ３９７を差分算出回路７２３へ供給する。図１８９は、注目フレーム画像の画素配置を上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５３、Ｒ３７３、Ｒ３５５、Ｒ３７５を差分算出回路７２４へ供給する。図１９０は、注目フレーム画像の画素配置を下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５７、Ｒ３７７、Ｒ３５９、Ｒ３７９を差分算出回路７２５へ供給する。
図１９１〜図１９５は、注目画素がＲ画素で、第４の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第４の面内加算パターンは、注目画素から左下側の周辺画素を組合せた左下側ブロックパターンである。
図１９１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３５、Ｒ１５５、Ｒ１３７、Ｒ１５７を差分算出回路７２１へ供給する。図１９２は、注目フレーム画像の画素配置を左シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１１５、Ｒ１３５、Ｒ１１７、Ｒ１３７を差分算出回路７２２へ供給する。図１９３は、注目フレーム画像の画素配置を右シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５５、Ｒ１７５、Ｒ１５７、Ｒ１７７を差分算出回路７２３へ供給する。図１９４は、注目フレーム画像の画素配置を上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３３、Ｒ１５３、Ｒ１３５、Ｒ１５５を差分算出回路７２４へ供給する。図１９５は、注目フレーム画像の画素配置を下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３７、Ｒ１５７、Ｒ１３９、Ｒ１５９を差分算出回路７２５へ供給する。
図１９６〜図２００は、注目画素がＲ画素で、第４の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第４の面内加算パターンは、注目画素から左下側の周辺画素を組合せた左下側ブロックパターンである。
図１９６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３５、Ｒ３５５、Ｒ３３７、Ｒ３５７を差分算出回路７２１へ供給する。図１９７は、注目フレーム画像の画素配置を右シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３１５、Ｒ３３５、Ｒ３１７、Ｒ３３７を差分算出回路７２２へ供給する。図１９８は、注目フレーム画像の画素配置を左シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５５、Ｒ３７５、Ｒ３５７、Ｒ３７７を差分算出回路７２３へ供給する。図１９９は、注目フレーム画像の画素配置を上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３３、Ｒ３５３、Ｒ３３５、Ｒ３５５を差分算出回路７２４へ供給する。図２００は、注目フレーム画像の画素配置を下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３７、Ｒ３５７、Ｒ３３９、Ｒ３５９を差分算出回路７２５へ供給する。
図１４の画素空間配置で注目画素がＢ画素のときの、面内４画素加算パターンと前側フレーム画像内４画素加算パターン、あるいは面内４画素加算パターンと後側フレーム画像内４画素加算パターンの組合せを図２０１〜図２４０に示す。これら図２０１〜図２４０において、フィルタ信号ＮＲ２の注目フレーム画像の面内加算パターンが示され、フレーム遅延信号ＮＲ１Ｄの前側の隣接フレーム画像の加算パターンが示され、フレーム遅延信号ＮＲ３Ｄの後側の隣接フレーム画像の加算パターンが示されている。前方参照パターン検出回路７１、後方参照パターン検出回路７２は各々、面内パターン検出回路５０で判別された面内加算パターンに対し、隣接フレーム画像の５パターンの加算パターンの中から最も相関の高い加算パターンを判別する。
図２０１〜図２０５は、注目画素がＢ画素で、第１の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第１の面内加算パターンは、注目画素から左上側の周辺画素を組合せた左上側ブロックパターンである。
図２０１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３３、Ｂ１５３、Ｂ１３５、Ｂ１５５を差分算出回路７２１へ供給する。図２０２は、注目フレーム画像の画素配置を左シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１１３、Ｂ１３３、Ｂ１１５、Ｂ１３５を差分算出回路７２２へ供給する。図２０３は、注目フレーム画像の画素配置を右シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５３、Ｂ１７３、Ｂ１５５、Ｂ１７５を差分算出回路７２３へ供給する。図２０４は、注目フレーム画像の画素配置を上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３１、Ｂ１５１、Ｂ１３３、Ｂ１５３を差分算出回路７２４へ供給する。図２０５は、注目フレーム画像の画素配置を下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３５、Ｂ１５５、Ｂ１３７、Ｂ１５７を差分算出回路７２５へ供給する。
図２０６〜図２１０は、注目画素がＢ画素で、第１の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第１の面内加算パターンは、注目画素から左上側の周辺画素を組合せた左上側ブロックパターンである。
図２０６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３３、Ｂ３５３、Ｂ３３５、Ｂ３５５を差分算出回路７２１へ供給する。図２０７は、注目フレーム画像の画素配置を右シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３１３、Ｂ３３３、Ｂ３１５、Ｂ３３５を差分算出回路７２２へ供給する。図２０８は、注目フレーム画像の画素配置を左シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５３、Ｂ３７３、Ｂ３５５、Ｂ３７５を差分算出回路７２３へ供給する。図２０９は、注目フレーム画像の画素配置を上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３１、Ｂ３５１、Ｂ３３３、Ｂ３５３を差分算出回路７２４へ供給する。図２１０は、注目フレーム画像の画素配置を下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３５、Ｂ３５５、Ｂ３３７、Ｂ３５７を差分算出回路７２５へ供給する。
図２１１〜図２１５は、注目画素がＢ画素で、第２の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第２の面内加算パターンは、注目画素から右上側の周辺画素を組合せた右上側ブロックパターンである。
図２１１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５３、Ｂ１７３、Ｂ１５５、Ｂ１７５を差分算出回路７２１へ供給する。図２１２は、注目フレーム画像の画素配置を左シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３３、Ｂ１５３、Ｂ１３５、Ｂ１５５を差分算出回路７２２へ供給する。図２１３は、注目フレーム画像の画素配置を右シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１７３、Ｂ１９３、Ｂ１７５、Ｂ１９５を差分算出回路７２３へ供給する。図２１４は、注目フレーム画像の画素配置を上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５１、Ｂ１７１、Ｂ１５３、Ｂ１７３を差分算出回路７２４へ供給する。図２１５は、注目フレーム画像の画素配置を下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５５、Ｂ１７５、Ｂ１５７、Ｂ１７７を差分算出回路７２５へ供給する。
図２１６〜図２２０は、注目画素がＢ画素で、第２の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第２の面内加算パターンは、注目画素から右上側の周辺画素を組合せた右上側ブロックパターンである。
図２１６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５３、Ｂ３７３、Ｂ３５５、Ｂ３７５を差分算出回路７２１へ供給する。図２１７は、注目フレーム画像の画素配置を右シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３３、Ｂ３５３、Ｂ３３５、Ｂ３５５を差分算出回路７２２へ供給する。図２１８は、注目フレーム画像の画素配置を左シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３７３、Ｂ３９３、Ｂ３７５、Ｂ３９５を差分算出回路７２３へ供給する。図２１９は、注目フレーム画像の画素配置を上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５１、Ｂ３７１、Ｂ３５３、Ｂ３７３を差分算出回路７２４へ供給する。図２２０は、注目フレーム画像の画素配置を下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５５、Ｂ３７５、Ｂ３５７、Ｂ３７７を差分算出回路７２５へ供給する。
図２２１〜図２２５は、注目画素がＢ画素で、第３の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第３の面内加算パターンは、注目画素から右下側の周辺画素を組合せた右下側ブロックパターンである。
図２２１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５５、Ｂ１７５、Ｂ１５７、Ｂ１７７を差分算出回路７２１へ供給する。図２２２は、注目フレーム画像の画素配置を左シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３５、Ｂ１５５、Ｂ１３７、Ｂ１５７を差分算出回路７２２へ供給する。図２２３は、注目フレーム画像の画素配置を右シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１７５、Ｂ１９５、Ｂ１７７、Ｂ１９７を差分算出回路７２３へ供給する。図２２４は、注目フレーム画像の画素配置を上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５３、Ｂ１７３、Ｂ１５５、Ｂ１７５を差分算出回路７２４へ供給する。図２２５は、注目フレーム画像の画素配置を下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５７、Ｂ１７７、Ｂ１５９、Ｂ１７９を差分算出回路７２５へ供給する。
図２２６〜図２３０は、注目画素がＢ画素で、第３の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第３の面内加算パターンは、注目画素から右下側の周辺画素を組合せた右下側ブロックパターンである。
図２２６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５５、Ｂ３７５、Ｂ３５７、Ｂ３７７を差分算出回路７２１へ供給する。図２２７は、注目フレーム画像の画素配置を右シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３５、Ｂ３５５、Ｂ３３７、Ｂ３５７を差分算出回路７２２へ供給する。図２２８は、注目フレーム画像の画素配置を左シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３７５、Ｂ３９５、Ｂ３７７、Ｂ３９７を差分算出回路７２３へ供給する。図２２９は、注目フレーム画像の画素配置を上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５３、Ｂ３７３、Ｂ３５５、Ｂ３７５を差分算出回路７２４へ供給する。図２３０は、注目フレーム画像の画素配置を下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５７、Ｂ３７７、Ｂ３５９、Ｂ３７９を差分算出回路７２５へ供給する。
図２３１〜図２３５は、注目画素がＢ画素で、第４の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第４の面内加算パターンは、注目画素から左下側の周辺画素を組合せた左下側ブロックパターンである。
図２３１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３５、Ｂ１５５、Ｂ１３７、Ｂ１５７を差分算出回路７２１へ供給する。図２３２は、注目フレーム画像の画素配置を左シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１１５、Ｂ１３５、Ｂ１１７、Ｂ１３７を差分算出回路７２２へ供給する。図２３３は、注目フレーム画像の画素配置を右シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５５、Ｂ１７５、Ｂ１５７、Ｂ１７７を差分算出回路７２３へ供給する。図２３４は、注目フレーム画像の画素配置を上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３３、Ｂ１５３、Ｂ１３５、Ｂ１５５を差分算出回路７２４へ供給する。図２３５は、注目フレーム画像の画素配置を下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３７、Ｂ１５７、Ｂ１３９、Ｂ１５９を差分算出回路７２５へ供給する。
図２３６〜図２４０は、注目画素がＢ画素で、第４の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第４の面内加算パターンは、注目画素から左下側の周辺画素を組合せた左下側ブロックパターンである。
図２３６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３５、Ｂ３５５、Ｂ３３７、Ｂ３５７を差分算出回路７２１へ供給する。図２３７は、注目フレーム画像の画素配置を右シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３１５、Ｂ３３５、Ｂ３１７、Ｂ３３７を差分算出回路７２２へ供給する。図２３８は、注目フレーム画像の画素配置を左シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５５、Ｂ３７５、Ｂ３５７、Ｂ３７７を差分算出回路７２３へ供給する。図２３９は、注目フレーム画像の画素配置を上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３３、Ｂ３５３、Ｂ３３５、Ｂ３５５を差分算出回路７２４へ供給する。図２４０は、注目フレーム画像の画素配置を下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３７、Ｂ３５７、Ｂ３３９、Ｂ３５９を差分算出回路７２５へ供給する。
面内パターン検出回路５０は、図９の最大画素値入力端子７１２及び最小画素値入力端子７１３を介して、図１２の差分算出回路７２１〜７２５へ、面内パターン検出回路５０で最も相関が高いと判別された加算パターンに対応した最大画素値ＭＡＸと最小画素値ＭＩＮを供給する。差分算出回路７２１〜７２５の各々は、図９の画素選択回路７１９から入力される４画素群Ｋ１〜Ｋ５のいずれかの画素値と、面内パターン検出回路５０から入力される最大画素値ＭＡＸと最小画素値ＭＩＮとの併せて６画素を相互に比較して、これら６画素の中での最大画素値と最小画素値を求める。次に、差分算出回路７２１〜７２５の各々は、これら最大画素値と最小画素値の差分（面間相関評価値）を求め、当該加算パターンの差分情報として最小値算出回路７４０へ供給する。
最小値算出回路７４０は、差分算出回路７２１〜７２５から入力される５パターンの画素間の差分を互いに比較して、最小の差分の加算パターンを求め、求めた加算パターンの情報を図９の画素指定回路７５０へ通知する。画素指定回路７５０は、最小値算出回路７４０から通知された加算パターンを構成する画素の画素位置を出力端子７６０から画素加算部２０へ供給する。前方参照パターン検出回路７１の出力は選択回路２１へ、後方参照パターン検出回路７２の出力は選択回路２３へそれぞれ供給される。
前記のようにＧ画素の場合は面内パターン検出回路５０で判別された１２パターンの加算パターン各々に対して、隣接フレーム画像の５パターンの加算パターンを組み合わせるように、Ｒ画素、Ｂ画素の場合は面内パターン検出回路５０で判別された４パターンの加算パターン各々に対して、隣接フレーム画像の５パターンの加算パターンを組み合わせるように構成したので、隣接フレーム画像を含めて画素加算に使う画素に、注目画素と相関の高い画素を正しく選択できるように出来、画素加算後の画像の解像度劣化を小さくすることができる。
次に、図１３を参照して、選択回路２１，２２，２３のいずれかである選択回路２ｘの動作を説明する。図１４に示されるような注目画素Ｐ５５を中心とした水平１１画素、垂直１１画素からなる画素群が遅延回路２７０でサンプリングされる。以下、図１４の画素値ＰＡＡが入力端子２００に印加されたタイミングについて説明する。Ａ／Ｄ変換器１３Ａから出力された画素値ＰＡＡは、画素加算回路１４の入力端子ＩＮａから、遅延回路３６を経て選択回路２３の入力端子２００に印加される。あるいは、Ａ／Ｄ変換器１３Ａから出力された画素値ＰＡＡは、画素加算回路１４の入力端子ＩＮａから、１フレーム遅延回路３１、遅延回路３５を経て選択回路２２の入力端子２００に印加される。あるいは、Ａ／Ｄ変換器１３Ａから出力された画素値ＰＡＡは、画素加算回路１４の入力端子ＩＮａから、１フレーム遅延回路３１、１フレーム遅延回路３２、遅延回路３４を経て選択回路２１の入力端子２００に印加される。
入力端子２００に印加された画素値ＰＡＡは、１ライン遅延回路２０１、１画素遅延回路２７００、画素選択回路２２０へ供給される。１画素遅延回路２７００は、１画素遅延した画素値Ｐ９Ａを出力する。画素値Ｐ９Ａは、１画素遅延回路２７０１、画素選択回路２２０へ供給される。１画素遅延回路２７０１は、１画素遅延した画素値Ｐ８Ａを出力する。画素値Ｐ８Ａは、１画素遅延回路２７０２、画素選択回路２２０へ供給される。１画素遅延回路２７０２は、１画素遅延した画素値Ｐ７Ａを出力する。画素値Ｐ７Ａは、１画素遅延回路２７０３、画素選択回路２２０へ供給される。１画素遅延回路２７０３は、１画素遅延した画素値Ｐ６Ａを出力する。画素値Ｐ６Ａは、１画素遅延回路２７０４、画素選択回路２２０へ供給される。１画素遅延回路２７０４は、１画素遅延した画素値Ｐ５Ａを出力する。画素値Ｐ５Ａは、１画素遅延回路２７０５、画素選択回路２２０へ供給される。１画素遅延回路２７０５は、１画素遅延した画素値Ｐ４Ａを出力する。画素値Ｐ４Ａは、１画素遅延回路２７０６、画素選択回路２２０へ供給される。１画素遅延回路２７０６は、１画素遅延した画素値Ｐ３Ａを出力する。画素値Ｐ３Ａは、１画素遅延回路２７０７、画素選択回路２２０へ供給される。１画素遅延回路２７０７は、１画素遅延した画素値Ｐ２Ａを出力する。画素値Ｐ２Ａは、１画素遅延回路２７０８、画素選択回路２２０へ供給される。１画素遅延回路２７０８は、１画素遅延した画素値Ｐ１Ａを出力する。画素値Ｐ１Ａは、１画素遅延回路２７０９、画素選択回路２２０へ供給される。１画素遅延回路２７０９は、１画素遅延した画素値Ｐ０Ａを出力する。画素値Ｐ０Ａは、画素選択回路２２０へ供給される。
１ライン遅延回路２０１は画素値ＰＡ９を出力する。画素値ＰＡ９は、１ライン遅延回路２０２、１画素遅延回路２７１０、画素選択回路２２０へ供給される。１画素遅延回路２７１０は、１画素遅延した画素値Ｐ９９を出力する。画素値Ｐ９９は、１画素遅延回路２７１１、画素選択回路２２０へ供給される。１画素遅延回路２７１１は、１画素遅延した画素値Ｐ８９を出力する。画素値Ｐ８９は、１画素遅延回路２７１２、画素選択回路２２０へ供給される。１画素遅延回路２７１２は、１画素遅延した画素値Ｐ７９を出力する。画素値Ｐ７９は、１画素遅延回路２７１３、画素選択回路２２０へ供給される。１画素遅延回路２７１３は、１画素遅延した画素値Ｐ６９を出力する。画素値Ｐ６９は、１画素遅延回路２７１４、画素選択回路２２０へ供給される。１画素遅延回路２７１４は、１画素遅延した画素値Ｐ５９を出力する。画素値Ｐ５９は、１画素遅延回路２７１５、画素選択回路２２０へ供給される。１画素遅延回路２７１５は、１画素遅延した画素値Ｐ４９を出力する。画素値Ｐ４９は、１画素遅延回路２７１６、画素選択回路２２０へ供給される。１画素遅延回路２７１６は、１画素遅延した画素値Ｐ３９を出力する。画素値Ｐ３９は、１画素遅延回路２７１７、画素選択回路２２０へ供給される。１画素遅延回路２７１７は、１画素遅延した画素値Ｐ２９を出力する。画素値Ｐ２９は、１画素遅延回路２７１８、画素選択回路２２０へ供給される。１画素遅延回路２７１８は、１画素遅延した画素値Ｐ１９を出力する。画素値Ｐ１９は、１画素遅延回路２７１９、画素選択回路２２０へ供給される。１画素遅延回路２７１９は、１画素遅延した画素値Ｐ０９を出力する。画素値Ｐ０９は、画素選択回路２２０へ供給される。１ライン遅延回路２０２は画素値ＰＡ８を出力する。画素値ＰＡ８は、１ライン遅延回路２０３、１画素遅延回路２７２０、画素選択回路２２０へ供給される。１画素遅延回路２７２０は、１画素遅延した画素値Ｐ９８を出力する。画素値Ｐ９８は、１画素遅延回路２７２１、画素選択回路２２０へ供給される。１画素遅延回路２７２１は、１画素遅延した画素値Ｐ８８を出力する。画素値Ｐ８８は、１画素遅延回路２７２２、画素選択回路２２０へ供給される。１画素遅延回路２７２２は、１画素遅延した画素値Ｐ７８を出力する。画素値Ｐ７８は、１画素遅延回路２７２３、画素選択回路２２０へ供給される。１画素遅延回路２７２３は、１画素遅延した画素値Ｐ６８を出力する。画素値Ｐ６８は、１画素遅延回路２７２４、画素選択回路２２０へ供給される。１画素遅延回路２７２４は、１画素遅延した画素値Ｐ５８を出力する。画素値Ｐ５８は、１画素遅延回路２７２５、画素選択回路２２０へ供給される。１画素遅延回路２７２５は、１画素遅延した画素値Ｐ４８を出力する。画素値Ｐ４８は、１画素遅延回路２７２６、画素選択回路２２０へ供給される。１画素遅延回路２７２６は、１画素遅延した画素値Ｐ３８を出力する。画素値Ｐ３８は、１画素遅延回路２７２７、画素選択回路２２０へ供給される。１画素遅延回路２７２７は、１画素遅延した画素値Ｐ２８を出力する。画素値Ｐ２８は、１画素遅延回路２７２８、画素選択回路２２０へ供給される。１画素遅延回路２７２８は、１画素遅延した画素値Ｐ１８を出力する。画素値Ｐ１８は、１画素遅延回路２７２９、画素選択回路２２０へ供給される。１画素遅延回路２７２９は、１画素遅延した画素値Ｐ０８を出力する。画素値Ｐ０８は、画素選択回路２２０へ供給される。
１ライン遅延回路２０３は画素値ＰＡ７を出力する。画素値ＰＡ７は、１ライン遅延回路２０４、１画素遅延回路２７３０、画素選択回路２２０へ供給される。１画素遅延回路２７３０は、１画素遅延した画素値Ｐ９７を出力する。画素値Ｐ９７は、１画素遅延回路２７３１、画素選択回路２２０へ供給される。１画素遅延回路２７３１は、１画素遅延した画素値Ｐ８７を出力する。画素値Ｐ８７は、１画素遅延回路２７３２、画素選択回路２２０へ供給される。１画素遅延回路２７３２は、１画素遅延した画素値Ｐ７７を出力する。画素値Ｐ７７は、１画素遅延回路２７３３、画素選択回路２２０へ供給される。１画素遅延回路２７３３は、１画素遅延した画素値Ｐ６７を出力する。画素値Ｐ６７は、１画素遅延回路２７３４、画素選択回路２２０へ供給される。１画素遅延回路２７３４は、１画素遅延した画素値Ｐ５７を出力する。画素値Ｐ５７は、１画素遅延回路２７３５、画素選択回路２２０へ供給される。１画素遅延回路２７３５は、１画素遅延した画素値Ｐ４７を出力する。画素値Ｐ４７は、１画素遅延回路２７３６、画素選択回路２２０へ供給される。１画素遅延回路２７３６は、１画素遅延した画素値Ｐ３７を出力する。画素値Ｐ３７は、１画素遅延回路２７３７、画素選択回路２２０へ供給される。１画素遅延回路２７３７は、１画素遅延した画素値Ｐ２７を出力する。画素値Ｐ２７は、１画素遅延回路２７３８、画素選択回路２２０へ供給される。１画素遅延回路２７３８は、１画素遅延した画素値Ｐ１７を出力する。画素値Ｐ１７は、１画素遅延回路２７３９、画素選択回路２２０へ供給される。１画素遅延回路２７３９は、１画素遅延した画素値Ｐ０７を出力する。画素値Ｐ０７は、画素選択回路２２０へ供給される。
１ライン遅延回路２０４は画素値ＰＡ６を出力する。画素値ＰＡ６は、１ライン遅延回路２０５、１画素遅延回路２７４０、画素選択回路２２０へ供給される。１画素遅延回路２７４０は、１画素遅延した画素値Ｐ９６を出力する。画素値Ｐ９６は、１画素遅延回路２７４１、画素選択回路２２０へ供給される。１画素遅延回路２７４１は、１画素遅延した画素値Ｐ８６を出力する。画素値Ｐ８６は、１画素遅延回路２７４２、画素選択回路２２０へ供給される。１画素遅延回路２７４２は、１画素遅延した画素値Ｐ７６を出力する。画素値Ｐ７６は、１画素遅延回路２７４３、画素選択回路２２０へ供給される。１画素遅延回路２７４３は、１画素遅延した画素値Ｐ６６を出力する。画素値Ｐ６６は、１画素遅延回路２７４４、画素選択回路２２０へ供給される。１画素遅延回路２７４４は、１画素遅延した画素値Ｐ５６を出力する。画素値Ｐ５６は、１画素遅延回路２７４５、画素選択回路２２０へ供給される。１画素遅延回路２７４５は、１画素遅延した画素値Ｐ４６を出力する。画素値Ｐ４６は、１画素遅延回路２７４６、画素選択回路２２０へ供給される。１画素遅延回路２７４６は、１画素遅延した画素値Ｐ３６を出力する。画素値Ｐ３６は、１画素遅延回路２７４７、画素選択回路２２０へ供給される。１画素遅延回路２７４７は、１画素遅延した画素値Ｐ２６を出力する。画素値Ｐ２６は、１画素遅延回路２７４８、画素選択回路２２０へ供給される。１画素遅延回路２７４８は、１画素遅延した画素値Ｐ１６を出力する。画素値Ｐ１６は、１画素遅延回路２７４９、画素選択回路２２０へ供給される。１画素遅延回路２７４９は、１画素遅延した画素値Ｐ０６を出力する。画素値Ｐ０６は、画素選択回路２２０へ供給される。
１ライン遅延回路２０５は画素値ＰＡ５を出力する。画素値ＰＡ５は、１ライン遅延回路２０６、１画素遅延回路２７５０、画素選択回路２２０へ供給される。１画素遅延回路２７５０は、１画素遅延した画素値Ｐ９５を出力する。画素値Ｐ９５は、１画素遅延回路２７５１、画素選択回路２２０へ供給される。１画素遅延回路２７５１は、１画素遅延した画素値Ｐ８５を出力する。画素値Ｐ８５は、１画素遅延回路２７５２、画素選択回路２２０へ供給される。１画素遅延回路２７５２は、１画素遅延した画素値Ｐ７５を出力する。画素値Ｐ７５は、１画素遅延回路２７５３、画素選択回路２２０へ供給される。１画素遅延回路２７５３は、１画素遅延した画素値Ｐ６５を出力する。画素値Ｐ６５は、１画素遅延回路２７５４、画素選択回路２２０へ供給される。１画素遅延回路２７５４は、１画素遅延した画素値Ｐ５５を出力する。画素値Ｐ５５は、１画素遅延回路２７５５、画素選択回路２２０へ供給される。１画素遅延回路２７５５は、１画素遅延した画素値Ｐ４５を出力する。画素値Ｐ４５は、１画素遅延回路２７５６、画素選択回路２２０へ供給される。１画素遅延回路２７５６は、１画素遅延した画素値Ｐ３５を出力する。画素値Ｐ３５は、１画素遅延回路２７５７、画素選択回路２２０へ供給される。１画素遅延回路２７５７は、１画素遅延した画素値Ｐ２５を出力する。画素値Ｐ２５は、１画素遅延回路２７５８、画素選択回路２２０へ供給される。１画素遅延回路２７５８は、１画素遅延した画素値Ｐ１５を出力する。画素値Ｐ１５は、１画素遅延回路２７５９、画素選択回路２２０へ供給される。１画素遅延回路２７５９は、１画素遅延した画素値Ｐ０５を出力する。画素値Ｐ０５は、画素選択回路２２０へ供給される。
１ライン遅延回路２０６は画素値ＰＡ４を出力する。画素値ＰＡ４は、１ライン遅延回路２０７、１画素遅延回路２７６０、画素選択回路２２０へ供給される。１画素遅延回路２７６０は、１画素遅延した画素値Ｐ９４を出力する。画素値Ｐ９４は、１画素遅延回路２７６１、画素選択回路２２０へ供給される。１画素遅延回路２７６１は、１画素遅延した画素値Ｐ８４を出力する。画素値Ｐ８４は、１画素遅延回路２７６２、画素選択回路２２０へ供給される。１画素遅延回路２７６２は、１画素遅延した画素値Ｐ７４を出力する。画素値Ｐ７４は、１画素遅延回路２７６３、画素選択回路２２０へ供給される。１画素遅延回路２７６３は、１画素遅延した画素値Ｐ６４を出力する。画素値Ｐ６４は、１画素遅延回路２７６４、画素選択回路２２０へ供給される。１画素遅延回路２７６４は、１画素遅延した画素値Ｐ５４を出力する。画素値Ｐ５４は、１画素遅延回路２７６５、画素選択回路２２０へ供給される。１画素遅延回路２７６５は、１画素遅延した画素値Ｐ４４を出力する。画素値Ｐ４４は、１画素遅延回路２７６６、画素選択回路２２０へ供給される。１画素遅延回路２７６６は、１画素遅延した画素値Ｐ３４を出力する。画素値Ｐ３４は、１画素遅延回路２７６７、画素選択回路２２０へ供給される。１画素遅延回路２７６７は、１画素遅延した画素値Ｐ２４を出力する。画素値Ｐ２４は、１画素遅延回路２７６８、画素選択回路２２０へ供給される。１画素遅延回路２７６８は、１画素遅延した画素値Ｐ１４を出力する。画素値Ｐ１４は、１画素遅延回路２７６９、画素選択回路２２０へ供給される。１画素遅延回路２７６９は、１画素遅延した画素値Ｐ０４を出力する。画素値Ｐ０４は、画素選択回路２２０へ供給される。
１ライン遅延回路２０７は画素値ＰＡ３を出力する。画素値ＰＡ３は、１ライン遅延回路２０８、１画素遅延回路２７７０、画素選択回路２２０へ供給される。１画素遅延回路２７７０は、１画素遅延した画素値Ｐ９３を出力する。画素値Ｐ９３は、１画素遅延回路２７７１、画素選択回路２２０へ供給される。１画素遅延回路２７７１は、１画素遅延した画素値Ｐ８３を出力する。画素値Ｐ８３は、１画素遅延回路２７７２、画素選択回路２２０へ供給される。１画素遅延回路２７７２は、１画素遅延した画素値Ｐ７３を出力する。画素値Ｐ７３は、１画素遅延回路２７７３、画素選択回路２２０へ供給される。１画素遅延回路２７７３は、１画素遅延した画素値Ｐ６３を出力する。画素値Ｐ６３は、１画素遅延回路２７７４、画素選択回路２２０へ供給される。１画素遅延回路２７７４は、１画素遅延した画素値Ｐ５３を出力する。画素値Ｐ５３は、１画素遅延回路２７７５、画素選択回路２２０へ供給される。１画素遅延回路２７７５は、１画素遅延した画素値Ｐ４３を出力する。画素値Ｐ４３は、１画素遅延回路２７７６、画素選択回路２２０へ供給される。１画素遅延回路２７７６は、１画素遅延した画素値Ｐ３３を出力する。画素値Ｐ３３は、１画素遅延回路２７７７、画素選択回路２２０へ供給される。１画素遅延回路２７７７は、１画素遅延した画素値Ｐ２３を出力する。画素値Ｐ２３は、１画素遅延回路２７７８、画素選択回路２２０へ供給される。１画素遅延回路２７７８は、１画素遅延した画素値Ｐ１３を出力する。画素値Ｐ１３は、１画素遅延回路２７７９、画素選択回路２２０へ供給される。１画素遅延回路２７７９は、１画素遅延した画素値Ｐ０３を出力する。画素値Ｐ０３は、画素選択回路２２０へ供給される。
１ライン遅延回路２０８は画素値ＰＡ２を出力する。画素値ＰＡ２は、１ライン遅延回路２０９、１画素遅延回路２７８０、画素選択回路２２０へ供給される。１画素遅延回路２７８０は、１画素遅延した画素値Ｐ９２を出力する。画素値Ｐ９２は、１画素遅延回路２７８１、画素選択回路２２０へ供給される。１画素遅延回路２７８１は、１画素遅延した画素値Ｐ８２を出力する。画素値Ｐ８２は、１画素遅延回路２７８２、画素選択回路２２０へ供給される。１画素遅延回路２７８２は、１画素遅延した画素値Ｐ７２を出力する。画素値Ｐ７２は、１画素遅延回路２７８３、画素選択回路２２０へ供給される。１画素遅延回路２７８３は、１画素遅延した画素値Ｐ６２を出力する。画素値Ｐ６２は、１画素遅延回路２７８４、画素選択回路２２０へ供給される。１画素遅延回路２７８４は、１画素遅延した画素値Ｐ５２を出力する。画素値Ｐ５２は、１画素遅延回路２７８５、画素選択回路２２０へ供給される。１画素遅延回路２７８５は、１画素遅延した画素値Ｐ４２を出力する。画素値Ｐ４２は、１画素遅延回路２７８６、画素選択回路２２０へ供給される。１画素遅延回路２７８６は、１画素遅延した画素値Ｐ３２を出力する。画素値Ｐ３２は、１画素遅延回路２７８７、画素選択回路２２０へ供給される。１画素遅延回路２７８７は、１画素遅延した画素値Ｐ２２を出力する。画素値Ｐ２２は、１画素遅延回路２７８８、画素選択回路２２０へ供給される。１画素遅延回路２７８８は、１画素遅延した画素値Ｐ１２を出力する。画素値Ｐ１２は、１画素遅延回路２７８９、画素選択回路２２０へ供給される。１画素遅延回路２７８９は、１画素遅延した画素値Ｐ０２を出力する。画素値Ｐ０２は、画素選択回路２２０へ供給される。
１ライン遅延回路２０９は画素値ＰＡ１を出力する。画素値ＰＡ１は、１ライン遅延回路２１０、１画素遅延回路２７９０、画素選択回路２２０へ供給される。１画素遅延回路２７９０は、１画素遅延した画素値Ｐ９１を出力する。画素値Ｐ９１は、１画素遅延回路２７９１、画素選択回路２２０へ供給される。１画素遅延回路２７９１は、１画素遅延した画素値Ｐ８１を出力する。画素値Ｐ８１は、１画素遅延回路２７９２、画素選択回路２２０へ供給される。１画素遅延回路２７９２は、１画素遅延した画素値Ｐ７１を出力する。画素値Ｐ７１は、１画素遅延回路２７９３、画素選択回路２２０へ供給される。１画素遅延回路２７９３は、１画素遅延した画素値Ｐ６１を出力する。画素値Ｐ６１は、１画素遅延回路２７９４、画素選択回路２２０へ供給される。１画素遅延回路２７９４は、１画素遅延した画素値Ｐ５１を出力する。画素値Ｐ５１は、１画素遅延回路２７９５、画素選択回路２２０へ供給される。１画素遅延回路２７９５は、１画素遅延した画素値Ｐ４１を出力する。画素値Ｐ４１は、１画素遅延回路２７９６、画素選択回路２２０へ供給される。１画素遅延回路２７９６は、１画素遅延した画素値Ｐ３１を出力する。画素値Ｐ３１は、１画素遅延回路２７９７、画素選択回路２２０へ供給される。１画素遅延回路２７９７は、１画素遅延した画素値Ｐ２１を出力する。画素値Ｐ２１は、１画素遅延回路２７９８、画素選択回路２２０へ供給される。１画素遅延回路２７９８は、１画素遅延した画素値Ｐ１１を出力する。画素値Ｐ１１は、１画素遅延回路２７９９、画素選択回路２２０へ供給される。１画素遅延回路２７９９は、１画素遅延した画素値Ｐ０１を出力する。画素値Ｐ０１は、画素選択回路２２０へ供給される。
１ライン遅延回路２１０は画素値ＰＡ０を出力する。画素値ＰＡ０は、１画素遅延回路２８００、画素選択回路２２０へ供給される。１画素遅延回路２８００は、１画素遅延した画素値Ｐ９０を出力する。画素値Ｐ９０は、１画素遅延回路２８０１、画素選択回路２２０へ供給される。１画素遅延回路２８０１は、１画素遅延した画素値Ｐ８０を出力する。画素値Ｐ８０は、１画素遅延回路２８０２、画素選択回路２２０へ供給される。１画素遅延回路２８０２は、１画素遅延した画素値Ｐ７０を出力する。画素値Ｐ７０は、１画素遅延回路２８０３、画素選択回路２２０へ供給される。１画素遅延回路２８０３は、１画素遅延した画素値Ｐ６０を出力する。画素値Ｐ６０は、１画素遅延回路２８０４、画素選択回路２２０へ供給される。１画素遅延回路２８０４は、１画素遅延した画素値Ｐ５０を出力する。画素値Ｐ５０は、１画素遅延回路２８０５、画素選択回路２２０へ供給される。１画素遅延回路２８０５は、１画素遅延した画素値Ｐ４０を出力する。画素値Ｐ４０は、１画素遅延回路２８０６、画素選択回路２２０へ供給される。１画素遅延回路２８０６は、１画素遅延した画素値Ｐ３０を出力する。画素値Ｐ３０は、１画素遅延回路２８０７、画素選択回路２２０へ供給される。１画素遅延回路２８０７は、１画素遅延した画素値Ｐ２０を出力する。画素値Ｐ２０は、１画素遅延回路２８０８、画素選択回路２２０へ供給される。１画素遅延回路２８０８は、１画素遅延した画素値Ｐ１０を出力する。画素値Ｐ１０は、１画素遅延回路２８０９、画素選択回路２２０へ供給される。１画素遅延回路２８０９は、１画素遅延した画素値Ｐ００を出力する。画素値Ｐ００は、画素選択回路２２０へ供給される。
同期信号発生回路１８は、同期信号入力端子２１８を介して画素選択回路２２０へ水平同期信号ＨＤと垂直同期信号ＶＤを供給するので、画素選択回路２２０は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目フレーム画像の注目画素Ｐ５５、あるいは隣接フレーム画像の注目画素相当のＰ５５の画素位置を判断して、色フィルタ配列に対応する注目画素の画素位置を特定する。また、注目画素が、Ｒ画素かＧ画素かＢ画素かも特定できる。面内パターン検出回路５０、前方参照パターン検出回路７１、後方参照パターン検出回路７２から指定された加算すべき画素の画素位置も特定できる。
図２を参照すると、選択回路２１，２２，２３は、加算パターンに対応する４画素の画素値を加算演算回路２４へ供給する。ＭＰＵ１９は、制御端子１７を介して加算演算回路２４へ１倍から１２倍の増感倍率Ｌを設定する。加算演算回路２４は、選択回路２１，２２，２３から供給された各４画素、合計１２画素の画素値を加算して出力端子ＯＵＴａを介して映像信号処理回路１５へ供給する。
注目画素がＧ画素のときに、フレーム画像間で動きが無いときの動作例を図４１と図４６について説明する。
注目フレーム画像で画像領域「上側ブロックパターン」が最も注目画素との相関が高く、前側フレーム画像で注目フレーム画像の画素配置と同じ画素配置が最も注目画素との相関が高く、側フレーム画像で注目フレーム画像の画素配置と同じ画素配置が最も注目画素との相関が高い場合、加算演算回路２４は、次式の演算を行う。
Ｇ＝（Ｇ１５３＋Ｇ１４４＋Ｇ１６４＋Ｇ１５５
＋Ｇ５３＋Ｇ４４＋Ｇ６４＋Ｇ５５
＋Ｇ３５３＋Ｇ３４４＋Ｇ３６４＋Ｇ３５５）×Ｌ／１２
注目画素がＧ画素のときに、フレーム画像間で動きが有るときの動作例を図４２と図４８について説明する。
注目フレーム画像で画像領域「上側ブロックパターン」が最も注目画素との相関が高く、前側フレーム画像で注目フレーム画像の画素配置を左上シフトした画素配置が最も注目画素との相関が高く、後側フレーム画像で注目フレーム画像の画素配置を右下シフトした画素配置が最も注目画素との相関が高い場合、加算演算回路２４は、次式の演算を行う。
Ｇ＝（Ｇ１５３＋Ｇ１４４＋Ｇ１６４＋Ｇ１５５
＋Ｇ５３＋Ｇ４４＋Ｇ６４＋Ｇ５５
＋Ｇ３５３＋Ｇ３４４＋Ｇ３６４＋Ｇ３５５）×Ｌ／１２
注目画素がＲ画素のときに、フレーム画像間で動きが無いときの動作例を図１６１と図１６６について説明する。
注目フレーム画像で画像領域「左上側ブロックパターン」が最も注目画素との相関が高く、前側フレーム画像で注目フレーム画像の画素配置と同じ画素配置が最も注目画素との相関が高く、後側フレーム画像で注目フレーム画像の画素配置と同じ画素配置が最も注目画素との相関が高い場合、加算演算回路２４は、次式の演算を行う。
Ｒ＝（Ｒ１３３＋Ｒ１５３＋Ｒ１３５＋Ｒ１５５
＋Ｒ３３＋Ｒ５３＋Ｒ３５＋Ｒ５５
＋Ｒ３３３＋Ｒ３５３＋Ｒ３３５＋Ｒ３５５）×Ｌ／１２
注目画素がＲ画素のときに、フレーム画像間で動きが有るときの動作例を図１６２と図１６８について説明する。
注目フレーム画像で画像領域「上側ブロックパターン」が最も注目画素との相関が高く、前側フレーム画像で注目フレーム画像の画素配置を左シフトした画素配置が最も注目画素との相関が高く、後側フレーム画像で注目フレーム画像の画素配置を右シフトした画素配置が最も注目画素との相関が高い場合、加算演算回路２４は、次式の演算を行う。
Ｒ＝（Ｒ１１３＋Ｒ１３３＋Ｒ１１５＋Ｒ１３５
＋Ｒ３３＋Ｒ５３＋Ｒ３５＋Ｒ５５
＋Ｒ３５３＋Ｒ３７３＋Ｒ３５５＋Ｒ３７５）×Ｌ／１２
注目画素がＢ画素のときに、フレーム画像間で動きが無いときの動作例を図２０１と図２０６について説明する。
注目フレーム画像で画像領域「左上側ブロックパターン」が最も注目画素との相関が高く、前側フレーム画像で注目フレーム画像の画素配置と同じ画素配置が最も注目画素との相関が高く、後側フレーム画像で注目フレーム画像の画素配置と同じ画素配置が最も注目画素との相関が高い場合、加算演算回路２４は、次式の演算を行う。
Ｂ＝（Ｂ１３３＋Ｂ１５３＋Ｂ１３５＋Ｂ１５５
＋Ｂ３３＋Ｂ５３＋Ｂ３５＋Ｂ５５
＋Ｂ３３３＋Ｂ３５３＋Ｂ３３５＋Ｂ３５５）×Ｌ／１２
注目画素がＢ画素のときに、フレーム画像間で動きが有るときの動作例を図２０２と図２０８について説明する。
注目フレーム画像で画像領域「上側ブロックパターン」が最も注目画素との相関が高く、前側フレーム画像で注目フレーム画像の画素配置を左シフトした画素配置が最も注目画素との相関が高く、後側フレーム画像で注目フレーム画像の画素配置を右シフトした画素配置が最も注目画素との相関が高い場合、加算演算回路２４は、次式の演算を行う。
Ｂ＝（Ｂ１１３＋Ｂ１３３＋Ｂ１１５＋Ｂ１３５
＋Ｂ３３＋Ｂ５３＋Ｂ３５＋Ｂ５５
＋Ｂ３５３＋Ｂ３７３＋Ｂ３５５＋Ｂ３７５）×Ｌ／１２
上記実施の形態では、画素加算を、縦、横、斜めパターン、ブロックパターンなど、解像度の高い被写体を含む画像を想定した加算パターンを使うように構成したので、相関の高い画素同士が加算できる。解像度の高い被写体を含むシーンを画素加算した場合でも、高解像度部分がぼやけることを防ぐ効果がある。
Ｒ画素とＢ画素の加算パターンも、Ｇ画素同様に、縦、横、斜めパターンも含めて相関を判定するように構成してもよい。Ｒ画素とＢ画素の場合は、Ｇ画素よりも加算対象の画素間の距離が長くなることから相関判定の誤判定の危険性が高まること、また回路規模が大きくなること、また人間の色の変化に対する感度が輝度よりも低いことなどを総合的に判断して加算パターンを決める。
上記実施の形態では、注目フレーム画像及び、前後の隣接フレーム画像の各面内での加算画素数が４画素、３面あわせて合計１２画素加算まで可能な場合について説明したが、例えば、各面内での加算画素数が２画素、３面あわせて合計６画素加算することもできる。前記増感倍率Ｌは１〜１２倍まで設定できるが、増感倍率Ｌが７〜１２倍のときは、面内での加算画素数が４画素の加算パターンを使用し、増感倍率Ｌが１〜６倍のときは、面内での加算画素数が２画素の加算パターンを使用することで、解像度の低下を最低限に抑えた高感度化が可能となる。図について面内での加算画素数が２画素の加算パターンについて説明する。図２４１〜図２６４について注目フレーム画像の２画素の加算パターンを示す。
図２４１は、注目画素から上側の周辺画素を組合せた上側縦ラインパターンである。画素選択回路５９９は、画素値Ｇ５３、Ｇ５５を差分算出回路６０１へ供給する。図２４２は、注目画素から下側の周辺画素を組合せた下側縦ラインパターンである。画素選択回路５９９は、画素値Ｇ５５、Ｇ５７を差分算出回路６０２へ供給する。図２４３は、注目画素から左側の周辺画素を組合せた左側ブロックパターンである。画素選択回路５９９は、画素値Ｇ３５、Ｇ５５を差分算出回路６０３へ供給する。図２４４は、注目画素から右側の周辺画素を組合せた右側ブロックパターンである。画素選択回路５９９は、画素値Ｇ５５、Ｇ７５を差分算出回路６０４へ供給する。
図２４５は、注目画素から右上側の周辺画素を組合せた右上側斜めラインパターンである。画素選択回路５９９は、画素値Ｇ６４、Ｇ５５を差分算出回路６０５へ供給する。図２４６は、注目画素から右下側の周辺画素を組合せた右下側斜めラインパターンである。画素選択回路５９９は、画素値Ｇ５５、Ｇ６６を差分算出回路６０６へ供給する。図２４７は、注目画素から左下側の周辺画素を組合せた左下側斜めラインパターンである。画素選択回路５９９は、画素値Ｇ５５、Ｇ４６を差分算出回路６０７へ供給する。図２４８は、注目画素から左上側の周辺画素を組合せた左上側斜めラインパターンである。画素選択回路５９９は、画素値Ｇ４４、Ｇ５５を差分算出回路６０８へ供給する。
図２４９は、注目画素から上側の周辺画素を組合せた上側縦ラインパターンである。画素選択回路５９９は、画素値Ｒ５３、Ｒ５５を差分算出回路６０１へ供給する。図２５０は、注目画素から下側の周辺画素を組合せた下側縦ラインパターンである。画素選択回路５９９は、画素値Ｒ５５、Ｒ５７を差分算出回路６０２へ供給する。図２５１は、注目画素から左側の周辺画素を組合せた左側ブロックパターンである。画素選択回路５９９は、画素値Ｒ３５、Ｒ５５を差分算出回路６０３へ供給する。図２５２は、注目画素から右側の周辺画素を組合せた右側ブロックパターンである。画素選択回路５９９は、画素値Ｒ５５、Ｒ７５を差分算出回路６０４へ供給する。
図２５３は、注目画素から右上側の周辺画素を組合せた右上側斜めラインパターンである。画素選択回路５９９は、画素値Ｒ７３、Ｒ５５を差分算出回路６０５へ供給する。図２５４は、注目画素から右下側の周辺画素を組合せた右下側斜めラインパターンである。画素選択回路５９９は、画素値Ｒ５５、Ｒ７７を差分算出回路６０６へ供給する。図２５５は、注目画素から左下側の周辺画素を組合せた左下側斜めラインパターンである。画素選択回路５９９は、画素値Ｒ５５、Ｒ３７を差分算出回路６０７へ供給する。図２５６は、注目画素から左上側の周辺画素を組合せた左上側斜めラインパターンである。画素選択回路５９９は、画素値Ｒ３３、Ｒ５５を差分算出回路６０８へ供給する。
図２５７は、注目画素から上側の周辺画素を組合せた上側縦ラインパターンである。画素選択回路５９９は、画素値Ｂ５３、Ｂ５５を差分算出回路６０１へ供給する。図２５８は、注目画素から下側の周辺画素を組合せた下側縦ラインパターンである。画素選択回路５９９は、画素値Ｂ５５、Ｂ５７を差分算出回路６０２へ供給する。図２５９は、注目画素から左側の周辺画素を組合せた左側ブロックパターンである。画素選択回路５９９は、画素値Ｂ３５、Ｂ５５を差分算出回路６０３へ供給する。図２６０は、注目画素から右側の周辺画素を組合せた右側ブロックパターンである。画素選択回路５９９は、画素値Ｂ５５、Ｂ７５を差分算出回路６０４へ供給する。
図２６１は、注目画素から右上側の周辺画素を組合せた右上側斜めラインパターンである。画素選択回路５９９は、画素値Ｂ７３、Ｂ５５を差分算出回路６０５へ供給する。図２６２は、注目画素から右下側の周辺画素を組合せた右下側斜めラインパターンである。画素選択回路５９９は、画素値Ｂ５５、Ｂ７７を差分算出回路６０６へ供給する。図２６３は、注目画素から左下側の周辺画素を組合せた左下側斜めラインパターンである。画素選択回路５９９は、画素値Ｂ５５、Ｂ３７を差分算出回路６０７へ供給する。図２６４は、注目画素から左上側の周辺画素を組合せた左上側斜めラインパターンである。画素選択回路５９９は、画素値Ｂ３３、Ｂ５５を差分算出回路６０８へ供給する。
次に、図２６５〜図４４０について隣接フレーム画像の２画素の加算パターンを示す。
図２６５〜図２６９は、注目画素がＧ画素で、第１の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第１の面内加算パターンは、注目画素から上側の周辺画素を組合せた上側縦ラインパターンである。
図２６５は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５３、Ｇ１５５を差分算出回路７２１へ供給する。図２６６は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４２、Ｇ１４４を差分算出回路７２２へ供給する。図２６７は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１４６を差分算出回路７２３へ供給する。図２６８は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６２、Ｇ１６４を差分算出回路７２４へ供給する。図２６９は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６４、Ｇ１６６を差分算出回路７２５へ供給する。
図２７０〜図２７４は、注目画素がＧ画素で、第１の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第１の面内加算パターンは、注目画素から上側の周辺画素を組合せた上側縦ラインパターンである。
図２７０は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５３、Ｇ３５５を差分算出回路７２１へ供給する。図２７１は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４２、Ｇ３４４を差分算出回路７２２へ供給する。図２７２は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３４６を差分算出回路７２３へ供給する。図２７３は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６２、Ｇ３６４を差分算出回路７２４へ供給する。図２７４は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６４、Ｇ３６６を差分算出回路７２５へ供給する。
図２７５〜図２７９は、注目画素がＧ画素で、第２の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第２の面内加算パターンは、注目画素から下側の周辺画素を組合せた下側縦ラインパターンである。
図２７５は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５５、Ｇ１５７を差分算出回路７２１へ供給する。図２７６は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１４６を差分算出回路７２２へ供給する。図２７７は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４６、Ｇ１４８を差分算出回路７２３へ供給する。図２７８は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６４、Ｇ１６６を差分算出回路７２４へ供給する。図２７９は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６６、Ｇ１６８を差分算出回路７２５へ供給する。
図２８０〜図２８４は、注目画素がＧ画素で、第２の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第２の面内加算パターンは、注目画素から下側の周辺画素を組合せた下側縦ラインパターンである。
図２８０は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５５、Ｇ３５７を差分算出回路７２１へ供給する。図２８１は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３４６を差分算出回路７２２へ供給する。図２８２は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４６、Ｇ３４８を差分算出回路７２３へ供給する。図２８３は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６４、Ｇ３６６を差分算出回路７２４へ供給する。図２８４は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６６、Ｇ３６８を差分算出回路７２５へ供給する。
図２８５〜図２８９は、注目画素がＧ画素で、第３の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第３の面内加算パターンは、注目画素から左側の周辺画素を組合せた左側横ラインパターンである。
図２８５は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３５、Ｇ１５５を差分算出回路７２１へ供給する。図２８６は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１２４、Ｇ１４４を差分算出回路７２２へ供給する。図２８７は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１６４を差分算出回路７２３へ供給する。図２８８は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１２６、Ｇ１４６を差分算出回路７２４へ供給する。図２８９は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４６、Ｇ１６６を差分算出回路７２５へ供給する。
図２９０〜図２９４は、注目画素がＧ画素で、第３の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第３の面内加算パターンは、注目画素から左側の周辺画素を組合せた左側横ラインパターンである。
図２９０は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３５、Ｇ３５５を差分算出回路７２１へ供給する。図２９１は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３２４、Ｇ３４４を差分算出回路７２２へ供給する。図２９２は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３６４を差分算出回路７２３へ供給する。図２９３は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値ＧＧ３２６、Ｇ３４６を差分算出回路７２４へ供給する。図２９４は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４６、Ｇ３６６を差分算出回路７２５へ供給する。
図２９５〜図２９９は、注目画素がＧ画素で、第４の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第４の面内加算パターンは、注目画素から右側の周辺画素を組合せた右側横ラインパターンである。
図２９５は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５５、Ｇ１７５を差分算出回路７２１へ供給する。図２９６は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１６４を差分算出回路７２２へ供給する。図２９７は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６４、Ｇ１８４を差分算出回路７２３へ供給する。図２９８は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４６、Ｇ１６６を差分算出回路７２４へ供給する。図２９９は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６６、Ｇ１８６を差分算出回路７２５へ供給する。
図３００〜図３０４は、注目画素がＧ画素で、第４の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第４の面内加算パターンは、注目画素から右側の周辺画素を組合せた右側横ラインパターンである。
図３００は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５５、Ｇ３７５を差分算出回路７２１へ供給する。図３０１は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３６４を差分算出回路７２２へ供給する。図３０２は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６４、Ｇ３８４を差分算出回路７２３へ供給する。図３０３は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４６、Ｇ３６６を差分算出回路７２４へ供給する。図３０４は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６６、Ｇ３８６を差分算出回路７２５へ供給する。
図３０５〜図３０９は、注目画素がＧ画素で、第５の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第５の面内加算パターンは、注目画素から右上側の周辺画素を組合せた右上側斜めラインパターンである。
図３０５は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６４、Ｇ１５５を差分算出回路７２１へ供給する。図３０６は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６４、Ｇ１７３を差分算出回路７２２へ供給する。図３０７は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５５、Ｇ１４６を差分算出回路７２３へ供給する。図３０８は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１５３を差分算出回路７２４へ供給する。図３０９は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６６、Ｇ１７５を差分算出回路７２５へ供給する。
図３１０〜図３１４は、注目画素がＧ画素で、第５の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第５の面内加算パターンは、注目画素から右上側の周辺画素を組合せた右上側斜めラインパターンである。
図３１０は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６４、Ｇ３５５を差分算出回路７２１へ供給する。図３１１は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６４、Ｇ３７３を差分算出回路７２２へ供給する。図３１２は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４６、Ｇ３５５を差分算出回路７２３へ供給する。図３１３は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３５３を差分算出回路７２４へ供給する。図３１４は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６６、Ｇ３７５を差分算出回路７２５へ供給する。
図３１５〜図３１９は、注目画素がＧ画素で、第６の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第６の面内加算パターンは、注目画素から右下側の周辺画素を組合せた右下側斜めラインパターンである。
図３１５は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５５、Ｇ１６６を差分算出回路７２１へ供給する。図３１６は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１５５を差分算出回路７２２へ供給する。図３１７は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６６、Ｇ１７７を差分算出回路７２３へ供給する。図３１８は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１６４、Ｇ１７５を差分算出回路７２４へ供給する。図３１９は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４６、Ｇ１５７を差分算出回路７２５へ供給する。
図３２０〜図３２４は、注目画素がＧ画素で、第６の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第６の面内加算パターンは、注目画素から右下側の周辺画素を組合せた右下側斜めラインパターンである。
図３２０は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５５、Ｇ３６６を差分算出回路７２１へ供給する。図３２１は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３５５を差分算出回路７２２へ供給する。図３２２は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６６、Ｇ３７７を差分算出回路７２３へ供給する。図３２３は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３６４、Ｇ３７５を差分算出回路７２４へ供給する。図３２４は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４６、Ｇ３５７を差分算出回路７２５へ供給する。
図３２５〜図３２９は、注目画素がＧ画素で、第７の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第７の面内加算パターンは、注目画素から左下側の周辺画素を組合せた左下側斜めラインパターンである。
図３２５は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４６、Ｇ１５５を差分算出回路７２１へ供給する。図３２６は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５５、Ｇ１６４を差分算出回路７２２へ供給する。図３２７は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３７、Ｇ１４６を差分算出回路７２３へ供給する。図３２８は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３５、Ｇ１４４を差分算出回路７２４へ供給する。図３２９は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５７、Ｇ１６６を差分算出回路７２５へ供給する。
図３３０〜図３３４は、注目画素がＧ画素で、第７の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第７の面内加算パターンは、注目画素から左下側の周辺画素を組合せた左下側斜めラインパターンである。
図３３０は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４６、Ｇ３５５を差分算出回路７２１へ供給する。図３３１は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５５、Ｇ３６４を差分算出回路７２２へ供給する。図３３２は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３７、Ｇ３４６を差分算出回路７２３へ供給する。図３３３は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３５、Ｇ３４４を差分算出回路７２４へ供給する。図３３４は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５７、Ｇ３６６を差分算出回路７２５へ供給する。
図３３５〜図３３９は、注目画素がＧ画素で、第８の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第８の面内加算パターンは、注目画素から左上側の周辺画素を組合せた左上側斜めラインパターンである。
図３３５は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１４４、Ｇ１５５を差分算出回路７２１へ供給する。図３３６は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３３、Ｇ１４４を差分算出回路７２２へ供給する。図３３７は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５５、Ｇ１６６を差分算出回路７２３へ供給する。図３３８は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１５３、Ｇ１６４を差分算出回路７２４へ供給する。図３３９は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｇ１３５、Ｇ１４６を差分算出回路７２５へ供給する。
図３４０〜図３４４は、注目画素がＧ画素で、第８の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第８の面内加算パターンは、注目画素から左上側の周辺画素を組合せた左上側斜めラインパターンである。
図３４０は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３４４、Ｇ３５５を差分算出回路７２１へ供給する。図３４１は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３３、Ｇ３４４を差分算出回路７２２へ供給する。図３４２は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５５、Ｇ３６６を差分算出回路７２３へ供給する。図３４３は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３５３、Ｇ３６４を差分算出回路７２４へ供給する。図３４４は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｇ３３５、Ｇ３４６を差分算出回路７２５へ供給する。
図３４５〜図３４７は、注目画素がＲ画素で、第１の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第１の面内加算パターンは、注目画素から上側の周辺画素を組合せた上側ブロックパターンである。
図３４５は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５３、Ｒ１５５を差分算出回路７２１へ供給する。図３４６は、注目フレーム画像の画素配置を上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５１、Ｒ１５３を差分算出回路７２２へ供給する。図３４７は、注目フレーム画像の画素配置を下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５５、Ｒ１５７を差分算出回路７２３へ供給する。
図３４８〜図３５０は、注目画素がＲ画素で、第１の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第１の面内加算パターンは、注目画素から上側の周辺画素を組合せた上側ブロックパターンである。
図３４８は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５３、Ｒ３５５を差分算出回路７２１へ供給する。図３４９は、注目フレーム画像の画素配置を上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５１、Ｒ３５３を差分算出回路７２２へ供給する。図３５０は、注目フレーム画像の画素配置を下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５５、Ｒ３５７を差分算出回路７２３へ供給する。
図３５１〜図３５３は、注目画素がＲ画素で、第２の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第２の面内加算パターンは、注目画素から下側の周辺画素を組合せた下側ブロックパターンである。
図３５１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５５、Ｒ１５７を差分算出回路７２１へ供給する。図３５２は、注目フレーム画像の画素配置を上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５３、Ｒ１５５を差分算出回路７２２へ供給する。図３５３は、注目フレーム画像の画素配置を下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５７、Ｒ１５９を差分算出回路７２３へ供給する。
図３５４〜図３５６は、注目画素がＲ画素で、第２の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第２の面内加算パターンは、注目画素から下側の周辺画素を組合せた下側ブロックパターンである。
図３５４は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５５、Ｒ３５７を差分算出回路７２１へ供給する。図３５５は、注目フレーム画像の画素配置を上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５３、Ｒ３５５を差分算出回路７２２へ供給する。図３５６は、注目フレーム画像の画素配置を下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５７、Ｒ３５９を差分算出回路７２３へ供給する。
図３５７〜図３５９は、注目画素がＲ画素で、第３の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第３の面内加算パターンは、注目画素から左側の周辺画素を組合せた左側ブロックパターンである。
図３５７は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３５、Ｒ１５５を差分算出回路７２１へ供給する。図３５８は、注目フレーム画像の画素配置を左シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１１５、Ｒ１３５を差分算出回路７２２へ供給する。図３５９は、注目フレーム画像の画素配置を右シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５５、Ｒ１７５を差分算出回路７２３へ供給する。
図３６０〜図３６２は、注目画素がＲ画素で、第３の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第３の面内加算パターンは、注目画素から左側の周辺画素を組合せた左側ブロックパターンである。
図３６０は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３５、Ｒ３５５を差分算出回路７２１へ供給する。図３６１は、注目フレーム画像の画素配置を左シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３１５、Ｒ３３５を差分算出回路７２２へ供給する。図３６２は、注目フレーム画像の画素配置を右シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５５、Ｒ３７５を差分算出回路７２３へ供給する。
図３６３〜図３６５は、注目画素がＲ画素で、第４の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第４の面内加算パターンは、注目画素から右側の周辺画素を組合せた右側ブロックパターンである。
図３６３は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５５、Ｒ１７５を差分算出回路７２１へ供給する。図３６４は、注目フレーム画像の画素配置を左シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３５、Ｒ１５５を差分算出回路７２２へ供給する。図３６５は、注目フレーム画像の画素配置を右シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１７５、Ｒ１９５を差分算出回路７２３へ供給する。
図３６６〜図３６８は、注目画素がＲ画素で、第４の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第４の面内加算パターンは、注目画素から右側の周辺画素を組合せた右側ブロックパターンである。
図３６６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５５、Ｒ３７５を差分算出回路７２１へ供給する。図３６７は、注目フレーム画像の画素配置を左シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３５、Ｒ３５５を差分算出回路７２２へ供給する。図３６８は、注目フレーム画像の画素配置を右シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３７５、Ｒ３９５を差分算出回路７２３へ供給する。
図３６９〜図３７１は、注目画素がＲ画素で、第５の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第５の面内加算パターンは、注目画素から右上側の周辺画素を組合せた右上側ブロックパターンである。
図３６９は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５５、Ｒ１７３を差分算出回路７２１へ供給する。図３７０は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１７３、Ｒ１９１を差分算出回路７２２へ供給する。図３７１は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３７、Ｒ１５５を差分算出回路７２３へ供給する。
図３７２〜図３７４は、注目画素がＲ画素で、第５の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第５の面内加算パターンは、注目画素から右上側の周辺画素を組合せた右上側ブロックパターンである。
図３７２は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５５、Ｒ３７３を差分算出回路７２１へ供給する。図３７３は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３７３、Ｒ３９１を差分算出回路７２２へ供給する。図３７４は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３７、Ｒ３５５を差分算出回路７２３へ供給する。
図３７５〜図３７７は、注目画素がＲ画素で、第６の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第６の面内加算パターンは、注目画素から右下側の周辺画素を組合せた右下側ブロックパターンである。
図３７５は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５５、Ｒ１７７を差分算出回路７２１へ供給する。図３７６は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３３、Ｒ１５５を差分算出回路７２２へ供給する。図３７７は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１７７、Ｒ１９９を差分算出回路７２３へ供給する。
図３７８〜図３８０は、注目画素がＲ画素で、第６の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第６の面内加算パターンは、注目画素から右下側の周辺画素を組合せた右下側ブロックパターンである。
図３７８は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５５、Ｒ３７７を差分算出回路７２１へ供給する。図３７９は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３３、Ｒ３５５を差分算出回路７２２へ供給する。図３８０は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３７７、Ｒ３９９を差分算出回路７２３へ供給する。
図３８１〜図３８３は、注目画素がＲ画素で、第７の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第７の面内加算パターンは、注目画素から左下側の周辺画素を組合せた左下側ブロックパターンである。
図３８１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５５、Ｒ１３７を差分算出回路７２１へ供給する。図３８２は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１７３、Ｒ１５５を差分算出回路７２２へ供給する。図３８３は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３７、Ｒ１１９を差分算出回路７２３へ供給する。
図３８４〜図３８６は、注目画素がＲ画素で、第７の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第７の面内加算パターンは、注目画素から左下側の周辺画素を組合せた左下側ブロックパターンである。
図３８４は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５５、Ｒ３３７を差分算出回路７２１へ供給する。図３８５は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３７３、Ｒ３５５を差分算出回路７２２へ供給する。図３８６は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３３７、Ｒ３１９を差分算出回路７２３へ供給する。
図３８７〜図３８９は、注目画素がＲ画素で、第８の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第８の面内加算パターンは、注目画素から左上側の周辺画素を組合せた左上側ブロックパターンである。
図３８７は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５５、Ｒ１３３を差分算出回路７２１へ供給する。図３８８は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１３３、Ｒ１１１を差分算出回路７２２へ供給する。図３８９は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｒ１５５、Ｒ１７７を差分算出回路７２３へ供給する。
図３９０〜図３９２は、注目画素がＲ画素で、第８の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第８の面内加算パターンは、注目画素から左上側の周辺画素を組合せた左上側ブロックパターンである。
図３９０は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５５、Ｒ３３３を差分算出回路７２１へ供給する。図３９１は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３１１、Ｒ３３３を差分算出回路７２２へ供給する。図３９２は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｒ３５５、Ｒ３７７を差分算出回路７２３へ供給する。
図３９３〜図３９５は、注目画素がＢ画素で、第１の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第１の面内加算パターンは、注目画素から上側の周辺画素を組合せた上側ブロックパターンである。
図３９３は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５３、Ｂ１５５を差分算出回路７２１へ供給する。図３９４は、注目フレーム画像の画素配置を上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５１、Ｂ１５３を差分算出回路７２２へ供給する。図３９５は、注目フレーム画像の画素配置を下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５５、Ｂ１５７を差分算出回路７２３へ供給する。
図３９６〜図３９８は、注目画素がＢ画素で、第１の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第１の面内加算パターンは、注目画素から上側の周辺画素を組合せた上側ブロックパターンである。
図３９６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５３、Ｂ３５５を差分算出回路７２１へ供給する。図３９７は、注目フレーム画像の画素配置を上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５１、Ｂ３５３を差分算出回路７２２へ供給する。図３９８は、注目フレーム画像の画素配置を下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５５、Ｂ３５７を差分算出回路７２３へ供給する。
図３９９〜図４０１は、注目画素がＢ画素で、第２の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第２の面内加算パターンは、注目画素から下側の周辺画素を組合せた下側ブロックパターンである。
図３９９は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５５、Ｂ１５７を差分算出回路７２１へ供給する。図４００は、注目フレーム画像の画素配置を上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５３、Ｂ１５５を差分算出回路７２２へ供給する。図４０１は、注目フレーム画像の画素配置を下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５７、Ｂ１５９を差分算出回路７２３へ供給する。
図４０２〜図４０４は、注目画素がＢ画素で、第２の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第２の面内加算パターンは、注目画素から下側の周辺画素を組合せた下側ブロックパターンである。
図４０２は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５５、Ｂ３５７を差分算出回路７２１へ供給する。図４０３は、注目フレーム画像の画素配置を上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５３、Ｂ３５５を差分算出回路７２２へ供給する。図４０４は、注目フレーム画像の画素配置を下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５７、Ｂ３５９を差分算出回路７２３へ供給する。
図４０５〜図４０７は、注目画素がＢ画素で、第３の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第３の面内加算パターンは、注目画素から左側の周辺画素を組合せた左側ブロックパターンである。
図４０５は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３５、Ｂ１５５を差分算出回路７２１へ供給する。図４０６は、注目フレーム画像の画素配置を左シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１１５、Ｂ１３５を差分算出回路７２２へ供給する。図４０７は、注目フレーム画像の画素配置を右シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５５、Ｂ１７５を差分算出回路７２３へ供給する。
図４０８〜図４１０は、注目画素がＢ画素で、第３の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第３の面内加算パターンは、注目画素から左側の周辺画素を組合せた左側ブロックパターンである。
図４０８は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３５、Ｂ３５５を差分算出回路７２１へ供給する。図４０９は、注目フレーム画像の画素配置を左シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３１５、Ｂ３３５を差分算出回路７２２へ供給する。図４１０は、注目フレーム画像の画素配置を右シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５５、Ｂ３７５を差分算出回路７２３へ供給する。
図４１１〜図４１３は、注目画素がＢ画素で、第４の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第４の面内加算パターンは、注目画素から右側の周辺画素を組合せた右側ブロックパターンである。
図４１１は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５５、Ｂ１７５を差分算出回路７２１へ供給する。図４１２は、注目フレーム画像の画素配置を左シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３５、Ｂ１５５を差分算出回路７２２へ供給する。図４１３は、注目フレーム画像の画素配置を右シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１７５、Ｂ１９５を差分算出回路７２３へ供給する。
図４１４〜図４１６は、注目画素がＢ画素で、第４の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第４の面内加算パターンは、注目画素から右側の周辺画素を組合せた右側ブロックパターンである。
図４１４は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５５、Ｂ３７５を差分算出回路７２１へ供給する。図４１５は、注目フレーム画像の画素配置を左シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３５、Ｂ３５５を差分算出回路７２２へ供給する。図４１６は、注目フレーム画像の画素配置を右シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３７５、Ｂ３９５を差分算出回路７２３へ供給する。
図４１７〜図４１９は、注目画素がＢ画素で、第５の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第５の面内加算パターンは、注目画素から右上側の周辺画素を組合せた右上側ブロックパターンである。
図４１７は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５５、Ｂ１７３を差分算出回路７２１へ供給する。図４１８は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１７３、Ｂ１９１を差分算出回路７２２へ供給する。図４１９は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３７、Ｂ１５５を差分算出回路７２３へ供給する。
図４２０〜図４２２は、注目画素がＢ画素で、第５の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第５の面内加算パターンは、注目画素から右上側の周辺画素を組合せた右上側ブロックパターンである。
図４２０は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５５、Ｂ３７３を差分算出回路７２１へ供給する。図４２１は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３７３、Ｂ３９１を差分算出回路７２２へ供給する。図４２２は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３７、Ｂ３５５を示す信号Ｋ３を差分算出回路７２３へ供給する。
図４２３〜図４２５は、注目画素がＢ画素で、第６の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第６の面内加算パターンは、注目画素から右下側の周辺画素を組合せた右下側ブロックパターンである。
図４２３は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５５、Ｂ１７７を差分算出回路７２１へ供給する。図４２４は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３３、Ｂ１５５を差分算出回路７２２へ供給する。図４２５は、注目フレーム画像の画素配置を右下シフトした画素配置の前フレーム画像フレーム内加算パターンである。画素選択回路７１９は、画素値Ｂ１７７、Ｂ１９９を示す信号Ｋ３を差分算出回路７２３へ供給する。
図４２６〜図４２８は、注目画素がＢ画素で、第６の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第６の面内加算パターンは、注目画素から右下側の周辺画素を組合せた右下側ブロックパターンである。
図４２６は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５５、Ｂ３７７を差分算出回路７２１へ供給する。図４２７は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３３、Ｂ３５５を差分算出回路７２２へ供給する。図４２８は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３７７、Ｂ３９９を差分算出回路７２３へ供給する。
図４２９〜図４３１は、注目画素がＢ画素で、第７の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第７の面内加算パターンは、注目画素から左下側の周辺画素を組合せた左下側ブロックパターンである。
図４２９は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５５、Ｂ１３７を差分算出回路７２１へ供給する。図４３０は、注目フレーム画像の画素配置を右上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１７３、Ｂ１５５を差分算出回路７２２へ供給する。図４３１は、注目フレーム画像の画素配置を左下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３７、Ｂ１１９を差分算出回路７２３へ供給する。
図４３２〜図４３４は、注目画素がＢ画素で、第７の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第７の面内加算パターンは、注目画素から左下側の周辺画素を組合せた左下側ブロックパターンである。
図４３２は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５５、Ｂ３３７を差分算出回路７２１へ供給する。図４３３は、注目フレーム画像の画素配置を右上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３７３、Ｂ３５５を差分算出回路７２２へ供給する。図４３４は、注目フレーム画像の画素配置を左下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３３７、Ｂ３１９を差分算出回路７２３へ供給する。
図４３５〜図４３７は、注目画素がＢ画素で、第８の面内加算パターンが選択されたときの、前方参照パターン検出回路７１に対応した第１から第５の前方参照加算パターンを示す図である。第８の面内加算パターンは、注目画素から左上側の周辺画素を組合せた左上側ブロックパターンである。
図４３５は、注目フレーム画像の画素配置と同じ画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５５、Ｂ１３３を差分算出回路７２１へ供給する。図４３６は、注目フレーム画像の画素配置を左上シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１３３、Ｂ１１１を差分算出回路７２２へ供給する。図４３７は、注目フレーム画像の画素配置を右下シフトした画素配置の前方参照加算パターンである。画素選択回路７１９は、画素値Ｂ１５５、Ｂ１７７を差分算出回路７２３へ供給する。
図４３８〜図４４０は、注目画素がＢ画素で、第８の面内加算パターンが選択されたときの、後方参照パターン検出回路７２に対応した第１から第５の後方参照加算パターンを示す図である。第８の面内加算パターンは、注目画素から左上側の周辺画素を組合せた左上側ブロックパターンである。
図４３８は、注目フレーム画像の画素配置と同じ画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５５、Ｂ３３３を差分算出回路７２１へ供給する。図４３９は、注目フレーム画像の画素配置を左上シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３１１、Ｂ３３３を差分算出回路７２２へ供給する。図４４０は、注目フレーム画像の画素配置を右下シフトした画素配置の後方参照加算パターンである。画素選択回路７１９は、画素値Ｂ３５５、Ｂ３７７を差分算出回路７２３へ供給する。
増感倍率Ｌは１〜１２倍まで設定できるが、増感倍率Ｌが１〜６倍のときは、面内での加算画素数が２画素の加算パターンを使用し、増感倍率Ｌが７〜１２倍のときは、面内での加算画素数が４画素の加算パターンを使用することで、解像度の低下を最低限に抑えた高感度化が可能となる。
前記の増感倍率Ｌの設定パターンの別パターンを説明する。増感倍率Ｌが１〜６倍のときは、面内での加算画素数が２画素の加算パターンを使用して最大倍率の６倍を実現する。増感倍率Ｌが６〜８倍のときは、注目フレーム画像内での加算画素数は４画素の加算パターンを使用し、隣接フレーム画像内での加算画素数は２画素の加算パターンを使用して最大倍率の８倍を実現する。増感倍率Ｌが８〜１２倍のときは、面内での加算画素数が４画素の加算パターンを使用して最大倍率の１２倍を実現する。このように２画素の加算パターンと４画素の加算パターンを組み合わせることで解像度の低下を最低限に抑えた高感度化が可能となる。
上記実施の形態では、隣接フレーム画像を前後両方とも加算対象とした構成について説明したが、フレーム画像メモリを含む回路規模の削減による低コスト化のために、隣接フレーム画像をどちらか一方にしてフレーム画像メモリを削減してもよい。加算すべき画素は減るものの本発明の解像度の劣化が少ない高感度化の効果は得られる。
上記実施の形態では、フレーム画像メモリを２フレーム画像分使った注目フレーム画像と隣接の２フレーム画像の合計３フレーム画像から加算する構成を採用したが、４フレーム画像以上の構成とすることで、より加算画素数を増やし高感度化することができる。次の隣接フレーム画像の加算対象画素を空間判別回路で判別した画素領域の最大値画素と最小値画素を参照して探索することで順次フレーム画像数の拡張も可能である。
色フィルタの配列としてＲＧＢの原色系のベイヤ配列の場合について説明したが、水平２画素、垂直２画素の４画素の同様な市松パターンを基本配列としていれば、いかなる色フィルタの組み合わせでも、同様に動作し、同様な効果が得られるものである。
以上に説明したように、本実施の形態では、注目画素に最も相関の高い画素を使って画素加算を行うので画像解像度の劣化を最小限に抑えつつ感度向上とＳ／Ｎ比の向上とを実現することができる。
また、時間的に前方及び後方の隣接フレーム画像の画素を、注目フレーム画像の注目画素と最も相関の高い画素を使って画素加算を行うので動きによるぼやけを最小限に抑えつつ感度向上とＳ／Ｎ比の向上とを実現することができる。
また、上記したように、まず注目フレーム画像で相関の高い画素を判別した上で、その加算パターンに絞って、前後の隣接フレーム画像の中の加算すべき画素を探索するので、全ての加算パターンについて探索するための回路規模を削減できる。
また、上記したように、画素加算を撮像素子から出力された直後に行うことにより、映像信号処理の影響を受けずに、画素加算による高感度信号が生成できる。映像信号処理の後段で行う画素加算は、近傍画素を使った演算である色同時化処理や、フィルタ処理が施されているので、水平解像度や垂直解像度の低下が想定よりも大きい。また、小振幅信号のまま、映像信号処理を行うので階調落ちの可能性がある。画素加算を撮像素子から出力された直後に行うことにより、画像情報が損なわれる前に、画素加算して信号振幅を回復することができるので、細部の画像情報を視認することができるという効果がある。
また、撮像部で得られた画像（例えば、ベイヤ配列の色フィルタアレイを透過した光学像から得られた画像）に対して、色同時化処理などの各種画像処理を施す前に、ノイズを低減する処理を施すことが可能となる。そのため、各種画像処理を施すことによってノイズの影響が周囲に拡散する前に、ノイズを低減する処理を施すことが可能となる。したがって、効果的にノイズを低減することが可能となる。
また、映像信号処理回路１５では非線形なフィルタ処理や階調変換処理が行われているので、低振幅信号を入力とした場合、信号振幅が失われている場合がある。このため、仮に、映像信号処理回路１５の出力信号を２画素加算しても、信号振幅が２倍の画像信号にならない可能性がある。上記実施の形態では、映像信号処理回路１５での映像信号処理前に画素加算するように構成したので、２画素加算したら、信号振幅が２倍の画像信号になる効果がある。
また、上記実施の形態では、１２倍までの増感倍率Ｌを設定した場合について説明したが、１２倍以上に設定してもよい。１２倍以上の増感倍率Ｌの設定は、階調落ちに注意して使う必要がある。
また、上記実施の形態では、例えば、説明のわかりやすさのため、図３，図６，図１０及び図１３の遅延回路４２０，５２０，７７０，２７０が冗長となる構成で説明されているが、回路構成の工夫で削減されてもよい。
また、上記したように、本実施の形態では、同じフィルタ色の画素を加算するので、混色することなく高感度なカラー画像が得られる。
ところで、低照度時の撮像画像をアナログアンプで増幅すると信号よりもノイズが大きくなる。またデジタルアンプで増幅すると階調落ちが発生する。上記したように、本実施の形態では、周辺画素の画素加算で高感度化を図ることができるので信号成分よりもノイズ成分が小さくなる。例えば２画素加算すると信号成分は２倍になり、ノイズ成分は二乗根倍になり、相対的に純粋の信号成分が大きくなる。また、画像の性質として空間的に近傍に位置する画素同士は高い相関を有することから、注目画素に最も近い位置の複数画素を加算することで実効性の高い感度向上を実現している。
実施の形態２．
次に、本発明に係る実施の形態２について説明する。図４４１は、実施の形態２の撮像装置２の概略構成を示すブロック図である。図４４１において、実施の形態２の撮像装置２の構成は、画像検波回路８１が付加されている点と図１のＭＰＵ１９の代わりにＭＰＵ１９Ｂが設けられている点を除き、実施の形態１の撮像装置１の構成と同様であり、実施の形態１と同様な効果を奏するものである。
画像検波回路８１は、同期信号発生回路１８から供給される水平同期信号ＨＤと垂直同期信号ＶＤとに同期して動作し、画素加算回路１４の出力信号（すなわち、補正された撮像信号）を検波する機能を有する。例えば、画像検波回路８１は、垂直走査周期と同期して、画素加算回路１４の出力信号に含まれる有効画素領域の補正画素値を所定数のフレーム分（たとえば、１フレーム分）だけ積算して積算値Σｐを算出する積分機能や、その積算値Σｐを全有効画素数Ｎｐで除算して信号振幅の平均レベルＡＳＡ（＝Σｐ／Ｎｐ）を算出（検出）する平均レベル検出機能を有している。積分値Σｐや平均レベルＡＳＡは、ＭＰＵ１９Ｂに与えられる。画像検波回路８１は、画素加算回路１４の出力信号から特定の空間周波数成分を抽出し、抽出された空間周波数成分を積算して積算値Σｐの算出や平均レベルＡＳＡの検出を行うこともできる。なお、全有効画素数Ｎｐが２のｎ乗（ｎは２以上の整数）で与えられる場合には、積算値Σｐを示すビット列にビットシフト演算を施すことで平均レベルＡＳＡを算出（検出）してもよい。
また、画像検波回路８１は、ＭＰＵ１９Ｂにより指定された露光制御パラメータと積算値Σｐとから被写体照度の換算値を逆算する機能を有する。露光制御パラメータとしては、例えば、開口絞り１１１の開口度を示す絞り値、プログラマブル利得増幅回路１３Ｐの増幅利得、ＣＣＤ画像センサ１２の電荷蓄積時間、及び、増感倍率Ｌが挙げられる。被写体照度の換算値をＬＸで表すとき、例えば、次の式（１）を用いて被写体照度の換算値ＬＸを逆算することができる。
ＬＸ＝Σｐ／（Ｋ×Ｔｃ×Ｇ×Ｌ） ・・・（１）
上式（１）中、Ｋは、比例定数、Ｔｃは、ＣＣＤ画像センサ１２の電荷蓄積時間、Ｇは、プログラマブル利得増幅回路１３Ｐの増幅利得、Ｌは、画素加算回路１４で使用される増感倍率である。
本実施の形態のＭＰＵ１９Ｂは、実施の形態１のＭＰＵ１９の機能に加えて、映像信号レベルが目標とする信号レベルとなるように、画像検波回路８１の出力に応じて露光制御パラメータを制御する機能を有している。具体的には、ＭＰＵ１９Ｂは、画像検波回路８１の出力に応じて撮像光学系１１の開口絞り１１１の絞り値を制御することができる。また、タイミング発生回路１７は、駆動タイミング信号ＤＲＴを駆動回路１６に供給してＣＣＤ素子１２２の光電変換素子からの電荷読み出しタイミングや電荷強制排出タイミングを制御することができるので、ＭＰＵ１９Ｂは、画像検波回路８１の出力に応じてタイミング発生回路１７の動作を制御することによりＣＣＤ画像センサ１２の電荷蓄積時間Ｔｃ（すなわち露光時間）を制御することが可能である。また、ＭＰＵ１９Ｂは、画像検波回路８１の出力に応じて増幅利得Ｇと増感倍率Ｌとを個別に制御することができる。
映像信号処理回路１５は、垂直走査周期と同期して、画素加算回路１４の出力に含まれるノイズ信号の信号レベル（ノイズレベル）を検出する機能を有している。ＭＰＵ１９Ｂは、映像信号処理回路１５から供給されたノイズレベルに応じた露光制御を行うことができる。例えば、ＭＰＵ１９Ｂは、当該ノイズレベルに応じて、係数可変設定回路４９５を制御して空間フィルタ４１，４２，４３におけるフィルタ係数群を最適なものに設定することが可能である。これにより、ノイズが低減した画像を得ることができる。
なお、上記の例では、信号振幅の平均レベルＡＳＡの算出及びノイズレベルの算出は、垂直走査周期と同期して行うものとして説明されていたが、画像検波回路８１及び映像信号処理回路１５のそれぞれの信号処理時間、並びに、画像検波回路８１及び映像信号処理回路１５からＭＰＵ１９Ｂへの信号伝送時間を考慮して、垂直走査周期の数回に１回の割合で平均レベルＡＳＡの算出及びノイズレベルの算出が行われてもよい。
また、画像検波回路８１は、画素加算回路１４の出力信号に対してピーク検波と平均値検波とを実行する機能を有していてもよい。ＭＰＵ１９Ｂは、画像検波回路８１により検出されたピーク値及び平均値を用いて、着目する被写体画像の視認性が高くなるように露光制御を行うことができる。例えば、ＭＰＵ１９Ｂは、被写体画像のハイライト部分を白く飽和させないようにピーク値を用いた露光制御を行うことができ、あるいは、ハイライト部分が白く飽和しても中間階調部分が明瞭に視認されるように平均値を用いた露光制御を行うことができる。
次に、画素加算回路１４の出力信号を用いた露光制御の一例を以下に説明する。以下に詳しく述べるように、ＭＰＵ１９Ｂは、画素加算回路１４の動作を制御することで露光制御の一環として感度制御を行うことができる。このため、照度環境が変動しても、常に最適な撮影条件で視認性の良好な被写体画像を得ることができるという効果がある。上述したように、画素加算回路１４は、照度環境の変動に応じて増感倍率Ｌを変えることで画素の信号振幅を調整することができる。
ＭＰＵ１９Ｂは、上記被写体照度の換算値ＬＸに応じて、画像検波回路８１から得られる平均レベルＡＳＡの検出値が一定となるように自動露光制御を行うことができる。被写体照度の換算値ＬＸが高く、明るい環境での撮像で画素の信号振幅が大きいときは、ＭＰＵ１９Ｂは、撮像光学系１１の開口絞り１１１を絞るように制御（すなわち絞り値を制御）してＣＣＤ画像センサ１２への入射光量を減らしたり、タイミング発生回路１７による電荷強制排出タイミングを調整することで、ＣＣＤ画像センサ１２の光電変換素子に蓄積される電荷を強制排出して露光時間（電荷蓄積時間Ｔｃ）を減らしたりすることができる。
一方、被写体照度の換算値ＬＸが低く、暗い環境での撮像で画素の信号振幅が小さくなってきたときは、ＭＰＵ１９Ｂは、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを増やすように制御して撮像信号を増幅することができる。このとき、増幅利得Ｇが大き過ぎると画像中のノイズが目立つようになり視認性の悪い画像となり得るので、増幅利得Ｇに上限を設けることが望ましい。
ＭＰＵ１９Ｂは、ＣＣＤ画像センサ１２の光電変換素子からの電荷読出しを垂直走査周期単位で間引くように制御することにより露光時間（電荷蓄積時間Ｔｃ）を延ばすこともできる。このとき、露光時間が長すぎると、動く被写体が残像となり視認性の悪い画像が撮像されるので、垂直走査周期単位で欠落する画像の補間（フレーム補間）を行う回路を設けることが望ましい。
上記実施の形態１の場合と同様に、本実施の形態のＭＰＵ１９Ｂは、被写体照度の換算値ＬＸに応じて、画素加算回路１４に対して増感倍率Ｌを１倍から１２倍の範囲内の値に設定することができる。増感倍率Ｌの設定（即ち調整）は、画像検波回路８１の出力と露光制御パラメータとに基づいて行われる。上述したように、加算演算回路２４は、注目画素の近傍領域内に位置する互いに相関の高い複数の画素（例えば、１２画素）を加算して補間画素を生成し、その補間画素の画素値に増感倍率Ｌを乗算する。このため、感度向上を実現することができ、極めて暗い低照度環境での撮像でも撮像画像の視認性を大幅に改善することができる。また、フレーム周波数の低下を防止乃至抑制することができるので、動解像度、水平解像度及び垂直解像度の劣化を最小に抑えることができる。
以下、図４４２（Ａ）〜（Ｅ）を参照しつつ、被写体照度の換算値ＬＸ（以下、単に「照度ＬＸ」と呼ぶ。）が変化したときの露光制御（感度制御）のための手順の一例を説明する。図４４２（Ａ）〜（Ｄ）は、照度ＬＸと各種露光制御パラメータとの関係を示すグラフであり、図４４２（Ｅ）は、照度ＬＸに対する平均レベルＡＳＡの一例を示すグラフである。図４４２（Ａ）は、照度ＬＸと開口絞り１１１の絞り値（開口量）との関係を示すグラフであり、図４４２（Ｂ）は、照度ＬＸと増幅利得Ｇとの関係を示すグラフであり、図４４２（Ｃ）は、照度ＬＸと増感倍率Ｌとの関係を示すグラフであり、図４４２（Ｄ）は、照度ＬＸと露光時間との関係を示すグラフである。増感倍率Ｌは、１倍から１２倍の範囲内で設定可能であるものとする。
図４４２（Ｄ）の実線で示されるように露光時間が標準露光時間Ｔｒに維持される場合に、開口絞り１１１の絞り値を開放値とし、増幅利得Ｇを上限値ＵＧＬとし、増感倍率Ｌが１倍（下限値）としたときに、画素加算回路１４の出力値が所定レベルとなる照度を高照度側基準値ＨＬとする。また、この高照度基準値ＨＬの１／１２の照度、即ち、露光時間が標準露光時間Ｔｒに維持される場合に、開口絞り１１１の絞り値を開放値とし、増幅利得Ｇを上限値ＵＧＬとし、増感倍率Ｌが４倍としたときに、画素加算回路１４の出力値が所定のレベルとなる照度を低照度側基準値ＬＬとする。
図４４２（Ａ），（Ｂ），（Ｃ）に示されるように、照度ＬＸが閾値ＵＬを超えていて撮像条件が高照度環境のときには、ＭＰＵ１９Ｂは、絞り値を上限値（最大絞り値）に、増幅利得Ｇを下限値ＬＧＬに、増感倍率Ｌを１倍にそれぞれ維持する。このとき、図４４２（Ｄ）の実線で示されるように露光時間は一定値（標準露光時間）Ｔｒに維持される。また、照度ＬＸが閾値ＵＬ以下で閾値ＭＬ以上の範囲Ｓａ内にある場合には、絞り値は、閾値ＵＬから閾値ＭＬに向かうにつれて上限値から全開値（開放Ｆ値）に連続的又は段階的に低減させられる。露光時間は一定である。このとき、増幅利得Ｇは下限値ＬＧＬに維持され、増感倍率Ｌは１倍に維持される。これにより、照度ＬＸが範囲Ｓａ内にある場合には、図４４２（Ｅ）に示されるように、平均レベルＡＳＡをほぼ一定の目標値に維持することができる。
また、照度ＬＸが閾値ＭＬ未満で高照度側基準値ＨＬ以上の範囲Ｓｂ内にあるときには、図４４２（Ａ），（Ｃ）に示されるように、絞り値は全開値に維持され、増感倍率Ｌは１倍に維持される。このとき、図４４２（Ｂ）に示されるように、増幅利得Ｇは、閾値ＭＬから高照度側基準値ＨＬに向かうにつれて下限値ＬＧＬから上限値ＵＧＬに連続的又は段階的に上昇させられる。露光時間は一定である。これにより、照度ＬＸが範囲Ｓｂ内にある場合には、図４４２（Ｅ）に示されるように、平均レベルＡＳＡをほぼ一定の目標値に維持することができる。
また、照度ＬＸが高照度側基準値ＨＬ未満で低照度側基準値ＬＬ以上の範囲Ｓｃ内にあるときには、図４４２（Ａ），（Ｂ）に示されるように、絞り値は全開値に維持され、増幅利得Ｇは上限値ＵＧＬに維持される。このとき、図４４２（Ｃ）に示されるように、増感倍率Ｌは、高照度側基準値ＨＬから低照度側基準値ＬＬに向かうにつれて１倍から１２倍に連続的又は段階的に上昇させられる。露光時間は一定である。これにより、照度ＬＸが範囲Ｓｃ内にある場合には、図４４２（Ｅ）に示されるように、平均レベルＡＳＡをほぼ一定の目標値に維持することができる。そして、照度ＬＸが低照度側基準値ＬＬ未満のときは、図４４２（Ａ）〜（Ｄ）に示されるように、絞り値は全開値に、増幅利得Ｇは上限値ＵＧＬに、増感倍率Ｌは１２倍に、露光時間は一定値Ｔｒにそれぞれ維持される。
図４４２（Ａ）〜（Ｄ）の対応関係は、メモリ（図示せず）に保持された設定値テーブル（ルックアップテーブル）で実現されてもよいし、あるいは、１次関数などの関数を用いた演算で露光制御パラメータの値を算出する演算回路で実現されてもよい。ＭＰＵ１９Ｂは、図４４２（Ａ）〜（Ｄ）の対応関係に基づいて信号振幅の平均レベルＡＳＡを所望の目標値に維持することが可能である。
例えば、照度ＬＸが徐々に暗くなり、信号振幅の平均レベルＡＳＡの検出値が下がってくると、ＭＰＵ１９Ｂは、撮像光学系１１の開口絞り１１１を開放方向に制御して（図４４２（Ａ）の範囲Ｓａ）、信号振幅の平均レベルＡＳＡを一定に維持することができる。また、撮像光学系１１の開口絞り１１１の絞り値が全開値になった後は、ＭＰＵ１９Ｂは、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを増やすように制御して（図４４２（Ｂ）の範囲Ｓｂ）、信号振幅の平均レベルＡＳＡを一定に維持する。プログラマブル利得増幅回路１３Ｐの増幅利得Ｇが大きくなり、増幅利得Ｇの所定の上限値ＵＧＬに達した後は、ＭＰＵ１９Ｂは、画素加算回路１４の増感倍率Ｌが大きくなるように制御して（図４４２（Ｃ）の範囲Ｓｃ）、信号振幅の平均レベルＡＳＡを一定に維持する。
増感倍率Ｌの制御による平均レベルＡＳＡの維持は、増感倍率Ｌが最大値（Ｌ＝１２）となるまで可能である。増感倍率Ｌが最大値（＝１２倍）に達した後にさらに照度ＬＸが低下すると、図４４２（Ｅ）の実線で示されるように、平均レベルＡＳＡは低下を開始する。
また、照度ＬＸが徐々に明るくなって、低照度側基準値ＬＬ以上となり、信号振幅の平均レベルの検出値ＡＳＡが上がろうとすると、画素加算回路１４における増感倍率Ｌを減らすように制御して（図４４２（Ｃ）の範囲Ｓｃ）、信号振幅の平均レベルＡＳＡを一定に維持する。増感倍率Ｌが１倍まで小さくなると、ＭＰＵ１９Ｂは、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを減らすように制御して、信号振幅の平均レベルＡＳＡを一定に維持する。プログラマブル利得増幅回路１３Ｐの増幅利得Ｇが減少し（図４４２（Ｂ）の範囲Ｓｂ）、所定の下限値ＬＧＬに達した後は、撮像光学系１１の開口絞り１１１を遮光方向に制御して（図４４２（Ａ）の範囲Ｓａ）、信号振幅の平均レベルＡＳＡを一定に維持する（図４４２（Ｅ））。さらに照度ＬＸが高くなると、図４４２（Ｅ）に示されるように、平均レベルＡＳＡは上昇する。
以上の露光制御により、図４４２（Ｅ）の実線で示されるように、低照度側基準値ＬＬから閾値ＵＬ（ＵＬ＞ＬＬ）までの照度範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
上記の露光制御では、図４４２（Ｅ）の実線で示されるように、露光時間は一定とされたが、照度ＬＸに応じて露光時間も可変制御してもよい。例えば、照度ＬＸが低下して、増感倍率Ｌが最大値（＝１２倍）に到達してもなお、平均レベルＡＳＡが十分な値とならないときには、図４４２（Ｅ）の破線で示されるように、ＭＰＵ１９Ｂは、低照度側基準値ＬＬ以下で閾値ＬＬｅ以上の照度範囲Ｓｄ内で露光時間を長くしてもよい。逆に、照度ＬＸが高くなり、開口絞り１１１を最大に絞っても（Ｆ値を最も高くしても）、平均レベルＡＳＡが大きすぎる場合には、図４４２（Ｅ）の破線で示されるように、ＭＰＵ１９Ｂは、閾値ＵＬ以上で閾値ＵＬｅ以下の照度範囲Ｓｅ内で露光時間を短くしてもよい。このような露光時間の制御を実行することにより、図４４２（Ｅ）の点線で示されるように、下限ＬＬｅから上限ＵＬｅまでの照度範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
ところで、増幅利得Ｇの上限値ＵＧＬは、映像信号処理回路１５で検出されるノイズレベルに基づいて適正な値に設定することができる。このとき、照度ＬＸが低下し、これに伴いＣＣＤ画像センサ１２の出力のＳ／Ｎ比が低下する場合に増幅利得Ｇを増加させる必要がある状況が考慮される。具体的には、平均レベルＡＳＡの検出値に対するノイズレベルの検出値の比率が、許容上限値である所定の割合（以下「第１の所定ノイズ割合」と呼ぶ。）に達したときのプログラマブル利得増幅回路１３Ｐの増幅利得Ｇの値を上限値ＵＧＬとして設定することができる。第１の所定ノイズ割合は、例えば、１／５０と定められる。
ノイズレベルの検出値は、例えば、フィルタリング処理により画素加算回路１４の出力からノイズ成分を抽出し、全有効画素範囲のノイズ成分の絶対値の総和を全有効画素数で除算することで算出される。フィルタリング処理では、まず、画素加算回路１４の出力信号からノイズ成分を低減させたノイズ低減信号を生成し、次に、画素加算回路１４の出力信号からノイズ低減信号を減算することで画素加算回路１４の出力信号からノイズ成分を抽出することができる。
用途によって被写体画像の視認にあたり許容できるノイズレベルは異なるため、第１の所定ノイズ割合は、Ｓ／Ｎ比を重視するか、画像解像度を重視するか等、撮像装置２の用途に応じて定められる。ＭＰＵ１９Ｂは、プログラマブル利得増幅回路１３Ｐに設定される増幅利得Ｇと、映像信号処理回路１５からＭＰＵ１９Ｂへ供給されるノイズレベルの検出値とを監視しつつ増幅利得Ｇの上限値ＵＧＬをダイナミックに（動的に）決定してプログラマブル利得増幅回路１３Ｐ及び画素加算回路１４を制御してもよい。
また、撮像装置２を工場から出荷する前に、平均レベルＡＳＡの検出値に対するノイズレベルの検出値の比率が第１の所定ノイズ割合に達したときの増幅利得Ｇの値を測定し、この測定値を上限値ＵＧＬとして参照可能な形でメモリ（図示せず）に書き込むことができる。これにより、ＭＰＵ１９Ｂは、このメモリに記憶された上限値ＵＧＬを参照し利用することができる。なお、上限値ＵＧＬのデータが書き込まれるメモリは、撮像装置２の電源を切断してもその記憶内容を保持することができる不揮発性メモリやバッテリーバックアップ型メモリ（内蔵電池でバックアップされた揮発性メモリ）であればよい。
ところで、増幅利得Ｇの下限値ＬＧＬも、映像信号処理回路１５で検出されるノイズレベルに基づいて適正な値に設定することができる。具体的には、平均レベルＡＳＡの検出値に対するノイズレベルの検出値の比率が所定の割合（以下「第２の所定ノイズ割合」と呼ぶ。）を下回ったときのプログラマブル利得増幅回路１３Ｐの増幅利得Ｇの値を下限値ＬＧＬとして設定することができる。第２の所定ノイズ割合は、上記第１の所定ノイズ割合（例えば、１／５０）と増感倍率Ｌの設定値（例えば、１２倍）とに基づいて決めることができる。例えば、第２の所定ノイズ割合は、１／２００（＝｛（１／５０）×（１／１２）｝）の値と定めることができる。
用途によって被写体画像の視認にあたり許容できるノイズレベルは異なるため、第２の所定ノイズ割合は、Ｓ／Ｎ比を重視するか、画像解像度を重視するか等、撮像装置２の用途に応じて定められる。ＭＰＵ１９Ｂは、プログラマブル利得増幅回路１３Ｐに設定される増幅利得Ｇと、映像信号処理回路１５からＭＰＵ１９Ｂへ供給されるノイズレベルの検出値とを監視しつつ増幅利得Ｇの下限値ＬＧＬをダイナミックに（動的に）決定してプログラマブル利得増幅回路１３Ｐ及び画素加算回路１４を制御してもよい。
また、撮像装置２を工場から出荷する前に、平均レベルＡＳＡの検出値に対するノイズレベルの検出値の比率が第２の所定ノイズ割合に達したときの増幅利得Ｇの値を測定し、この測定値を下限値ＬＧＬとして参照可能なメモリ（図示せず）に書き込むことができる。これにより、ＭＰＵ１９Ｂは、このメモリに記憶された下限値ＬＧＬを参照し利用することができる。なお、下限値ＬＧＬが書き込まれるメモリは、撮像装置２の電源を切断してもその記憶内容を保持することができる不揮発性メモリやバッテリーバックアップ型メモリであればよい。
以上に説明したように実施の形態２では、ＭＰＵ１９Ｂは、画素加算回路１４の出力信号に基づいて、露光制御パラメータ（開口絞り１１１の絞り値、増幅利得Ｇ、電荷蓄積時間Ｔｃ及び増感倍率Ｌ）を動的に設定することができるので、撮影環境が変化しても、視認性の良好な画像を含む映像信号を生成することができる。例えば、ＭＰＵ１９Ｂは、画像検波回路８１から供給される被写体照度ＬＸや平均レベルＡＳＡの検出値に応じて露光制御パラメータを動的に設定することができる。上述の通り、画素加算回路１４は、画像解像度の劣化を最小限に抑制しつつ感度向上とＳ／Ｎ比の向上とを実現する。このため、画素加算回路１４の出力信号に基づいて適正な自動露光制御を行うことができる。
また、上述の通り、画素加算回路１４は、画素加算処理の過程で増感倍率Ｌを用いた増感処理（乗算処理）を行う機能を有している。ＭＰＵ１９Ｂは、撮影環境の変化に合わせて、絞り値、増幅利得Ｇ及び電荷蓄積時間Ｔｃに加えて増感倍率Ｌをも動的に設定することができる。このため、撮像装置２は、撮影環境が変化しても、細かいシームレスな露出制御を行うことができる。これにより、画像の明るさの急変などの画質劣化を伴うことなく、視認性の良好な画像を生成することが可能である。また、増感倍率Ｌは、整数値に限らず、小数を含む値に設定され得るので、極めて細かい露出制御を行うことができる。
また、図４４２（Ａ）〜（Ｅ）に例示されるように、ＭＰＵ１９Ｂは、画像検波回路８１から出力される被写体照度の換算値ＬＸに応じて、増感倍率Ｌを含む露光制御パラメータを制御するので、低照度環境下でも適正な露光制御を行うことができる。絞り値の制御、増幅利得Ｇの制御、増感倍率Ｌの制御及び露光時間の制御を順番に切替えることで、視認性の良好な最適な明るさの画像を出力することができるという効果がある。
実施の形態３．
次に、本発明に係る実施の形態３について説明する。図４４３は、実施の形態３の撮像装置３の概略構成を示すブロック図である。図４４３において、実施の形態３の撮像装置３の構成は、測光部８２が付加されている点とＭＰＵ１９の代わりにＭＰＵ１９Ｃが設けられている点とを除き、実施の形態１の撮像装置１の構成と同様であり、実施の形態１と同様な効果を奏するものである。
測光部８２は、ＣＣＤ画像センサ１２の撮像面あるいは撮像光学系１１への入射光を測光して被写体照度を検出する機能を有する。測光部８２は、照度センサ（図示せず）を有しており、この照度センサの取り付け及びその位置決めは、撮像光学系１１の光軸に基づいて決められる。
ＭＰＵ１９Ｃは、実施の形態１のＭＰＵ１９の機能に加えて、測光部８２から供給される被写体照度の検出値（以下、「照度」と呼ぶ。）に応じて露光制御パラメータを制御する機能を有している。具体的には、ＭＰＵ１９Ｃは、照度に応じて、撮像光学系１１の開口絞り１１１の絞り値と増幅利得Ｇと増感倍率Ｌとを個別に制御することができる。また、ＭＰＵ１９Ｂは、照度に応じてタイミング発生回路１７の動作を制御することによりＣＣＤ画像センサ１２の電荷蓄積時間Ｔｃ（すなわち露光時間）を制御することができる。また、ＭＰＵ１９Ｃは、実施の形態２のＭＰＵ１９Ｂと同様に、映像信号処理回路１５から供給されたノイズレベルに応じた露光制御を行うことができる。
ＭＰＵ１９Ｃは、例えば、メモリ（図示せず）に保持された設定値テーブルあるいは演算回路を用いて、照度に対応する露光制御パラメータ（開口絞り１１１の絞り値、増幅利得Ｇ、電荷蓄積時間Ｔｃ及び増感倍率Ｌ）の値を取得し、取得した値を用いた露光制御を行う。設定値テーブルは、複数の照度値と露光制御パラメータの値との対応関係が記録されたルックアップテーブルである。
設定値テーブルには、例えば、図４４２（Ａ）〜（Ｄ）の対応関係を記録することができる。この場合には、例えば、照度が範囲Ｓａ内のときは、ＭＰＵ１９Ｃは、ＣＣＤ画像センサ１２の露光時間をフレームレートに基づく標準露光時間Ｔｒに設定し、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを下限値ＬＧＬに設定し、画素加算回路１４の増感倍率Ｌを１倍に設定することができる。このときに照度が次第に上昇すると、図４４２（Ａ）の対応関係に従って、ＭＰＵ１９Ｃは、絞り値を連続的又は段階的に上昇させる。絞り値が上限値（最大絞り値）に到達した後に照度がさらに上昇するとき、図４２２（Ｄ）の点線で示されるように、ＭＰＵ１９Ｃは、ＣＣＤ画像センサ１２の露光時間を標準露光時間Ｔｒから短く制御することができる（図４４２（Ｄ）の範囲Ｓｅ）。
一方、照度が範囲Ｓａ内のときに照度が次第に暗くなると、ＭＰＵ１９Ｃは、図４４２（Ａ）の対応関係に従って、絞り値を連続的又は段階的に低下させる。絞り値が全開値（開放値）に達した後に照度がさらに低下すると、ＭＰＵ１９Ｃは、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを下限値ＬＧＬから増加させる（図４４２（Ｂ）の範囲Ｓｂ）。増幅利得Ｇが上記の上限値ＵＧＬに達した後に照度がさらに低下すると、ＭＰＵ１９Ｃは、増感倍率Ｌを１倍から上昇させる（図４４２（Ｃ）の範囲Ｓｃ）。増感倍率Ｌが１２倍（上限値）に到達した後に照度がさらに低下すると、図４４２（Ｄ）の点線で示されるように、ＭＰＵ１９Ｃは、露光時間を標準露光時間Ｔｒを長くする（図４４２（Ｄ）の範囲Ｓｄ）。
以上の露光制御により、図４４２（Ｅ）に示されるように、下限ＬＬｅから上限ＵＬｅまでの照度範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
以上に説明したように実施の形態３では、実施の形態２の場合と同様に、ＭＰＵ１９Ｃは、照度の測定値に基づいて、露光制御パラメータ（開口絞り１１１の絞り値、増幅利得Ｇ、電荷蓄積時間Ｔｃ及び増感倍率Ｌ）を動的に設定することができるので、撮影環境が変化しても、視認性の良好な画像を含む映像信号を生成することができる。また、画素加算回路１４の出力信号に基づいて、低照度環境下でも適正な自動露光制御を行うことができる。また、増感倍率Ｌは、整数値に限らず、小数を含む値に設定され得るので、極めて細かい露出制御を行うことが可能である。
また、実施の形態２の場合と同様に、ＭＰＵ１９Ｃは、撮影環境の変化に合わせて、絞り値、増幅利得Ｇ及び電荷蓄積時間Ｔｃに加えて増感倍率Ｌをも動的に設定することができる。このため、撮像装置３は、撮影環境が変化しても、細かいシームレスな露出制御を行うことができる。さらに、絞り値の制御、増幅利得Ｇの制御、増感倍率Ｌの制御及び露光時間の制御を順番に切替えることで、視認性の良好な最適な明るさの画像を含む映像信号を生成することができる。
なお、上記実施の形態２及び３について、増感倍率Ｌを最大にしても信号振幅Ｇが十分でない場合に露光時間を長くする旨説明したが、これはフレームレートが変わらないようにすることを優先した結果である。フレームレートよりも解像度を重視する場合には、露光時間を長くする制御を先に行い、露光時間を（例えば所定の値まで）長くしても信号振幅が十分でない場合に増感倍率Ｌを大きくすることとしてもよい。また、増感倍率Ｇを大きくする制御と露光時間を長くする制御とを並行して行ってもよい。
実施の形態１〜３の変形例．
以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な形態を採用することもできる。例えば、上記実施の形態１〜３は、固体撮像素子の一例としてＣＣＤ画像センサ１２を使用しているが、これに限定されるものではない。２次元イメージセンサであれば、ＣＭＯＳ撮像素子などのＣＣＤ画像センサ１２以外のいかなる固体撮像素子を使用してもよい。図４４４は、実施の形態１の変形例である撮像装置４の概略構成を示すブロック図である。この撮像装置４は、上記ＣＣＤ画像センサ１２及びフロントエンド部１３に代えて、ＣＭＯＳ画像センサ１２Ｃを有している。また、ＣＣＤ画像センサ１２としては、インターライントランスファーＣＣＤ撮像素子に限らず、フレームトランスファーＣＣＤ撮像素子であってもよく、フレームインターライントランスファーＣＣＤ撮像素子であってもよい。
また、上記実施の形態では、画素加算回路１４は、入力された撮像信号のうち有効画素領域内の画素についてのみ処理してもよいし、あるいは、有効画素領域の外側にある画素を用いて処理を行ってもよい。例えば、注目画素が有効画素領域の端に位置するとき、画素加算回路１４は、有効画素領域外の画素に代えて有効画素領域内の画素を使用してもよいし、有効画素領域外の画素が存在する場合には、その有効画素領域外の画素を使用してよい。
また、上記画素加算回路１４は、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのＬＳＩ（Ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）により実現され得る。
また、上記画素加算回路１４の機能の全部または一部は、ハードウェア構成で実現されてもよいし、あるいは、マイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。図４４５は、当該機能の全部または一部をコンピュータプログラムで実現する場合の画像処理ユニット５の構成を概略的に示す図である。図４４５の画像処理ユニット５は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含むプロセッサ９１、入出力インタフェース９２、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）９３、不揮発性メモリ９４、記録媒体９５及びバス９０を備えている。記録媒体９５としては、例えば、ハードディスク（磁気ディスク）、光ディスクまたはフラッシュメモリが挙げられる。プロセッサ９１は、不揮発性メモリ９４または記録媒体９５からコンピュータプログラムをロードし実行することによって画素加算回路１４の機能を実現することができる。
上記撮像装置１〜４は、例えば、監視カメラや車載カメラに組み込むことができる。特に、比較的暗い場所を撮像する監視カメラとして上記撮像装置１〜４が使用される場合には、暗所においても良好な視認性を得ることができ、高感度を実現することができる。近年、固体撮像素子の高画素化に伴い、画素サイズの微細化が進んでおり、画素あたりの集光量が減少することによる感度の低下が課題となっているが、上記撮像装置１〜４は、このような課題を解決し得る構成を有している。
１１ 撮像光学系（レンズ機構）、 １２ ＣＣＤ画像センサ、 １２Ｃ ＣＭＯＳ画像センサ、 １３ フロントエンド部、 １３Ｃ 相関二重サンプリング処理回路、 １３Ｐ プログラマブル利得増幅回路、 １３Ａ Ａ／Ｄ変換回路、 １４ 画素加算回路、 １５ 映像信号処理回路、 １６ 駆動回路、 １７ タイミング発生回路、 １８ 同期信号発生回路、 １９，１９Ｂ，１９Ｃ 制御回路（ＭＰＵ）、 １３ 画像検波回路、 ８２ 測光部、 ２４〜２６ 選択回路、 ２０ 画素加算部、 ４０ ノイズ低減回路、 ４１〜４３ 空間フィルタ、 ５０ 面内パターン検出回路、 ７０ 参照パターン検出回路、 ７１ 前方参照パターン検出回路、 ７２ 後方参照パターン検出回路、 ２２０ 画素選択回路。

Claims (24)

  1. 時間的に連続する複数のフレーム画像を処理する画像処理装置であって、
    前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、前記注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出し、さらに前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択する面内パターン検出部と、
    前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、前記参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出し、さらに前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択する参照パターン検出部と、
    前記面内画素加算パターンに含まれる画素と前記参照画素加算パターンに含まれる画素とを加算して前記注目画素に対応する補正画素を生成する画素加算部と
    を備えることを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    前記複数の面内画素パターンの各々は、当該注目画素と当該注目画素を中心とする周辺画素とからなり、
    前記面内パターン検出部は、
    当該注目フレーム画像を構成する画素群から前記複数の面内画素パターンを抽出する面内画素抽出部と、
    前記複数の面内画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面内相関評価値として算出し、前記複数の面内画素パターンの中から前記面内相関評価値の大きさが最小となる画素パターンを前記面内画素加算パターンとして選択する演算部と、
    前記注目フレーム画像における前記面内画素加算パターンの画素位置を示す情報を前記画素加算部に通知する画素指定部と
    を含むことを特徴とする画像処理装置。
  3. 請求項１又は２に記載の画像処理装置であって、
    前記参照パターン検出部は、
    前記参照フレーム画像を構成する画素群から前記複数の参照画素パターンを抽出する参照画素抽出部と、
    前記複数の参照画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面間相関評価値として算出する演算部と、
    前記複数の参照画素パターンの中から前記面間相関評価値の大きさが最小となる画素パターンを前記参照画素加算パターンとして選択し、前記参照フレーム画像における前記参照画素加算パターンの画素位置を示す情報を前記画素加算部に通知する加算パターン指定部と
    を含むことを特徴とする画像処理装置。
  4. 請求項３に記載の画像処理装置であって、
    前記複数のフレーム画像で構成される画像信号を遅延させて前記注目フレーム画像における当該注目画素を中心とする第１の局所画素領域内の複数画素の信号を並列に出力する第１の遅延回路と、
    前記画像信号を遅延させて前記参照フレーム画像における当該参照注目画素を中心とする第２の局所画素領域内の複数画素の信号を並列に出力する第２の遅延回路と
    をさらに備え、
    前記画素加算部は、
    前記第１の遅延回路により並列に出力された当該第１の局所画素領域内の複数画素の信号から前記面内画素加算パターンの画素を選択する面内画素選択部と、
    前記第２の遅延回路により並列に出力された当該第２の局所画素領域内の複数画素の信号から前記参照画素加算パターンの画素を選択する参照画素選択部と、
    前記面内画素選択部により選択された画素と前記参照画素選択部により選択された画素とを加算する加算演算部と
    を含むことを特徴とする画像処理装置。
  5. 請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
    前記複数のフレーム画像は撮像素子から出力され、
    前記撮像素子は、互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなる色フィルタアレイと、前記色フィルタアレイを透過した光学像を検出する撮像面とを有し、
    前記複数のフレーム画像の各々を構成する各画素は、前記Ｎ個の波長域の色のうちのいずれか１色を有し、
    前記面内パターン検出部は、前記Ｎ個の波長域の色をそれぞれ有する第１乃至第Ｎ群の面内画素パターンのうち当該注目画素の色を有する群の面内画素パターンを当該注目フレーム画像から抽出するとともに、当該抽出された群の面内画素パターンを前記複数の面内画素パターンとして使用し、
    前記参照パターン検出部は、前記Ｎ個の波長域の色をそれぞれ有する第１乃至第Ｎ群の参照画素パターンのうち当該注目画素の色を有する群の参照画素パターンを当該参照フレーム画像から抽出するとともに、当該抽出された群の参照画素パターンを前記複数の参照画素パターンとして使用する
    ことを特徴とする画像処理装置。
  6. 請求項５に記載の画像処理装置であって、前記色フィルタの配列はベイヤ配列であることを特徴とする画像処理装置。
  7. 請求項１から６のうちのいずれか１項に記載の画像処理装置であって、
    前記参照フレーム画像は、
    当該注目フレーム画像に対して時間的に前方に位置する前方参照フレーム画像と、
    当該注目フレーム画像に対して時間的に後方に位置する後方参照フレーム画像とを含み、
    前記複数の参照画素パターンは、
    前記前方参照フレーム画像から抽出された複数の前方参照画素パターンと、
    前記後方参照フレーム画像から抽出された複数の後方参照画素パターンとを含み、
    前記面間相関評価値は、
    前記複数の前方参照画素パターンの各々と当該注目画素との間の相関を表す第１の面間相関評価値と、
    前記複数の後方参照画素パターンの各々と当該注目画素との間の相関を表す第２の面間相関評価値とを含み、
    前記参照パターン検出部は、前記第１の面間相関評価値に基づいて前記複数の前方参照画素パターンの中から当該注目画素と最も相関が高い第１の参照画素加算パターンを前記参照画素パターンの一部として選択するとともに、前記第２の面間相関評価値に基づいて前記複数の後方参照画素パターンの中から当該注目画素と最も相関が高い第２の参照画素加算パターンを前記参照画素パターンの他の一部として選択する
    ことを特徴とする画像処理装置。
  8. 請求項１から７のうちのいずれか１項に記載の画像処理装置であって、
    前記複数のフレーム画像で構成される画像信号に含まれるノイズ成分を減衰させるフィルタ部をさらに備え、
    前記面内パターン検出部は、前記フィルタ部の出力に基づいて前記面内相関評価値を算出するとともに前記面内画素加算パターンを選択し、
    前記参照パターン検出部は、前記フィルタ部の出力に基づいて前記面間相関評価値を算出するとともに前記参照画素加算パターンを選択する
    ことを特徴とする画像処理装置。
  9. 請求項８に記載の画像処理装置であって、
    前記フィルタ部は、
    前記画像信号を遅延させて前記複数のフレーム画像の各々における第３の局所画素領域内の複数画素の信号を並列に出力する第３の遅延回路と、
    前記第３の遅延回路により並列に出力された当該第３の局所画素領域内の複数画素の信号に重み係数を個別に乗算して複数の重み付き画素を生成する乗算部と、
    前記複数の重み付き画素の総和を演算する総和演算部と、
    前記重み係数を被写体照度情報に応じた値に設定する係数可変設定部と
    を有することを特徴とする画像処理装置。
  10. 請求項９に記載の画像処理装置であって、前記係数可変設定部は、前記被写体照度情報の値が閾値よりも大きいときに前記重み係数を第１の所定値に設定し、前記被写体照度情報の値が前記閾値以下のときは前記重み係数を前記第１の所定値よりも大きい第２の所定値に設定することを特徴とする画像処理装置。
  11. 請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
    前記画素加算部は、前記面内画素加算パターン及び前記参照画素加算パターンの双方の画素を加算した結果に増感倍率を乗算して前記補正画素を生成し、
    前記増感倍率の値は、可変に設定される
    ことを特徴とする画像処理装置。
  12. 請求項１から１０のうちのいずれか１項に記載の画像処理装置と、
    前記複数のフレーム画像を出力する撮像素子と
    を備えることを特徴とする撮像装置。
  13. 請求項１１に記載の画像処理装置と、
    前記複数のフレーム画像を出力する撮像素子と、
    前記画素加算部の出力に応じて前記増感倍率の値を設定する制御部と
    を備えることを特徴とする撮像装置。
  14. 請求項１３に記載の撮像装置であって、
    前記撮像素子の前面に配置された開口絞りと、
    前記複数のフレーム画像で構成される画像信号を増幅する信号増幅器と
    をさらに備え、
    前記制御部は、前記画素加算部の出力に応じて、前記開口絞りの開口量と前記信号増幅器の増幅利得と前記撮像素子の露光時間とのうちの少なくとも１つを設定する
    ことを特徴とする撮像装置。
  15. 請求項１４に記載の撮像装置であって、前記制御部は、前記画素加算部の出力の信号振幅と前記増幅利得と前記露光時間と前記増感倍率とに基づいて被写体照度の換算値を算出し、前記被写体照度の換算値に応じて、前記開口量と前記増幅利得と前記露光時間と前記増感倍率とを個別に設定することを特徴とする撮像装置。
  16. 請求項１１に記載の画像処理装置と、
    前記複数のフレーム画像を出力する撮像素子と、
    前記撮像素子に入射する光学像を測光することにより被写体照度を検出する測光部と、
    前記被写体照度の検出値に応じて前記増感倍率の値を設定する制御部と
    を備えることを特徴とする撮像装置。
  17. 請求項１６に記載の撮像装置であって、
    前記制御部は、
    前記撮像素子の前面に配置された開口絞りと、
    前記複数のフレーム画像で構成される画像信号を増幅する信号増幅器と
    をさらに備え、
    前記制御部は、前記被写体照度の検出値に応じて、前記開口絞りの開口量と前記信号増幅器の増幅利得と前記撮像素子の露光時間と前記増感倍率とを個別に設定する
    ことを特徴とする撮像装置。
  18. 請求項１２から１７のうちのいずれか１項に記載の撮像装置であって、前記撮像素子は、固体撮像素子であることを特徴とする撮像装置。
  19. 時間的に連続する複数のフレーム画像を処理する画像処理方法であって、
    前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、前記注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出するステップと、
    前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択するステップと、
    前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、前記参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出するステップと、
    前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択するステップと、
    前記面内画素加算パターンに含まれる画素と前記参照画素加算パターンに含まれる画素とを加算して前記注目画素に対応する補正画素を生成するステップと
    を備えることを特徴とする画像処理方法。
  20. 請求項１９に記載の画像処理方法であって、
    前記複数の面内画素パターンの各々は、当該注目画素と当該注目画素を中心とする周辺画素とからなり、
    前記面内相関評価値を算出する当該ステップは、
    当該注目フレーム画像を構成する画素群から前記複数の面内画素パターンを抽出するステップと、
    前記複数の面内画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面内相関評価値として算出するステップとを含み、
    前記複数の面内画素パターンの中から前記面内相関評価値の大きさが最小となる画素パターンが前記面内画素加算パターンとして選択される
    ことを特徴とする画像処理方法。
  21. 請求項２０に記載の画像処理方法であって、
    前記面間相関評価値を算出する当該ステップは、
    前記参照フレーム画像を構成する画素群から前記複数の参照画素パターンを抽出するステップと、
    前記複数の参照画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面間相関評価値として算出するステップとを含み、
    前記複数の参照画素パターンの中から前記面間相関評価値の大きさが最小となる画素パターンが前記参照画素加算パターンとして選択される
    ことを特徴とする画像処理方法。
  22. 請求項１９から２１のうちのいずれか１項に記載の画像処理方法であって、
    前記複数のフレーム画像は撮像素子から出力され、
    前記撮像素子は、互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなる色フィルタアレイと、前記色フィルタアレイを透過した光学像を検出する撮像面とを有し、
    前記複数のフレーム画像の各々を構成する各画素は、前記Ｎ個の波長域の色のうちのいずれか１色を有し、
    前記画像処理方法は、
    前記Ｎ個の波長域の色をそれぞれ有する第１乃至第Ｎ群の面内画素パターンのうち当該注目画素の色を有する群の面内画素パターンを当該注目フレーム画像から抽出するステップと、
    前記Ｎ個の波長域の色をそれぞれ有する第１乃至第Ｎ群の参照画素パターンのうち当該注目画素の色を有する群の参照画素パターンを当該参照フレーム画像から抽出するステップと
    をさらに備え、
    当該抽出された群の面内画素パターンは、前記複数の面内画素パターンとして使用され、
    当該抽出された群の参照画素パターンは、前記複数の参照画素パターンとして使用される
    ことを特徴とする画像処理方法。
  23. 記録媒体から読み出されて、請求項１９から２２のうちのいずれか１項に記載の画像処理方法が備えるステップをプロセッサに実行させることを特徴とするコンピュータプログラム。
  24. 請求項２３に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2011204651A 2011-09-20 2011-09-20 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 Active JP5868090B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011204651A JP5868090B2 (ja) 2011-09-20 2011-09-20 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
US13/494,742 US8818108B2 (en) 2011-09-20 2012-06-12 Digital pixel addition method and device for processing plurality of images
CN201210321287.9A CN103024285B (zh) 2011-09-20 2012-09-03 图像处理装置、图像处理方法和摄像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011204651A JP5868090B2 (ja) 2011-09-20 2011-09-20 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体

Publications (3)

Publication Number Publication Date
JP2013066114A JP2013066114A (ja) 2013-04-11
JP2013066114A5 JP2013066114A5 (ja) 2014-10-09
JP5868090B2 true JP5868090B2 (ja) 2016-02-24

Family

ID=47880720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011204651A Active JP5868090B2 (ja) 2011-09-20 2011-09-20 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体

Country Status (3)

Country Link
US (1) US8818108B2 (ja)
JP (1) JP5868090B2 (ja)
CN (1) CN103024285B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6112764B2 (ja) * 2011-11-22 2017-04-12 三菱電機株式会社 撮像装置、輝度制御方法、及び輝度制御装置
JP6149408B2 (ja) * 2013-01-29 2017-06-21 株式会社リコー 固体撮像素子、画像読取装置及び画像形成装置
JP5991932B2 (ja) * 2013-02-08 2016-09-14 三菱電機株式会社 撮像装置
JP6095519B2 (ja) 2013-08-09 2017-03-15 三菱電機株式会社 撮像装置
JP6320037B2 (ja) * 2013-12-27 2018-05-09 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
WO2015141081A1 (ja) 2014-03-18 2015-09-24 富士フイルム株式会社 撮像装置及び合焦制御方法
CN105704363B (zh) * 2014-11-28 2020-12-29 广东中星微电子有限公司 图像数据处理方法和装置
CN107689052B (zh) * 2017-07-11 2021-06-29 西安电子科技大学 基于多模型融合和结构化深度特征的视觉目标跟踪方法
EP3543903B1 (en) 2018-03-22 2021-08-11 Canon Kabushiki Kaisha Image processing apparatus and method, and storage medium storing instruction

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982294A (en) 1987-07-24 1991-01-01 Eastman Kodak Company Apparatus for enhancing and thresholding scanned microfilm images and methods for use therein
JP2504324B2 (ja) 1990-11-02 1996-06-05 ヤマハ株式会社 楽音合成装置
EP0529903B1 (en) * 1991-08-23 2000-01-12 Mitsubishi Denki Kabushiki Kaisha Pixel Interpolation Circuit and its Applications
JP2891253B1 (ja) * 1997-12-10 1999-05-17 日本電気株式会社 画像圧縮処理装置
JP2000184274A (ja) 1998-12-15 2000-06-30 Nec Corp デジタルカメラ装置及びデジタル画素加算方法
US7239758B2 (en) * 2002-02-07 2007-07-03 Nikon Corporation Signal processing device for reducing noise of image signal, signal processing program, and signal processing method
JP4228947B2 (ja) 2003-05-20 2009-02-25 日産自動車株式会社 撮像装置
JP4148927B2 (ja) 2004-07-15 2008-09-10 三菱電機株式会社 画素信号処理方法及び装置
JP2006109046A (ja) * 2004-10-05 2006-04-20 Konica Minolta Photo Imaging Inc 撮像装置
WO2007020930A1 (ja) 2005-08-15 2007-02-22 Sony Corporation 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム
US7864229B2 (en) * 2005-12-08 2011-01-04 Samsung Electronics Co., Ltd. Analog to digital converting device and image pickup device for canceling noise, and signal processing method thereof
US20070133893A1 (en) * 2005-12-14 2007-06-14 Micron Technology, Inc. Method and apparatus for image noise reduction
JP2007312304A (ja) 2006-05-22 2007-11-29 Fujitsu Ltd 画像処理装置および画像処理方法
JP2008109369A (ja) * 2006-10-25 2008-05-08 Olympus Imaging Corp 撮像装置及び画像処理方法
JP4686496B2 (ja) * 2007-03-30 2011-05-25 株式会社東芝 撮像装置
JP5159461B2 (ja) 2008-06-20 2013-03-06 三洋電機株式会社 画像処理装置、画像処理方法及び撮像装置
JP5220677B2 (ja) * 2009-04-08 2013-06-26 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2011109219A (ja) * 2009-11-13 2011-06-02 Mitsubishi Electric Corp 画像信号処理装置及び方法
JP5473555B2 (ja) * 2009-11-20 2014-04-16 三菱電機株式会社 撮像装置

Also Published As

Publication number Publication date
JP2013066114A (ja) 2013-04-11
CN103024285A (zh) 2013-04-03
CN103024285B (zh) 2015-08-05
US20130071036A1 (en) 2013-03-21
US8818108B2 (en) 2014-08-26

Similar Documents

Publication Publication Date Title
JP5868090B2 (ja) 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
KR101536060B1 (ko) 고체 촬상 장치 및 카메라 모듈
JP4704913B2 (ja) 画像補正方法および撮像装置
KR20180038111A (ko) 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치
JP2021507637A (ja) マルチカメラ画像処理
JP5885490B2 (ja) 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
WO2018099009A1 (zh) 控制方法、控制装置、电子装置和计算机可读存储介质
KR101665511B1 (ko) 광역 역광 보정 하드웨어 장치 및 이를 포함하는 촬영 장치
JP5780786B2 (ja) 撮像装置
JP2015220716A (ja) 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
WO2023087908A1 (zh) 对焦控制方法、装置、图像传感器、电子设备和计算机可读存储介质
US20170237957A1 (en) Image sensor and method of generating restoration image
KR20200098032A (ko) 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
KR102412020B1 (ko) 이미지 센서의 파라미터 제어 방법
TWI723435B (zh) 影像輸出方法與電子裝置
US20160119525A1 (en) Image processing methods and systems based on flash
JP5988847B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP6118133B2 (ja) 信号処理装置及び撮像装置
KR20040093876A (ko) 리셋전압 보상부를 구비한 이미지센서
WO2021143670A1 (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
TWI536765B (zh) 具有透明濾波器像素之成像系統
JP7426396B2 (ja) 撮像装置
JP5521345B2 (ja) 撮像ユニット及び撮像装置
JP3663105B2 (ja) ディジタルカメラ
JP2000050290A (ja) カラー固体撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160105

R150 Certificate of patent or registration of utility model

Ref document number: 5868090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250