JP4772754B2 - 画像補間装置及び方法、並びに画像読取装置 - Google Patents

画像補間装置及び方法、並びに画像読取装置 Download PDF

Info

Publication number
JP4772754B2
JP4772754B2 JP2007165860A JP2007165860A JP4772754B2 JP 4772754 B2 JP4772754 B2 JP 4772754B2 JP 2007165860 A JP2007165860 A JP 2007165860A JP 2007165860 A JP2007165860 A JP 2007165860A JP 4772754 B2 JP4772754 B2 JP 4772754B2
Authority
JP
Japan
Prior art keywords
data
interpolation
pixel
pixels
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007165860A
Other languages
English (en)
Other versions
JP2009005208A (ja
Inventor
聡 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007165860A priority Critical patent/JP4772754B2/ja
Priority to US12/666,750 priority patent/US8320715B2/en
Priority to EP08711022.7A priority patent/EP2161914B1/en
Priority to CN2008800220521A priority patent/CN101690153B/zh
Priority to PCT/JP2008/052143 priority patent/WO2009001575A1/ja
Priority to TW097105306A priority patent/TWI373007B/zh
Publication of JP2009005208A publication Critical patent/JP2009005208A/ja
Application granted granted Critical
Publication of JP4772754B2 publication Critical patent/JP4772754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • H04N1/192—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
    • H04N1/193—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0081—Image reader

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Input (AREA)
  • Facsimile Scanning Arrangements (AREA)

Description

この発明は、スキャナ、ファクシミリ、複写機等を使って原稿をデジタル的に読み取る際、何らかの原因で画像が欠落した場合に画素を補間する画像補間装置に関するものであり、特に複数の撮像素子が直線状に配列されたセンサＩＣチップが複数個直線状に配列された密着イメージセンサのセンサＩＣのつなぎ目部分に画素を補間するのに用い得る画像補間装置及び方法に関するものである。
上記のような場合に用いられる従来の画像補間装置として、欠落画素に隣接する画素の平均値を補間データとする方法、最小自乗法を使って欠落画素に隣接する画素の回帰直線を求め、その回帰直線から補間データを計算する方法、欠落画素に隣接する４画素から４次式の曲線を求め、その４次式から補間データを計算する方法などを使って欠落画素の補間データを計算するものがあるが、この装置では、周期的なデータを補間するのが困難であった（例えば、特許文献１参照）。
この改善策として、欠落画素を含む複数の画素の平均値と欠落画素を含まない複数の画素の平均値が等しくなるように欠落画素の補間データを求めることにより周期的なデータを補間することも提案されている（例えば、特許文献２参照）。さらに、特性の異なる複数の補間演算回路と採点回路と管理回路と出力回路を備え、複数の補間演算回路はそれぞれ欠落画素および欠落画素近傍の画素の補間データを生成し、採点回路は複数の補間演算回路がそれぞれ出力する欠落画素近傍の画素の補間データと欠落画素近傍の画素の補間データに対応する画素の原データに基づいて採点データを生成し、管理回路は採点回路が出力する採点データに基づいて複数の補間演算回路が出力する欠落画素の補間データのうちから１つを選択するための選択信号を生成し、出力回路は前記管理回路が出力する選択信号に基づいて前記複数の補間演算回路が出力する欠落画素の補間データの１つを欠落画素のデータとして出力することにより補間方法を適応的に切り替えることも提案されている（例えば、特許文献３）。
特開２００３−１０１７２４号公報（第５−６頁、第３〜５図） 特開２００５−１４１６１１号公報（第３−７頁、第１図） 特開２００５−１１７２９１号公報（第７−８頁、第１図）
しかしながら、上記の従来の技術では、欠落画素の補間精度、特に、周期的なデータを含む原稿を読み取ったデータを補間する場合の補間精度が十分でないことがあった。
この発明は、上述のような課題を解消するためになされたもので、本発明の画像補間装置は、
直線状に配列された複数の画素のうちの欠落画素を補間する画像補間装置において、
前記直線状に配列された複数の画素のうちの前記欠落画素以外の画素は互いに所定のピッチで配列され、前記直線状に配列された複数の画素のうちの前記欠落画素を挟む画素は、相互間に前記所定のピッチの２倍の間隔を有し、
前記欠落画素以外の前記複数の画素の画素値を表すデータを格納するデータ格納部と、
前記データ格納部から読み出されたデータを受け、前記直線状に配列された複数の画素のうち、前記欠落画素の周辺に位置する複数の周辺画素の画素値の各々に、予め定められた係数を掛けて加算する積和演算を行なって、前記欠落画素のための補間値を算出するフィルタ補間部と、
前記フィルタ補間部が出力するデータを前記複数の周辺画素の画素値の範囲内に制限するリミット処理部と、
前記リミット処理部が出力するデータを、前記データ格納部が出力するデータの前記欠落画素に対応する位置に挿入するデータ挿入部とを備え、
前記フィルタ補間部において、前記周辺画素の画素値の各々に掛けられる係数の大きさは、当該周辺画素の前記欠落画素からの距離をｄ、第１の所定の定数をｇとしたとき、{ｓｉｎ（ｇ×ｄ）｝／（ｇ×ｄ）と第２の所定の定数との積で与えられ、
前記係数は、前記欠落画素に対する係数がゼロである点を除けば、前記フィルタ補間部の前記積和演算を行う部分が低域通過フィルタである場合に用いられる係数に比例し、かつ該係数の和が１となるように定められており、
画素ピッチの逆数をＦｓ、カットオフ空間周波数をＦｃ、各周辺画素の処理対象画素からの距離を画素ピッチ数で表わした値をｓで表わすとき、
前記距離ｄがｄ＝ｓ／Ｆｓで与えられ、
前記第１の所定の定数ｇがｇ＝２π×Ｆｃで与えられ、
前記第２の所定の定数ＫＳ０がＫＳ０＝２Ｆｃ／Ｆｓで与えられることを特徴とする。
本発明によれば、カットオフ周波数の高い低域通過フィルタを改良した補間方法を用いたので、カットオフ周波数より低い周期的なデータを良好に補間することができる。
実施の形態１．
図１は、本発明の実施の形態１の画像補間装置の構成を示す図である。図示の画像補間装置１は、データ格納部２、フィルタ補間部３、リミット処理部４、及び補間データ挿入部５を備える。
画像データＤＩがデータ格納部２に入力される。
データ格納部２は、縦続接続された複数のフリップフロップなどを使って欠落画素近傍の一定範囲のデータを格納し、データＤｍとして出力する。
データＤｍは、フィルタ補間部３、リミット処理部４、及び補間データ挿入部５に入力される。
フィルタ補間部３は、積和演算部６と係数格納部７とを有する。係数格納部７は、積和演算部６で用いられる係数を格納する。
積和演算部６は、データ格納部２から読み出されたデータＤｍと係数格納部７が出力する補間用低域通過フィルタの係数ＫＦ１〜ＫＦａを掛けて加算する積和演算を行った結果をデータＤｆとして出力する。
データＤｆは、リミット処理部４に入力される。
リミット処理部４は、データＤｆがデータＤｍの範囲内に収まるように処理を行ったデータをデータＤｃとして出力する。
データＤｃは、補間データ挿入部５に入力される。
補間データ挿入部５は、データＤｍにデータＤｃを挿入したデータをデータＤＯとして出力する。
図２は、本発明の画像補間装置を搭載する密着イメージセンサの構成を示す図である。
密着イメージセンサ８は、光源９、センサチップ列１０、Ａ／Ｄ変換器１１、及び画像補間装置１を備える。
なお、本発明の画像補間装置を密着イメージセンサに搭載し、以下に詳しく述べるように、センサチップ間のつなぎ目を補間する場合について説明を行うが、本発明の画像補間装置は、密着イメージセンサのつなぎ目を補間する場合だけに限定されない。例えば、１次元のラインセンサや２次元のカメラ用のイメージセンサにおいて画素欠陥により読み取れない領域を補間する場合にも有効である。
密着イメージセンサ８の動作について説明する。
光源９が発する光Ｌｓが原稿１２に照射される。
原稿１２からの反射光Ｌｒがセンサチップ列１０に照射される。
センサチップ列１０の各受光素子は、反射光Ｌｒを光電変換し、反射光Ｌｒに対応した信号Ｓａを出力する。
信号ＳａはＡ／Ｄ変換器１１に入力される。
Ａ／Ｄ変換器１１は、信号ＳａをＡ／Ｄ変換してデジタルデータＤＩを出力する。
データＤＩは画像補間装置１に入力される。
画像補間装置１は、センサチップ列１３のつなぎ目に対応する領域を補間したデータＤＯを出力する。
データＤＯは、スキャナや複写機の取り込みデータとして使用される。
センサチップ列と読み取りデータの関係について説明する。
センサチップ列１０は、図３（ａ）に示すように、各々直線的に整列した複数の受光素子（それぞれ画素に対応する）を備える複数のセンサチップを直線状に配置したものであり、従って、複数の受光素子が直線的に、即ち１次元的に配列されたラインセンサを構成するものである。具体的には、センサチップ列１０には、ｋ個（ｋは２以上の整数）のセンサチップ１３−１、１３−２、１３−３、…、１３−ｋが直線状に配置されたものである。センサチップ１３−１には、ｍ個（ｍは２以上の整数）のフォトダイオードなどの受光素子１４−１、１４−２、…、１４−ｍが直線状に配置され、センサチップ１３−２乃至１３−ｋも同様にｍ個の受光素子１５−１乃至１６−ｍが配置されている。
原稿１２は、センサチップ１３−１乃至１３−ｋが並んだ方向に対して垂直な方向に矢印ＤＤで示す方向に搬送され、原稿１２からの反射光Ｌｒが受光素子１４−１乃至１６−ｍによって読み取られる。
しかし、センサチップのつなぎ目部分には受光素子が存在しないため、つなぎ目部分に位置する原稿１５の反射光Ｌｒを読み取ることができない。例えば、センサチップ１３−１の右端の受光素子１４−ｍとセンサチップ１３−２の左端の受光素子１５−１の間はセンサチップの端縁部領域（額縁領域）などであって受光素子が存在しないため、原稿１２からの反射光Ｌｒを読み取ることができない。
そこで、画像補間装置１は、センサチップ１３−１の右端の受光素子１４−ｍとセンサチップ１３−２の左端の受光素子１５−１を含むセンサチップのつなぎ目近傍の受光素子が読み取ったデータに基づいてつなぎ目部分のデータを生成し、読み取ったデータのつなぎ目に対応する部分に挿入する。また、センサチップ１３−２と１３−３のつなぎ目部分などセンサチップ列すべてのつなぎ目部分についてセンサチップ１３−１と１３−２のつなぎ目と同様にデータを補間する。
より詳しく言えば、図３（ｂ）に示すように、センサーチップ１３−１乃至１３−ｋ上の受光素子１４−１乃至１４−ｍは、所定の間隔（画素ピッチ）ｐで直線上に配置されているのに対し、互いに接続される２つのセンサーチップ１３の隣接端部に位置する受光素子は互いに距離ｐ’だけ隔てられている。例えば、センサーチップ１３−１の右端の受光素子１４−ｍとセンサーチップ１３−２の左端の受光素子１５−１の距離がｐ’である。
ここで、ｐ’が、ｐのおおよそ２倍になるようにセンサーチップを配置し、センサーチップ相互間に一つの欠落画素１４−Ｘがあるものとして補間処理をすることにより、高品質な補間結果を得ることができる。そこで、以下ｐ’がｐの２倍である場合について説明するが、本発明は必ずしもこれに限定されるものではなく、距離に応じた補間処理を行うことができる。
次に、画像補間装置１の動作について説明する。
図４（ａ）及び（ｂ）は、データ格納部２の概略構成及び動作を説明する図である。図４（ａ）は、センサチップのつなぎ目近傍の受光素子の位置関係、図４（ｂ）は、データ格納部２の構成を示している。
センサチップ列１０は、１回の読み取りで原稿１２の横方向１ライン分のデータを取得できるが、Ａ／Ｄ変換器１４が１度に１画素分のデータしか処理しないため、データＤＩは１ライン分のデータの左端から順に画像補間装置１に入力される。図４（ａ）では、画素Ｌａ、…、Ｌ３、Ｌ２、Ｌ１、Ｒ１、Ｒ２、Ｒ３、…、Ｒａの順に入力される。センサチップのつなぎ目には画素がないため、位置Ｘのデータを取得できない。上記のうち、Ｌｓ（ｓ＝１〜ａ）は、位置Ｘの画素（欠落画素）に対して左側に位置し、欠落画素Ｘからｓ画素ピッチ離れた位置の画素を表し、Ｒｓ（ｓ＝１〜ａ）は、位置Ｘの画素（欠落画素）に対して右側に位置し、欠落画素Ｘからｓ画素ピッチ離れた位置の画素を表す。
図４（ｂ）に示すように、データ格納部２は、入力されたデータは縦続接続された複数のフリップフロップＦＦＲａ〜ＦＦＬａを使って格納し、フリップフロップに格納しているつなぎ目近傍のデータＤＬａ乃至ＤＲａを出力する。ここで、ＤＬａ乃至ＤＲａは、図１のＤｍに対応し、またそれぞれ画素Ｌａ乃至Ｒａのデータである。
なお、欠落画素Ｘに対応するデータは、データＤＩとしては得られず、データＤＬ１に対応する画素Ｌ１と、データＤＲ１に対応する画素Ｒ１との間には、２画素ピッチ分の間隔がある。
図５は、つなぎ目近傍の受光素子と係数格納部７が格納する係数ＫＦｓ（ｓ＝１、２、…ａ）の一例の関係を示す図である。横軸は受光素子の位置、縦軸は係数ＫＦｓの大きさである。受光素子Ｌ１とＲ１のための係数の大きさはＫＦ１、受光素子Ｌ２とＲ２のための係数の大きさはＫＦ２、受光素子Ｌ３とＲ３のための係数の大きさはＫＦ３、受光素子ＬａとＲａのための係数の大きさはＫＦａである。ここで、係数ＫＦ１乃至ＫＦａは、図１のＫＦ１〜ＫＦａに対応するものであり、これらの集合を符号ＫＦで表すこともある。
なお、欠落画素に対応する係数ＫＦ０の値がゼロとして示されているが、欠落画素のデータは得られないので、積和演算部６では、係数ＫＦ０を用いた乗算は行われない。
図５に示される例では、係数ＫＦｓ（ｓ＝１〜ａ）を表すグラフは、欠落画素Ｘの位置を中心として左右対称であり、データＤＲｓのための係数（ＫＦｓ）とデータＤＬｓのための係数（ＫＦｓ）とは互いに等しい。
フィルタ補間部３は、積和演算を行なう積和演算部６と、積和演算部６で用いられる係数を格納する係数格納部７とを有し、積和演算部６で用いられる係数は、欠落画素に対する係数が０であることを除き、積和演算部６が低域通過フィルタである場合に用いられる係数に比例し、かつ該係数の和が１となるように定められている。
フィルタ補間部（３）において、周辺画素の画素値の各々に掛けられる係数の大きさは、各周辺画素の欠落画素からの距離をｄ、第１の所定の定数をｇとしたとき、{ｓｉｎ（ｇ×ｄ）｝／（ｇ×ｄ）と第２の所定の定数との積で与えられるものとするのが望ましい。
積和演算部６は、データ格納部２が出力するデータＤｍ、すなわちＤＬａ〜ＤＲａと、係数格納部１０が出力する係数ＫＦ１乃至ＫＦａとに対して積和演算を行ってデータＤｆを出力する。データＤｆは、
Ｄｆ
＝ＫＦ１×ＤＬ１＋ＫＦ２×ＤＬ２＋ＫＦ３×ＤＬ３＋
…＋ＫＦａ×ＤＬａ
＋ＫＦ１×ＤＲ１＋ＫＦ２×ＤＲ２＋ＫＦ３×ＤＲ３＋
…＋ＫＦａ×ＤＲａ
で与えられる。
係数格納部７に格納する係数ＫＦ１乃至ＫＦａは、以下に詳しく述べるように、欠落画素乃至補間対象画素に対する係数が０である点を除けば、積和演算部６が、低域通過フィルタである場合に用いられる係数に比例し、かつ該係数の和が１となるように定められている。以下、係数格納部７に格納する係数ＫＦ１乃至ＫＦａの決定方法について説明する。
低域通過フィルタより補間用低域通過フィルタを生成し、補間用低域通過フィルタの係数を係数ＫＦ１乃至ＫＦａとする。
まず、低域通過フィルタについて説明する。
図６は、低域通過フィルタの係数の一例と画素の位置関係を示す図である。横軸は画素の位置（処理対象画素に対する相対位置）、縦軸は当該相対位置の画素のデータに掛けられる係数ＫＳｓの大きさである。着目画素Ｃ０の係数の大きさはＫＳ０、画素Ｌ１とＲ１の係数の大きさはＫＳ１、画素Ｌ２とＲ２の係数の大きさはＫＳ２、画素Ｌ３とＲ３の係数の大きさはＫＳ３、画素ＬａとＲａの係数の大きさはＫＳａである。
図６に示される係数ＫＳｓの値は、下記の式（１）で与えられる。
Figure 0004772754
 式（１）において、
ＫＳ０＝２Ｆｃ／Ｆｓ …（２）
Ｆｓはサンプリング周波数（空間周波数）であり、画素ピッチｐの逆数（１／ｐ）に等しく、
Ｆｃはカットオフ周波数（空間周波数）である。
ｄは、各周辺画素（係数が掛けられる周辺画素）の処理対象画素からの距離であり、画素ピッチｐと、当該周辺画素の処理対象画素からの距離を画素ピッチ数で表した値ｓとの積、
ｄ＝ｓ×ｐ＝ｓ／Ｆｓ …（３）
で与えられる。
定数ｇは
ｇ＝２π×Ｆｃ …（４）
で与えられる。
式（２）、（３）及び（４）を式（１）に代入して式（１）を書き直せば、
Figure 0004772754
 或いは
Figure 0004772754
 となる。
着目画素Ｃ０のデータＤＣ０、着目画素の近傍の画素Ｌａ乃至ＲａのデータＤＬａ乃至ＤＲａと係数ＫＳ０乃至ＫＳａを積和演算すると着目画素Ｃ０の低域通過フィルタ処理後のデータＤｌｐｆ（ＤＣ０）が得られる。データＤｌｐｆ（ＤＣ０）は、
Ｄｌｐｆ（ＤＣ０）
＝ＫＳ０×ＤＣ０
＋ＫＳ１×ＤＬ１＋ＫＳ２×ＤＬ２＋ＫＳ３×ＤＬ３＋
…＋ＫＳａ×ＤＬａ
＋ＫＳ１×ＤＲ１＋ＫＳ２×ＤＲ２＋ＫＳ３×ＤＲ３＋
…＋ＫＳａ×ＤＲａ
となる。
積和演算に用いる係数の総和は１である。すなわち、
ＫＳ０＋ＫＳ１＋ＫＳ２＋ＫＳ３＋
…＋ＫＳａ＋ＫＳ１＋ＫＳ２＋ＫＳ３＋
…＋ＫＳａ
＝１
となる。
次に、補間用低域通過フィルタについて説明する。
図６で示した低域通過フィルタの係数より図５で示したような補間用低域通過フィルタの係数を算出する。図５ではつなぎ目の位置のデータを読み取ることができないため、つなぎ目の位置Ｘのデータを積和演算に使えない。そこで、図６の係数ＫＳ０を０としてつなぎ目の位置Ｘのための係数以外の係数の総和が１となるように係数ＫＦ１乃至ＫＦａを算出する。すなわち、
ＫＦ１＝ＫＳ１／ＳＫＳ
ＫＦ２＝ＫＳ２／ＳＫＳ
ＫＦ３＝ＫＳ３／ＳＫＳ
…
ＫＦａ＝ＫＳａ／ＳＫＳ
一般化すれば、
ＫＦｓ＝ＫＳｓ／ＳＫＳ
（ただし、
ＳＫＳ
＝ＫＳ１＋ＫＳ２＋ＫＳ３＋…＋ＫＳａ＋ＫＳ１＋ＫＳ２＋ＫＳ３＋…＋ＫＳａ
＝２×(ＫＳ１＋ＫＳ２＋ＫＳ３＋…＋ＫＳａ)
である）
により係数ＫＦ１〜ＫＦａ（即ち、ＫＦｓ（ｓ＝１、２、…ａ））を求める。
フィルタ補間部の動作について具体例を用いて説明する。まず、具体的な低域通過フィルタの周波数特性について説明し、次に、具体的な低域通過フィルタの係数より生成した補間用低域通過フィルタの周波数特性を説明する。
図７は、具体的な低域通過フィルタにおいて、着目画素の周辺画素の、着目画素に対する相対位置と、当該周辺画素のデータに掛けられる係数の関係を示す図である。横軸は位置、縦軸は係数の大きさである。着目画素Ｃ０の係数ＫＳ０の大きさを０．７７４とした場合であり、画素Ｌ１、Ｒ１の係数ＫＳ１の大きさは０．１９５、画素Ｌ２、Ｒ２の係数ＫＳ２の大きさは−０．１２４、画素Ｌ３、Ｒ３の係数ＫＳ３の大きさは０．０５４、画素Ｌ４、Ｒ４の係数ＫＳ４の大きさは−０．０１３である。
図７の低域通過フィルタを使って８画素周期、４画素周期、３画素周期、２画素周期のデータに対して行なわれる処理（フィルタリング）について、図８（ａ）乃至（ｃ）、乃至図１１（ａ）乃至（ｃ）を参照して説明する。これらのうち、図８（ａ）、図９（ａ）、図１０（ａ）、及び図１１（ａ）は、互いに同じであり、図７で示した具体的な低域通過フィルタの係数を示す。即ち、これらの図においては、位置ｉの処理対象画素に対する相対位置ｓと、低域通過フィルタにおいて、当該相対位置ｓのデータＤに掛けられる係数ＫＳｓとの関係が示されている。図８（ｂ）及び（ｃ）、図９（ｂ）及び（ｃ）、図１０（ｂ）及び（ｃ）、並びに図１１（ｂ）及び（ｃ）は、画素位置（処理対象画素の位置が符号ｉで表され、その近傍の画素の画素位置が符号ｉ＋ｓ（ｓ＝−４〜４）で表されている）と、その位置のデータＤの大きさとの関係を示す（横軸が画素位置を表し、縦軸がデータの大きさを表す）。
図８（ａ）乃至（ｃ）は、８画素周期のデータを処理する場合を示す。図８（ｂ）は、データの上側のピークを処理する場合、図８（ｃ）は、データの下側のピークを処理する場合を示している。
図８（ｂ）の位置ｉのデータを処理する場合、
Ｄ（ｉ−４）＝０、Ｄ（ｉ−３）＝０．１５、Ｄ（ｉ−２）＝０．５、Ｄ（ｉ−１）＝０．８５、Ｄ（ｉ）＝１、Ｄ（ｉ＋１）＝０．８５、Ｄ（ｉ＋２）＝０．５、Ｄ（ｉ＋３）＝０．１５、Ｄ（ｉ＋４）＝０より、
処理後のデータＤｌｐｆ（ｉ）は、
Ｄｌｐｆ（ｉ）＝−０．０１３×０＋０．０５４×０．１５−０．１２４×０．５＋０．１９５×０．８５
＋０．７７４×１
＋０．１９５×０．８５−０．１２４×０．５＋０．０５４×０．１５−０．０１３×０
＝１
となる。
図８（ｃ）の位置ｉのデータを処理する場合、
Ｄ（ｉ−４）＝１、Ｄ（ｉ−３）＝０．８５、Ｄ（ｉ−２）＝０．５、Ｄ（ｉ−１）＝０．１５、Ｄ（ｉ）＝０、Ｄ（ｉ＋１）＝０．１５、Ｄ（ｉ＋２）＝０．５、Ｄ（ｉ＋３）＝０．８５、Ｄ（ｉ＋４）＝１より、
処理後のデータＤｌｐｆ（ｉ）は、
Ｄｌｐｆ（ｉ）
＝−０．０１３×１＋０．０５４×０．８５−０．１２４×０．５＋０．１９５×０．１５
＋０．７７４×０
＋０．１９５×０．１５−０．１２４×０．５＋０．０５４×０．８５−０．０１３×１
＝０
となる。
従って、データのサンプリング周波数をＦｓとすると、８画素周期のデータのゲインＧ（Ｆｓ／８）は、
Ｇｌｐｆ（Ｆｓ／８）
＝｜処理後のデータの振幅／入力データの振幅｜
＝｜（１−０）／（１−０）｜
＝１
となる。
図９（ａ）乃至（ｃ）は、４画素周期のデータを処理する場合を示す。図９（ｂ）は、データの上側のピークを処理する場合、図９（ｃ）は、データの下側のピークを処理する場合を示している。
図９（ｂ）の位置ｉのデータを処理する場合、
Ｄ（ｉ−４）＝１、Ｄ（ｉ−３）＝０．５、Ｄ（ｉ−２）＝０、Ｄ（ｉ−１）＝０．５、Ｄ（ｉ）＝１、Ｄ（ｉ＋１）＝０．５、Ｄ（ｉ＋２）＝０、Ｄ（ｉ＋３）＝０．５、Ｄ（ｉ＋４）＝１より、
処理後のデータＤｌｐｆ（ｉ）は
Ｄｌｐｆ（ｉ）
＝−０．０１３×１＋０．０５４×０．５−０．１２４×０＋０．１９５×０．５
＋０．７７４×１
＋０．１９５×０．５−０．１２４×０＋０．０５４×０．５−０．０１３×１
＝１
となる。
図９（ｃ）の位置ｉのデータを処理する場合、
Ｄ（ｉ−４）＝０、Ｄ（ｉ−３）＝０．５、Ｄ（ｉ−２）＝１、Ｄ（ｉ−１）＝０．５、Ｄ（ｉ）＝０、Ｄ（ｉ＋１）＝０．５、Ｄ（ｉ＋２）＝１、Ｄ（ｉ＋３）＝０．５、Ｄ（ｉ＋４）＝０より、
処理後のデータＤｌｐｆ（ｉ）は、
Ｄｌｐｆ（ｉ）
＝−０．０１３×０＋０．０５４×０．５−０．１２４×１＋０．１９５×０．５
＋０．７７４×０
＋０．１９５×０．５−０．１２４×１＋０．０５４×０．５−０．０１３×０
＝０
となる。
従って、４画素周期のデータのゲインＧｌｐｆ（Ｆｓ／４）は、
Ｇｌｐｆ（Ｆｓ／４）
＝｜処理後のデータの振幅／入力データの振幅｜
＝｜（１−０）／（１−０）｜
＝１
となる。
図１０（ａ）乃至（ｃ）は、３画素周期のデータを処理する場合を示す。図１０（ｂ）は、データの上側のピークを処理する場合、図１０（ｃ）は、データの下側のピークを処理する場合を示している。
図１０（ｂ）の位置ｉのデータを処理する場合、
Ｄ（ｉ−４）＝０．２５、Ｄ（ｉ−３）＝１、Ｄ（ｉ−２）＝０．２５、Ｄ（ｉ−１）＝０．２５、Ｄ（ｉ）＝１、Ｄ（ｉ＋１）＝０．２５、Ｄ（ｉ＋２）＝０．２５、Ｄ（ｉ＋３）＝１、Ｄ（ｉ＋４）＝０．２５より、
処理後のデータＤｌｐｆ（ｉ）は、
Ｄｌｐｆ（ｉ）
＝−０．０１３×０．２５＋０．０５４×１−０．１２４×０．２５＋０．１９５×０．２５
＋０．７７４×１
＋０．１９５×０．２５−０．１２４×０．２５＋０．０５４×１−０．０１３×０．２５
＝０．９１
となる。
図１０（ｃ）の位置ｉのデータを処理する場合、
Ｄ（ｉ−４）＝０．７５、Ｄ（ｉ−３）＝０、Ｄ（ｉ−２）＝０．７５、Ｄ（ｉ−１）＝０．７５、Ｄ（ｉ）＝０、Ｄ（ｉ＋１）＝０．７５、Ｄ（ｉ＋２）＝０．７５、Ｄ（ｉ＋３）＝０、Ｄ（ｉ＋４）＝０．７５より、
処理後のデータＤｌｐｆ（ｉ）は、
Ｄｌｐｆ（ｉ）
＝−０．０１３×０．７５＋０．０５４×０−０．１２４×０．７５＋０．１９５×０．７５
＋０．７７４×０
＋０．１９５×０．７５−０．１２４×０．７５＋０．０５４×１−０．０１３×０．７５
＝０．０９
となる。
従って、３画素周期のデータのゲインＧｌｐｆ（Ｆｓ／３）は、
Ｇｌｐｆ（Ｆｓ／３）
＝｜処理後のデータの振幅／入力データの振幅｜
＝｜（０．９１−０．０９）／（１−０）｜
＝０．８２
となる。
図１１（ａ）乃至（ｃ）は、２画素周期のデータを処理する場合を示す。図１１（ｂ）は、データの上側のピークを処理する場合、図１１（ｃ）は、データの下側のピークを処理する場合を示している。
図１１（ｂ）の位置ｉのデータを処理する場合、
Ｄ（ｉ−４）＝１、Ｄ（ｉ−３）＝０、Ｄ（ｉ−２）＝１、Ｄ（ｉ−１）＝０、Ｄ（ｉ）＝１、Ｄ（ｉ＋１）＝０、Ｄ（ｉ＋２）＝１、Ｄ（ｉ＋３）＝０、Ｄ（ｉ＋４）＝１より、処理後のデータＤｌｐｆ（ｉ）は、
Ｄｌｐｆ（ｉ）
＝−０．０１３×１＋０．０５４×０−０．１２４×１＋０．１９５×０
＋０．７７４×１
＋０．１９５×０−０．１２４×１＋０．０５４×０−０．０１３×１
＝０．５
となる。
図１１（ｃ）の位置ｉのデータを処理する場合、
Ｄ（ｉ−４）＝０、Ｄ（ｉ−３）＝１、Ｄ（ｉ−２）＝０、Ｄ（ｉ−１）＝１、Ｄ（ｉ）＝０、Ｄ（ｉ＋１）＝１、Ｄ（ｉ＋２）＝０、Ｄ（ｉ＋３）＝１、Ｄ（ｉ＋４）＝０より、処理後のデータＤｌｐｆ（ｉ）は、
Ｄｌｐｆ（ｉ）
＝−０．０１３×０＋０．０５４×１−０．１２４×０＋０．１９５×１
＋０．７７４×０
＋０．１９５×１−０．１２４×０＋０．０５４×１−０．０１３×０
＝０．５
となる。
従って、２画素周期のデータのゲインＧｌｐｆ（Ｆｓ／２）は、
Ｇｌｐｆ（Ｆｓ／２）
＝｜処理後のデータの振幅／入力データの振幅｜
＝｜（０．５−０．５）／（１−０）｜
＝０
となる。
以上、データのピークを処理する場合について説明したが、ピーク以外の部分も同様に処理される。
図１２は、図７の低域通過フィルタの周波数特性を示す図である。横軸は周波数、縦軸はゲインである。図８（ａ）乃至（ｃ）、乃至図１１（ａ）乃至（ｃ）で示したように図７の低域通過フィルタは、８画素周期でゲインＧｌｐｆ（Ｆｓ／８）＝１、４画素周期でゲインＧ（Ｆｓ／４）＝１、３画素周期でゲインＧ（Ｆｓ／３）＝０．８２、２画素周期でゲインＧ（Ｆｓ／２）＝０である。
図１３は、図７の具体的な低域通過フィルタより算出した補間用低域通過フィルタの係数の大きさを示す図である。横軸は欠落画素（補間対象画素）に対する相対位置、縦軸は当該相対位置の画素のデータに掛けられる係数の大きさである。
図７の具体的な低域通過フィルタから補間用低域通過フィルタの係数を決定する方法を説明する。
図７の着目画素Ｃ０の係数を０とし、画素Ｌ１乃至Ｌ４およびＲ１乃至Ｒ４の係数の和が１となるようにする。係数ＫＦ１乃至ＫＦ４は、
ＫＦ１
＝ＫＳ１／（ＫＳ１＋ＫＳ２＋ＫＳ３＋ＫＳ４＋ＫＳ１＋ＫＳ２＋ＫＳ３＋ＫＳ４）
＝０．１９５／（０．１９５−０．１２４＋０．０５４−０．０１３
＋０．１９５−０．１２４＋０．０５４−０．０１３）
＝０．８７０
ＫＦ２
＝ＫＳ２／（ＫＳ１＋ＫＳ２＋ＫＳ３＋ＫＳ４＋ＫＳ１＋ＫＳ２＋ＫＳ３＋ＫＳ４）
＝−０．１２４／（０．１９５−０．１２４＋０．０５４−０．０１３
＋０．１９５−０．１２４＋０．０５４−０．０１３）
＝−０．５５３
ＫＦ３
＝ＫＳ３／（ＫＳ１＋ＫＳ２＋ＫＳ３＋ＫＳ４＋ＫＳ１＋ＫＳ２＋ＫＳ３＋ＫＳ４）
＝０．０５４／（０．１９５−０．１２４＋０．０５４−０．０１３
＋０．１９５−０．１２４＋０．０５４−０．０１３）
＝０．２４１
ＫＦ４
＝ＫＳ４／（ＫＳ１＋ＫＳ２＋ＫＳ３＋ＫＳ４＋ＫＳ１＋ＫＳ２＋ＫＳ３＋ＫＳ４）
＝−０．０１３／（０．１９５−０．１２４＋０．０５４−０．０１３
＋０．１９５−０．１２４＋０．０５４−０．０１３）
＝−０．０５８
となる。
図１３の補間用低域通過フィルタを使って８画素周期、４画素周期、３画素周期、２画素周期のデータのつなぎ目の画素ｉを補間する処理する処理について、図１４（ａ）乃至（ｃ）、乃至図１７（ａ）乃至（ｃ）を参照して説明する。これらのうち、図１４（ａ）、図１５（ａ）、図１６（ａ）、及び図１７（ａ）は、互いに同じであり、図１３で示した具体的な補間用低域通過フィルタの係数ＫＦｓを示す。即ち、これらの図においては、位置ｉの補間対象画素に対する相対位置ｓと、補間用低域通過フィルタにおいて、当該相対位置ｓのデータＤに掛けられる係数ＫＦｓとの関係が示されている。図１４（ｂ）及び（ｃ）、図１５（ｂ）及び（ｃ）、図１６（ｂ）及び（ｃ）、並びに図１７（ｂ）及び（ｃ）は、画素位置（補間対象画素の位置が符号ｉで表され、その近傍の画素の画素位置が符号ｉ＋ｓ（ｓ＝−４〜４）で表されている）と、その位置のデータＤの大きさとの関係を示す（横軸が画素位置を表し、縦軸がデータの大きさを表す）。
図１４（ａ）乃至（ｃ）は、８画素周期のデータを処理する場合を示す。図１４（ｂ）は、データの上側のピークを処理する場合、図１４（ｃ）は、データの下側のピークを処理する場合を示している。
図１４（ｂ）の位置ｉのデータを補間する場合、
Ｄ（ｉ−４）＝０、Ｄ（ｉ−３）＝０．１５、Ｄ（ｉ−２）＝０．５、Ｄ（ｉ−１）＝０．８５、Ｄ（ｉ＋１）＝０．８５、Ｄ（ｉ＋２）＝０．５、Ｄ（ｉ＋３）＝０．１５、Ｄ（ｉ＋４）＝０より、補間データＤｆ（ｉ）は、
Ｄｆ（ｉ）
＝−０．０５８×０＋０．２４１×０．１５−０．５５３×０．５＋０．８７０×０．８５
＋０．８７０×０．８５−０．５５３×０．５＋０．２４１×０．１５−０．０５８×０
＝０．９９８３
となる。
図１４（ｃ）の位置ｉのデータを補間する場合、
Ｄ（ｉ−４）＝１、Ｄ（ｉ−３）＝０．８５、Ｄ（ｉ−２）＝０．５、Ｄ（ｉ−１）＝０．１５、Ｄ（ｉ＋１）＝０．１５、Ｄ（ｉ＋２）＝０．５、Ｄ（ｉ＋３）＝０．８５、Ｄ（ｉ＋４）＝１より、補間データＤｆ（ｉ）は、
Ｄｆ（ｉ）
＝−０．０５８×１＋０．２４１×０．８５−０．５５３×０．５＋０．８７０×０．１５
＋０．８７０×０．１５−０．５５３×０．５＋０．２４１×０．８５−０．０５８×１
＝０．００１７
となる。
従って、８画素周期のデータのゲインＧｆ（Ｆｓ／８）は、
Ｇｆ（Ｆｓ／８）
＝｜処理後のデータの振幅／入力データの振幅｜
＝｜（０．９９８３−０．００１７）／（１−０）｜
＝０．９９６６
となる。
図１５（ａ）乃至（ｃ）は、４画素周期のデータを処理する場合を示す。図１５（ｂ）は、データの上側のピークを処理する場合、図１５（ｃ）は、データの下側のピークを処理する場合を示している。
図１５（ｂ）の位置ｉのデータを補間する場合、
Ｄ（ｉ−４）＝１、Ｄ（ｉ−３）＝０．５、Ｄ（ｉ−２）＝０、Ｄ（ｉ−１）＝０．５Ｄ（ｉ＋１）＝０．５、Ｄ（ｉ＋２）＝０、Ｄ（ｉ＋３）＝０．５、Ｄ（ｉ＋４）＝１より、補間データＤｆ（ｉ）は、
Ｄｆ（ｉ）
＝−０．０５８×１＋０．２４１×０．５−０．５５３×０＋０．８７０×０．５
＋０．８７０×０．５−０．５５３×０＋０．２４１×０．５−０．０５８×１
＝０．９９５
となる。
図１５（ｃ）の位置ｉのデータを補間する場合、
Ｄ（ｉ−４）＝０、Ｄ（ｉ−３）＝０．５、Ｄ（ｉ−２）＝１、Ｄ（ｉ−１）＝０．５、Ｄ（ｉ＋１）＝０．５、Ｄ（ｉ＋２）＝１、Ｄ（ｉ＋３）＝０．５、Ｄ（ｉ＋４）＝０より、補間データＤｆ（ｉ）は、
Ｄｆ（ｉ）
＝−０．０５８×０＋０．２４１×０．５−０．５５３×１＋０．８７０×０．５
＋０．８７０×０．５−０．５５３×１＋０．２４１×０．５−０．０５８×０
＝０．００５
となる。
従って、４画素周期のデータのゲインＧｆ（Ｆｓ／４）は、
Ｇｆ（Ｆｓ／４）
＝｜処理後のデータの振幅／入力データの振幅｜
＝｜（０．９９５−０．００５）／（１−０）｜
＝０．９９
となる。
図１６（ａ）乃至（ｃ）は、３画素周期のデータを処理する場合を示す。図１６（ｂ）は、データの上側のピークを処理する場合、図１６（ｃ）は、データの下側のピークを処理する場合を示している。
図１６（ｂ）の位置ｉのデータを補間する場合、
Ｄ（ｉ−４）＝０．２５、Ｄ（ｉ−３）＝１、Ｄ（ｉ−２）＝０．２５、Ｄ（ｉ−１）＝０．２５、Ｄ（ｉ＋１）＝０．２５、Ｄ（ｉ＋２）＝０．２５、Ｄ（ｉ＋３）＝１、Ｄ（ｉ＋４）＝０．２５より、補間データＤＯ（ｉ）は、
ＤＯ（ｉ）
＝−０．０５８×０．２５＋０．２４１×１−０．５５３×０．２５＋０．８７０×０．２５
＋０．８７０×０．２５−０．５５３×０．２５＋０．２４１×１−０．０５８×０．２５
＝０．６１１５
となる。
図１６（ｃ）の位置ｉのデータを補間する場合、
Ｄ（ｉ−４）＝０．７５、Ｄ（ｉ−３）＝０、Ｄ（ｉ−２）＝０．７５、Ｄ（ｉ−１）＝０．７５、Ｄ（ｉ＋１）＝０．７５、Ｄ（ｉ＋２）＝０．７５、Ｄ（ｉ＋３）＝０、Ｄ（ｉ＋４）＝０．７５より、補間データＤＯ（ｉ）は
ＤＯ（ｉ）
＝−０．０５８×０．７５＋０．２４１×０−０．５５３×０．７５＋０．８７０×０．７５
＋０．８７０×０．７５−０．５５３×０．７５＋０．２４１×０−０．０５８×０．７５
＝０．３８８５
となる。
従って、３画素周期のデータのゲインＧｆ（Ｆｓ／３）は、
Ｇｆ（Ｆｓ／３）
＝｜処理後のデータの振幅／入力データの振幅｜
＝｜（０．６１１５−０．３８８５）／（１−０）｜
＝０．２２３
となる。
図１７（ａ）乃至（ｃ）は、２画素周期のデータを処理する場合を示す。図１７（ｂ）は、データの上側のピークを処理する場合、図１７（ｃ）は、データの下側のピークを処理する場合を示している。
図１７（ｂ）の位置ｉのデータを補間する場合、補間データＤＯ（ｉ−１）を算出すると、Ｄ（ｉ−４）＝１、Ｄ（ｉ−３）＝０、Ｄ（ｉ−２）＝１、Ｄ（ｉ−１）＝０、Ｄ（ｉ＋１）＝０、Ｄ（ｉ＋２）＝１、Ｄ（ｉ＋３）＝０、Ｄ（ｉ＋４）＝１より、補間データＤｆ（ｉ）は、
Ｄｆ（ｉ）
＝−０．０５８×１＋０．２４１×０−０．５５３×１＋０．８７０×０
＋０．８７０×０−０．５５３×１＋０．２４１×０−０．０５８×１
＝−１．２２２
となる。
図１７（ｃ）の位置ｉのデータを補間する場合、
Ｄ（ｉ−４）＝０、Ｄ（ｉ−３）＝１、Ｄ（ｉ−２）＝０、Ｄ（ｉ−１）＝１、Ｄ（ｉ＋１）＝１、Ｄ（ｉ＋２）＝０、Ｄ（ｉ＋３）＝１、Ｄ（ｉ＋４）＝０より、補間データＤｆ（ｉ）は、
Ｄｆ（ｉ）
＝−０．０５８×０＋０．２４１×１−０．５５３×０＋０．８７０×１
＋０．８７０×１−０．５５３×０＋０．２４１×１−０．０５８×０
＝２．２２２
となる。
従って、２画素周期のデータのゲインＧｆ（Ｆｓ／２）は、
Ｇｆ（Ｆｓ／２）
＝｜処理後のデータの振幅／入力データの振幅｜
＝｜（−１．２２２−２．２２２）／（１−０）｜
＝３．４４４
となる。
図１８は、図１３の補間用低域通過フィルタの周波数特性を示す図である。横軸は周波数、縦軸はゲインである。図１４（ａ）乃至（ｃ）、乃至図１７（ａ）乃至（ｃ）で示したように図１３の補間用低域通過フィルタは、８画素周期でゲインＧ（Ｆｓ／８）＝０．９９６６、４画素周期でゲインＧ（Ｆｓ／４）＝０．９９、３画素周期でゲインＧ（Ｆｓ／３）＝０．２２３、２画素周期でゲインＧ（Ｆｓ／２）＝３．４４である。
補間用低域通過フィルタは、図６に示した低域通過フィルタのゲインが１である周波数範囲では、ゲインが１となるが、ゲインが１より小さくなる周波数範囲では図６に示したような低域通過フィルタとは特性が異なる。特に、周波数が高くなるとゲインが１より大きくなる。
フィルタ補間部３は、図６に示したような低域通過フィルタのゲインが１であるような周波数範囲では良好に補間することができる。一方、ゲインが１ではない周波数範囲では良好に補間を行なうことができない。
リミット処理部４の動作について説明する。リミット処理部４はデータＤｍの最大値ｍａｘ（Ｄｍ）と最小値ｍｉｎ（Ｄｍ）を算出し、フィルタ補間部３が出力するデータＤｆがｍａｘ（Ｄｍ）より大きければＤｃ＝ｍａｘ（Ｄｍ）、データＤｆがｍｉｎ（Ｄｍ）より小さければＤｃ＝ｍｉｎ（Ｄｍ）、データＤｆがｍｉｎ（Ｄｍ）以上ｍａｘ（Ｄｍ）以下であればＤｃ＝Ｄｆを出力する。
例えば、図１７（ａ）乃至（ｃ）で示した２画素周期のデータではｍａｘ（Ｄｍ）＝１、ｍｉｎ（Ｄｍ）＝０より、図１７（ｂ）の位置ｉを補間した場合、補間データＤｆ（ｉ）＝２．２２２なのでＤｃ（ｉ）＝１となり、図１７（ｃ）の位置ｉを補間した場合、補間データＤｆ（ｉ）＝−１．２２２よりＤｃ（ｉ）＝０となる。
フィルタ補間部３が出力するデータＤｆをデータＤｍの範囲内に制限することにより、周波数が高いデータを補間する場合でも補間誤差を抑えることができる。
以上、ハードウェアにより補間を行なう場合について説明したが、ソフトウェア又はソフトウェアとハードウェアに組合せにより補間を行なうこととしても良い。
図１９は、そのような構成における処理の手順を示すフローチャートである。
ステップＳＴ１１では、欠落画素近傍のデータＤｍを格納する。
ステップＳＴ１２では、データＤｍと、上記のようにして定めた低域通過フィルタの係数に基づいて定めた係数ＫＦを使って積和演算を行い、データＤｆを生成する。
ステップＳＴ１３では、データＤｆをデータＤｍの範囲内に制限したデータＤｃを生成する。
ステップＳＴ１４では、データＤｍのつなぎ目に対応する位置にデータＤｃを挿入したデータＤＯを生成する。
それぞれのステップにおける処理内容については図１で詳しく示したので、ここでは説明を省略する。
実施の形態２．
図２０は、本発明の実施の形態２の画像補間装置の構成を示す図である。本発明の実施の形態２の画像補間装置は、データ格納部２、フィルタ補間部３、第一の平均維持補間部１７−１、第二の平均維持補間部１７−２、第ｎの平均維持補間部１７−ｎ、選択制御部２１、出力部２０、補間データ挿入部５を備える。選択制御部２１は、採点部１８及び管理部１９を備える。
画像データＤＩがデータ格納部２に入力され、データ格納部２は、フリップフロップなどを使って一定範囲のデータを格納し、一定範囲のデータＤｍを出力する。データＤｍは、フィルタ補間部３、第一の平均維持補間部１７−１、第二の平均維持補間部１７−２、…第ｎの平均維持補間部１７−ｎ、採点部１８に入力される。
フィルタ補間部３は、データＤｍに基づいてテスト補間データＴＤ０と補間候補データＤ０を出力する。テスト補間データＴＤ０は採点部１８に入力され、補間候補データＤ０は出力部２０に入力される。第一の平均維持補間部１７−１は、データＤｍに基づいてテスト補間データＴＤ１と補間候補データＤ１を出力し、第二の平均維持補間部１７−２は、データＤｍに基づいてテスト補間データＴＤ２と補間候補データＤ２を出力し、第ｎの平均維持補間部１７−ｎは、データＤｍに基づいてテスト補間データＴＤｎと補間候補データＤｎを出力する、テスト補間データＴＤ１、ＴＤ２、ＴＤｎは採点部１８に入力され、補間候補データＤ１、Ｄ２、Ｄｎは出力部２０に入力される。
採点部１８はテスト補間データＴＤ０乃至ＴＤｎを、対応するデータＤｍを使って採点し、採点データＭ０乃至Ｍｎを出力する。採点データＭ０乃至Ｍｎは管理部１９に入力される。管理部１９は、採点データＭ０乃至Ｍｎに基づいて補間候補データを選択し、選択信号Ｃを出力する。選択信号Ｃは出力部２０に入力される。出力部２０は、選択信号Ｃに基づいて補間候補データＤ０乃至Ｄｎより選択し、データＤｚを出力する。データＤｚは補間データ挿入部５に入力される。補間データ挿入部５は、データＤｍにデータＤｃを挿入したデータをデータＤＯとして出力する。
平均維持補間部１７−１〜１７−ｎについて説明する。
図２１は平均維持補間部の動作を説明するための図である。平均維持補間部１７−１〜１７−ｎの各々は、欠落画素Ｘを含む画素列ＬＣと欠落画素Ｘを含まない画素列ＮＡおよびＮＢの平均値が等しくなるように欠落画素Ｘのデータを算出する。より詳しく言えば、欠落画素の値を未知数Ｘとして、該欠落画素の周辺の画素から成る第１群の画素（画素列ＬＣに属する画素）の値の平均値と、欠落画素の周辺に位置し、欠落画素以外の画素から成る第２群の画素（画素列ＮＡ、ＮＢに属する画素）の値の平均値とが一致するように、欠落画素の値を定める。すなわち、
（Ｌ１＋…＋Ｌｊ＋Ｘ＋Ｒ１＋…＋Ｒｊ）／ｋ
＝（（Ｌ１＋…＋Ｌｋ）／ｋ＋（Ｒ１＋…＋Ｒｋ）／ｋ）／２
を満たすようにＸを算出する（ｊは正の整数、
ここで、ｋは、画素列ＮＡの画素の数であり、このｋの値は、複数の平均維持補間部１７−１〜１７−ｎ相互間で異なる。例えば第１の平均維持補間部１７−１では、ｋ＝２であり、第２の平均維持補間部１７−２では、ｋ＝３であり、第ｎの平均維持補間部１７−ｎでは、ｋ＝ｎ＋１である。
ｊはｋとの間に
２ｊ＋１＝ｋ、即ち
ｊ＝（ｋ−１）／２
の関係を有する。
具体例を用いて説明する。
図２２は、ｋ＝３の平均維持補間部１７−２の動作を説明するための図である。平均維持補間部１７−２は、欠落画素Ｘを含む画素列ＬＣと欠落画素Ｘを含まない画素列ＮＡおよびＮＢの平均値が等しくなるように欠落画素Ｘのデータを算出する。すなわち、
（Ｌ１＋Ｘ＋Ｒ１）／３
＝（（Ｌ１＋Ｌ２＋Ｌ３）／３＋（Ｒ１＋Ｒ２＋Ｒ３）／３）／２
より、
Ｘ＝（（−Ｌ１＋Ｌ２＋Ｌ３）＋（−Ｒ１＋Ｒ２＋Ｒ３））／２
となる。
図２３は、ｋ＝３の平均維持補間部１７−２を使って３画素周期のデータを処理する場合の参照範囲を示す図である。横軸は位置、縦軸はデータの大きさである。位置ｉのデータを欠落画素Ｘとして処理する場合、位置ｉ−１、ｉ、ｉ＋１を欠落画素を含む画素列ＬＣ、位置ｉ−３、ｉ−２、ｉ−１を欠落画素を含まない画素列ＮＡ、位置ｉ＋１、ｉ＋２、ｉ＋３を欠落画素を含まない画素列ＮＢと設定する。
Ｄ（ｉ−３）＝１、Ｄ（ｉ−２）＝０．２５、Ｄ（ｉ−１）＝０．２５、Ｄ（ｉ＋１）＝０．２５、Ｄ（ｉ＋２）＝０．２５、Ｄ（ｉ＋３）＝１より、
Ｘ＝（（−Ｌ１＋Ｌ２＋Ｌ３）＋（−Ｒ１＋Ｒ２＋Ｒ３））／２
＝（（−Ｄ（ｉ−１）＋Ｄ（ｉ−２）＋Ｄ（ｉ−３））
＋（−Ｄ（ｉ＋１）＋Ｄ（ｉ＋２）＋Ｄ（ｉ＋３）））／２
＝（（−０．２５＋０．２５＋１）＋（−０．２５＋０．２５＋１））／２
＝１
となる。
図２４は、ｋ＝３の平均維持補間部１７−２を使って４画素周期のデータを処理する場合の参照範囲を示す図である。横軸は位置、縦軸はデータの大きさである。位置ｉのデータを欠落画素Ｘとして処理する場合、位置ｉ−１、ｉ、ｉ＋１を欠落画素を含む画素列ＬＣ、位置ｉ−３、ｉ−２、ｉ−１を欠落画素を含まない画素列ＮＡ、位置ｉ＋１、ｉ＋２、ｉ＋３を欠落画素を含まない画素列ＮＢと設定する。
Ｄ（ｉ−３）＝０．５、Ｄ（ｉ−２）＝１、Ｄ（ｉ−１）＝０．５、Ｄ（ｉ＋１）＝０．５、Ｄ（ｉ＋２）＝１、Ｄ（ｉ＋３）＝０．５より、
Ｘ＝（（−Ｌ１＋Ｌ２＋Ｌ３）＋（−Ｒ１＋Ｒ２＋Ｒ３））／２
＝（（−Ｄ（ｉ−１）＋Ｄ（ｉ−２）＋Ｄ（ｉ−３））
＋（−Ｄ（ｉ＋１）＋Ｄ（ｉ＋２）＋Ｄ（ｉ＋３）））／２
＝（（−０．５＋１＋０．５）＋（−０．５＋１＋０．５））／２
＝１
となる。
３画素周期のデータでは位置ｉの期待値データは１であり、ｋ＝３の平均維持補間部１７−２は正しい補間データを算出しているが、４画素周期のデータでは位置ｉの期待値データは０であり、ｋ＝３の平均維持補間部１７−２は正しい補間データを算出していない。このように平均維持補間部１７−２は、ｋの値によって良好に補間できる画素の値の変化の周期（乃至空間周波数）が変わる。逆に言えば、平均維持補間部１７−１〜１７−ｎの各々のｋの値（画素列ＬＣの画素の数が、良好に（即ち、高精度に）補間を行なうことが期待される、画素の値の変化の空間周波数に応じて定められている。
採点部１８の動作について説明する。
採点部１８は、上記のように、テスト補間データＴＤ０〜ＴＤｎと格納部から得られるデータＤｍに基づいて採点を行なう。
テスト補間データＴＤ０〜ＴＤｎは、欠落画素の近傍の非欠落画素について、フィルタ補間部３で算出され、テスト補間データＴＤ１〜ＴＤｎは、平均維持補間部１７−１〜１７−ｎで算出される。
図２５は、テスト補間データを算出する画素（テスト補間画素）と欠落画素の位置関係を示す図である。テスト補間画素を欠落画素の近傍に設定し、フィルタ補間部３及び平均維持補間部１７−１〜１７−ｎの各々は、設定されたテスト補間画素を、仮想的に欠落画素とみなし、欠落画素の補間と同じ方法で補間を行なって補間データを算出し、テスト補間データとする。採点部１８はテスト補間データＴＤ０〜ＴＤとテスト補間画素についての実際の値（データ格納部２に格納されている値）の差分を補間誤差として、補間誤差を表す採点データを出力する。
例えば、Ｌ５をテスト補間画素と設定し、ｋ＝３の平均維持補間部１７−２を使ってテスト補間データを算出する場合、Ｌ４乃至Ｌ６を欠落画素を含む画素列ＬＣ、Ｌ６乃至Ｌ８を欠落画素を含まない画素列ＮＡ、Ｌ２乃至Ｌ４を欠落画素を含まない画素列ＮＢと設定しＬ５の位置の補間データを算出する。
管理部１９の動作について説明する。
図２６は、テスト補間画素Ｔ１乃至Ｔｍと、フィルタ補間部３、第一の平均維持補間部１７−１、第二の平均維持補間部１７−２、第ｎの平均維持補間部１７−ｎの採点データＭ０乃至Ｍｎの関係を示す図である。欠落画素の近傍にテスト補間画素を複数設定した場合、採点部３によってフィルタ補間部３の採点データＭ０［Ｔ１］乃至Ｍ０［Ｔｍ］が算出される。第一の平均維持補間部１７−１乃至第ｎの平均維持補間部１７−ｎも同様に採点データＭ１乃至Ｍｎが算出される。
管理部１９は、フィルタ補間部の採点データを集計し、集計データＳ０を算出する。集計データＳ０は採点データＭ０［Ｔ１］乃至Ｍ０［Ｔｍ］の和である。すなわち、
Ｓ０＝Ｍ０［Ｔ１］＋Ｍ０［Ｔ２］＋…＋Ｍ０［Ｔｍ］
である。
第一の平均維持補間部１７−１乃至第ｎの平均維持補間部１７−ｎの集計データＳ１乃至Ｓｎも同様に
Ｓ１＝Ｍ１［Ｔ１］＋Ｍ１［Ｔ２］＋…＋Ｍ１［Ｔｍ］
Ｓ２＝Ｍ２［Ｔ１］＋Ｍ２［Ｔ２］＋…＋Ｍ２［Ｔｍ］
…
Ｓｎ＝Ｍｎ［Ｔ１］＋Ｍｎ［Ｔ２］＋…＋Ｍｎ［Ｔｍ］
となる。
集計データが最も小さい補間方法、すなわち、欠落画素の近傍での補間誤差（欠落画素の近傍の複数のテスト補間画素についての補間誤差の合計）が最も小さい補間方法を使って欠落画素を補間する。管理部１９は、集計データＳ０乃至Ｓｎのうち、最も小さい集計データを選択し、最も小さい集計データとなる補間方法を示す選択信号Ｃを出力する。
具体例を用いて本発明の実施の形態２の画像補間装置の動作を説明する。
図２７は、補間方法としてフィルタ補間部３、第一の平均維持補間部１７−１、第二の平均維持補間部１７−２を備える本発明の実施の形態２の画像補間装置の構成を示す図である。
第一の平均維持補間部１７−１は、ｋ＝２の平均維持補間部であり、欠落画素を含む２画素の平均値と欠落画素を含まない２画素の平均値が等しくなるように欠落画素のデータを算出する。
第二の平均維持補間部１７−２は、ｋ＝３の平均維持補間部であり、欠落画素を含む３画素の平均値と欠落画素を含まない３画素の平均値が等しくなるように欠落画素のデータを算出する。
図２８は、具体例においてテスト補間画素と欠落画素の位置関係を示す図である。欠落画素Ｘの左側に位置する画素Ｌ６をＴ１、Ｌ５をＴ２、欠落画素の右側に位置する画素Ｒ５をＴ３、Ｒ６をＴ４とする。
図２７の画像補間装置を用いて４画素周期のデータを補間する場合について説明する。
図２９は、位置ｉの画素を補間する場合の４画素周期のデータである。位置ｉ−６をＴ１、ｉ−５をＴ１、ｉ＋５をＴ３、ｉ＋６をＴ４とする。
フィルタ補間部３は、Ｔ１乃至Ｔ４のテスト補間データＴＤ０と位置ｉの補間候補データＤ０を出力する。フィルタ補間部３の係数格納部７には、図１３の係数が格納されているものとして説明をする。テスト補間データＴＤ０［Ｔ１］乃至ＴＤ０［Ｔ４］は、
ＤＩ（ｉ−１０）＝１、ＤＩ（ｉ−９）＝０．５、ＤＩ（ｉ−８）＝０、ＤＩ（ｉ−７）＝０．５、ＤＩ（ｉ−６）＝１、ＤＩ（ｉ−５）＝０．５、ＤＩ（ｉ−４）＝０、ＤＩ（ｉ−３）＝０．５、ＤＩ（ｉ−２）＝１、ＤＩ（ｉ−１）＝０．５、ＤＩ（ｉ＋１）＝０．５、ＤＩ（ｉ＋２）＝１、ＤＩ（ｉ＋３）＝０．５、ＤＩ（ｉ＋４）＝０、ＤＩ（ｉ＋５）＝０．５、ＤＩ（ｉ＋６）＝１、ＤＩ（ｉ＋７）＝０．５、ＤＩ（ｉ＋８）＝０、ＤＩ（ｉ＋９）＝０．５、ＤＩ（ｉ＋１０）＝１より、
ＴＤ０［Ｔ１］
＝−０．０５８×１＋０．２４１×０．５−０．５５３×０＋０．８７０×０．５
＋０．８７０×０．５−０．５５３×０＋０．２４１×０．５−０．０５８×１
＝０．９９５
ＴＤ０［Ｔ２］
＝−０．０５８×０．５＋０．２４１×０−０．５５３×０．５＋０．８７０×１
＋０．８７０×０−０．５５３×０．５＋０．２４１×１−０．０５８×０．５
＝０．５
ＴＤ０［Ｔ３］
＝−０．０５８×０．５＋０．２４１×１−０．５５３×０．５＋０．８７０×０
＋０．８７０×１−０．５５３×０．５＋０．２４１×０−０．０５８×０．５
＝０．５
ＴＤ０［Ｔ４］
＝−０．０５８×１＋０．２４１×０．５−０．５５３×０＋０．８７０×０．５
＋０．８７０×０．５−０．５５３×０＋０．２４１×０．５−０．０５８×１
＝０．９９５
となる。
補間候補データＤ０は、
Ｄ０
＝−０．０５８×０＋０．２４１×０．５−０．５５３×１＋０．８７０×０．５
＋０．８７０×０．５−０．５５３×１＋０．２４１×０．５−０．０５８×０
＝０．００５
となる。
第一の平均維持補間部１７−１は、Ｔ１乃至Ｔ４のテスト補間データＴＤ１と位置ｉの補間候補データＤ１を出力する。テスト補間データＴＤ１［Ｔ１］乃至ＴＤ１［Ｔ４］は、
ＴＤ１［Ｔ１］＝（０＋０．５＋０−０．５）／２＝０
ＴＤ１［Ｔ２］＝（０．５＋１＋０．５−０）／２＝１
ＴＤ１［Ｔ３］＝（０．５＋０＋０．５−１）／２＝０
ＴＤ１［Ｔ４］＝（０＋０．５＋０−０．５）／２＝０
となる。
補間候補データＤ１は、
Ｄ１＝（１＋０．５＋１−０．５）／２＝１
となる。
第二の平均維持補間部１７−２は、Ｔ１乃至Ｔ４のテスト補間データＴＤ２と位置ｉの補間候補データＤ２を出力する。テスト補間データＴＤ２［Ｔ１］乃至ＴＤ２［Ｔ４］は、
ＴＤ２［Ｔ１］＝（０．５＋０＋０＋０．５−０．５−０．５）／２＝０
ＴＤ２［Ｔ２］＝（０＋０．５＋０．５＋１−１−０）／２＝０．５
ＴＤ２［Ｔ３］＝（１＋０．５＋０．５＋０−０−１）／２＝０．５
ＴＤ２［Ｔ４］＝（０．５＋０＋０＋０．５−０．５−０．５）／２＝０
となる。
補間候補データＤ１は、
Ｄ２＝（０．５＋１＋１＋０．５−０．５−０．５）／２＝１
となる。
図３０は、採点部１８が出力する採点データと管理部１９が生成する集計データをまとめた表である。フィルタ補間部３の採点データＭ０［Ｔ１］乃至Ｍ０［Ｔ４］は、
Ｍ０［Ｔ１］＝｜ＴＤ０［Ｔ１］−ＤＩ（ｉ−６）｜＝｜０．９９５−１｜＝０．００５
Ｍ０［Ｔ２］＝｜ＴＤ０［Ｔ２］−ＤＩ（ｉ−５）｜＝｜０．５−０．５｜＝０
Ｍ０［Ｔ３］＝｜ＴＤ０［Ｔ３］−ＤＩ（ｉ＋５）｜＝｜０．５−０．５｜＝０
Ｍ０［Ｔ４］＝｜ＴＤ０［Ｔ４］−ＤＩ（ｉ＋６）｜＝｜０．９９５−１｜＝０．００５
となる。
従って、集計データＳ０は、
Ｓ０＝Ｍ０［Ｔ１］＋Ｍ０［Ｔ２］＋Ｍ０［Ｔ３］＋Ｍ０［Ｔ４］
＝０．００５＋０＋０＋０．００５
＝０．０１
となる。
第一の平均維持補間部１７−１の採点データＭ１［Ｔ１］乃至Ｍ１［Ｔ４］は、
Ｍ１［Ｔ１］＝｜ＴＤ１［Ｔ１］−ＤＩ（ｉ−６）｜＝｜０−１｜＝１
Ｍ１［Ｔ２］＝｜ＴＤ１［Ｔ２］−ＤＩ（ｉ−５）｜＝｜１−０．５｜＝０．５
Ｍ１［Ｔ３］＝｜ＴＤ１［Ｔ３］−ＤＩ（ｉ＋５）｜＝｜０−０．５｜＝０．５
Ｍ１［Ｔ４］＝｜ＴＤ１［Ｔ４］−ＤＩ（ｉ＋６）｜＝｜０−１｜＝１
となる。
従って、集計データＳ１は、
Ｓ１＝Ｍ１［Ｔ１］＋Ｍ１［Ｔ２］＋Ｍ１［Ｔ３］＋Ｍ１［Ｔ４］
＝１＋０．５＋０．５＋１
＝３
となる。
第二の平均維持補間部１７−２の採点データＭ２［Ｔ１］乃至Ｍ２［Ｔ４］は、
Ｍ２［Ｔ１］＝｜ＴＤ２［Ｔ１］−ＤＩ（ｉ−６）｜＝｜０−１｜＝１
Ｍ２［Ｔ２］＝｜ＴＤ２［Ｔ２］−ＤＩ（ｉ−５）｜＝｜０．５−０．５｜＝０
Ｍ２［Ｔ３］＝｜ＴＤ２［Ｔ３］−ＤＩ（ｉ＋５）｜＝｜０．５−０．５｜＝０
Ｍ２［Ｔ４］＝｜ＴＤ２［Ｔ４］−ＤＩ（ｉ＋６）｜＝｜０−１｜＝１
となる。
従って、集計データＳ１は、
Ｓ２＝Ｍ２［Ｔ１］＋Ｍ２［Ｔ２］＋Ｍ２［Ｔ３］＋Ｍ２［Ｔ４］
＝１＋０＋０＋１
＝２
となる。
管理部１９は集計データが最も小さいフィルタ補間部３を選択し、フィルタ補間部３が出力する補間候補データＤ０を選択することを示す選択信号Ｃを出力する。
出力部２０は、選択信号Ｃに基づいてフィルタ補間部３が出力する補間候補データＤ０＝０をデータＤｚとして出力する。
補間データ挿入部５は、位置ｉにデータＤｚ＝０を補間したデータＤＯを出力する。位置ｉの期待値は０なので補間候補データＤ０＝０、Ｄ１＝１、Ｄ２＝１のうち、補間候補データＤ０が最も補間誤差が小さい。
図２７の画像補間装置を用いて３画素周期のデータを補間する場合について説明する。
図３１は、位置ｉの画素を補間する場合の３画素周期のデータである。位置ｉ−６をＴ１、ｉ−５をＴ１、ｉ＋５をＴ３、ｉ＋６をＴ４とする。
フィルタ補間部３は、Ｔ１乃至Ｔ４のテスト補間データＴＤ０と位置ｉの補間候補データＤ０を出力する。フィルタ補間部３の係数格納部７には、図１３の係数が格納されているものとして説明をする。テスト補間データＴＤ０［Ｔ１］乃至ＴＤ０［Ｔ４］は、
ＤＩ（ｉ−１０）＝０．７５、ＤＩ（ｉ−９）＝０、ＤＩ（ｉ−８）＝０．７５、ＤＩ（ｉ−７）＝０．７５、ＤＩ（ｉ−６）＝０、ＤＩ（ｉ−５）＝０．７５、ＤＩ（ｉ−４）＝０．７５、ＤＩ（ｉ−３）＝０、ＤＩ（ｉ−２）＝０．７５、ＤＩ（ｉ−１）＝０．７５、ＤＩ（ｉ＋１）＝０．７５、ＤＩ（ｉ＋２）＝０．７５、ＤＩ（ｉ＋３）＝０、ＤＩ（ｉ＋４）＝０．７５、ＤＩ（ｉ＋５）＝０．７５、ＤＩ（ｉ＋６）＝０、ＤＩ（ｉ＋７）＝０．７５、ＤＩ（ｉ＋８）＝０．７５、ＤＩ（ｉ＋９）＝０、ＤＩ（ｉ＋１０）＝０．７５より、
ＴＤ０［Ｔ１］
＝−０．０５８×０．７５＋０．２４１×０−０．５５３×０．７５＋０．８７０×０．７５
＋０．８７０×０．７５−０．５５３×０．７５＋０．２４１×０−０．０５８×０．７５
＝０．３８８５
ＴＤ０［Ｔ２］
＝−０．０５８×０＋０．２４１×０．７５−０．５５３×０．７５＋０．８７０×０
＋０．８７０×０．７５−０．５５３×０＋０．２４１×０．７５−０．０５８×０．７５
＝０．５５５７５
ＴＤ０［Ｔ３］
＝−０．０５８×０．７５＋０．２４１×０．７５−０．５５３×０＋０．８７０×０．７５
＋０．８７０×０−０．５５３×０．７５＋０．２４１×０．７５−０．０５８×０
＝０．５５５７５
ＴＤ０［Ｔ４］
＝−０．０５８×０．７５＋０．２４１×０−０．５５３×０．７５＋０．８７０×０．７５
＋０．８７０×０．７５−０．５５３×０．７５＋０．２４１×０−０．０５８×０．７５
＝０．３８８５
となる。
補間候補データＤ０は、
Ｄ０
＝−０．０５８×０．７５＋０．２４１×０−０．５５３×０＋．７５＋０．８７０×０．７５
＋０．８７０×０．７５−０．５５３×０．７５＋０．２４１×０−０．０５８×０．７５
＝０．３８８５
となる。
第一の平均維持補間部１７−１は、Ｔ１乃至Ｔ４のテスト補間データＴＤ１と位置ｉの補間候補データＤ１を出力する。テスト補間データＴＤ１［Ｔ１］乃至ＴＤ１［Ｔ４］は、
ＴＤ１［Ｔ１］＝（０．７５＋０．７５＋０．７５−０．７５）／２＝０．７５
ＴＤ１［Ｔ２］＝（０．７５＋０＋０−０．７５）／２＝０
ＴＤ１［Ｔ３］＝（０＋０．７５＋０．７５−０）／２＝０．７５
ＴＤ１［Ｔ４］＝（０．７５＋０．７５＋０．７５−０．７５）／２＝０．７５
となる。
補間候補データＤ１は、
Ｄ１＝（０．７５＋０．７５＋０．７５−０．７５）／２＝０．７５
となる。
第二の平均維持補間部１７−２は、Ｔ１乃至Ｔ４のテスト補間データＴＤ２と位置ｉの補間候補データＤ２を出力する。テスト補間データＴＤ２［Ｔ１］乃至ＴＤ２［Ｔ４］は、
ＴＤ２［Ｔ１］＝（０＋０．７５＋０．７５＋０−０．７５−０．７５）／２＝０
ＴＤ２［Ｔ２］＝（０．７５＋０．７５＋０＋０．７５−０−０．７５）／２＝０．７５
ＴＤ２［Ｔ３］＝（０．７５＋０＋０．７５＋０．７５−０．７５−０）／２＝０．７５
ＴＤ２［Ｔ４］＝（０＋０．７５＋０．７５＋０−０．７５−０．７５）／２＝０
となる。
補間候補データＤ２は、
Ｄ２＝（０＋０．７５＋０．７５＋０−０．７５−０．７５）／２＝０
となる。
図３２は、採点部１８が出力する採点データと管理部１９が生成する集計データをまとめた表である。フィルタ補間部３の採点データＭ０［Ｔ１］乃至Ｍ０［Ｔ４］は、
Ｍ０［Ｔ１］＝｜ＴＤ０［Ｔ１］−ＤＩ（ｉ−６）｜
＝｜０．３８８５−０｜＝０．３８８５
Ｍ０［Ｔ２］＝｜ＴＤ０［Ｔ２］−ＤＩ（ｉ−５）｜
＝｜０．５５５７５−０．７５｜＝０．１９４２５
Ｍ０［Ｔ３］＝｜ＴＤ０［Ｔ３］−ＤＩ（ｉ＋５）｜
＝｜０．５５５７５−０．７５｜＝０．１９４２５
Ｍ０［Ｔ４］＝｜ＴＤ０［Ｔ４］−ＤＩ（ｉ＋６）｜
＝｜０．３８８５−０｜＝０．３８８５
となる。
従って、集計データＳ０は、
Ｓ０＝Ｍ０［Ｔ１］＋Ｍ０［Ｔ２］＋Ｍ０［Ｔ３］＋Ｍ０［Ｔ４］
＝０．３８８５＋０．１９４２５＋０．１９４２５＋０．３８８５
＝１．１６５５
となる。
第一の平均維持補間部１７−１の採点データＭ１［Ｔ１］乃至Ｍ１［Ｔ４］は、
Ｍ１［Ｔ１］＝｜ＴＤ１［Ｔ１］−ＤＩ（ｉ−６）｜
＝｜０．７５−０｜＝０．７５
Ｍ１［Ｔ２］＝｜ＴＤ１［Ｔ２］−ＤＩ（ｉ−５）｜
＝｜０−０．７５｜＝０．７５
Ｍ１［Ｔ３］＝｜ＴＤ１［Ｔ３］−ＤＩ（ｉ＋５）｜
＝｜０．７５−０．７５｜＝０
Ｍ１［Ｔ４］＝｜ＴＤ１［Ｔ４］−ＤＩ（ｉ＋６）｜
＝｜０．７５−０｜＝０．７５
となる。
従って、集計データＳ１は、
Ｓ１＝Ｍ１［Ｔ１］＋Ｍ１［Ｔ２］＋Ｍ１［Ｔ３］＋Ｍ１［Ｔ４］
＝０．７５＋０．７５＋０＋０．７５
＝２．２５
となる。
第二の平均維持補間部１７−２の採点データＭ２［Ｔ１］乃至Ｍ２［Ｔ４］は、
Ｍ２［Ｔ１］＝｜ＴＤ２［Ｔ１］−ＤＩ（ｉ−６）｜＝｜０−０｜＝０
Ｍ２［Ｔ２］＝｜ＴＤ２［Ｔ２］−ＤＩ（ｉ−５）｜＝｜０．７５−０．７５｜＝０
Ｍ２［Ｔ３］＝｜ＴＤ２［Ｔ３］−ＤＩ（ｉ＋５）｜＝｜０．７５−０．７５｜＝０
Ｍ２［Ｔ４］＝｜ＴＤ２［Ｔ４］−ＤＩ（ｉ＋６）｜＝｜０−０｜＝０
となる。
従って、集計データＳ１は、
Ｓ２＝Ｍ２［Ｔ１］＋Ｍ２［Ｔ２］＋Ｍ２［Ｔ３］＋Ｍ２［Ｔ４］
＝０＋０＋０＋０
＝０
となる。
管理部１９は、集計データが最も小さい第二の平均維持補間部１７−２を選択し、第二の平均維持補間部１７−２が出力する補間候補データＤ２を選択することを示す選択信号Ｃを出力する。
出力部２０は、選択信号Ｃに基づいて第二の平均維持補間部１７−２が出力する補間候補データＤ２＝０をデータＤｚとして出力する。
補間データ挿入部５は、位置ｉにデータＤｚ＝０を補間したデータＤＯを出力する。位置ｉの期待値は０なので補間候補データＤ０＝０．３８８５、Ｄ１＝０．７５、Ｄ２＝０のうち、補間候補データＤ２が最も補間誤差が小さい。
図２７の画像補間装置を用いて２画素周期のデータを補間する場合について説明する。
図３３は、位置ｉの画素を補間する場合の２画素周期のデータである。位置ｉ−６をＴ１、ｉ−５をＴ１、ｉ＋５をＴ３、ｉ＋６をＴ４とする。
フィルタ補間部３は、Ｔ１乃至Ｔ４のテスト補間データＴＤ０と位置ｉの補間候補データＤ０を出力する。フィルタ補間部３の係数格納部７には、図１３の係数が格納されているものとして説明をする。テスト補間データＴＤ０［Ｔ１］乃至ＴＤ０［Ｔ４］は、
ＤＩ（ｉ−１０）＝０、ＤＩ（ｉ−９）＝１、ＤＩ（ｉ−８）＝０、ＤＩ（ｉ−７）＝１、ＤＩ（ｉ−６）＝０、ＤＩ（ｉ−５）＝１、ＤＩ（ｉ−４）＝０、ＤＩ（ｉ−３）＝１、ＤＩ（ｉ−２）＝０、ＤＩ（ｉ−１）＝１、ＤＩ（ｉ＋１）＝１、ＤＩ（ｉ＋２）＝０、ＤＩ（ｉ＋３）＝１、ＤＩ（ｉ＋４）＝０、ＤＩ（ｉ＋５）＝１、ＤＩ（ｉ＋６）＝０、ＤＩ（ｉ＋７）＝１、ＤＩ（ｉ＋８）＝０、ＤＩ（ｉ＋９）＝１、ＤＩ（ｉ＋１０）＝０より、
ＴＤ０［Ｔ１］
＝−０．０５８×０＋０．２４１×１−０．５５３×０＋０．８７０×１
＋０．８７０×１−０．５５３×０＋０．２４１×１−０．０５８×０
＝２．２２２
ＴＤ０［Ｔ２］
＝−０．０５８×１＋０．２４１×０−０．５５３×１＋０．８７０×０
＋０．８７０×０−０．５５３×１＋０．２４１×０−０．０５８×１
＝−１．２２２
ＴＤ０［Ｔ３］
＝−０．０５８×１＋０．２４１×０−０．５５３×１＋０．８７０×０
＋０．８７０×０−０．５５３×１＋０．２４１×０−０．０５８×１
＝−１．２２２
ＴＤ０［Ｔ４］
＝−０．０５８×０＋０．２４１×１−０．５５３×０＋０．８７０×１
＋０．８７０×１−０．５５３×０＋０．２４１×１−０．０５８×０
＝２．２２２
となる。
補間候補データＤ０は、
Ｄ０
＝−０．０５８×０＋０．２４１×１−０．５５３×０＋０．８７０×１
＋０．８７０×１−０．５５３×０＋０．２４１×１−０．０５８×０
＝２．２２２
となる。
第一の平均維持補間部１７−１は、Ｔ１乃至Ｔ４のテスト補間データＴＤ１と位置ｉの補間候補データＤ１を出力する。テスト補間データＴＤ１［Ｔ１］乃至ＴＤ１［Ｔ４］は、
ＴＤ１［Ｔ１］＝（０＋１＋０−１）／２＝０
ＴＤ１［Ｔ２］＝（１＋０＋１−０）／２＝１
ＴＤ１［Ｔ３］＝（１＋０＋１−０）／２＝１
ＴＤ１［Ｔ４］＝（０＋１＋０−１）／２＝０
となる。
補間候補データＤ１は、
Ｄ１＝（０＋１＋０−１）／２＝０
となる。
第二の平均維持補間部１７−２は、Ｔ１乃至Ｔ４のテスト補間データＴＤ２と位置ｉの補間候補データＤ２を出力する。テスト補間データＴＤ２［Ｔ１］乃至ＴＤ２［Ｔ４］は、
ＴＤ２［Ｔ１］＝（１＋０＋０＋１−１−１）／２＝０
ＴＤ２［Ｔ２］＝（０＋１＋１＋０−０−０）／２＝１
ＴＤ２［Ｔ３］＝（０＋１＋１＋０−０−０）／２＝１
ＴＤ２［Ｔ４］＝（１＋０＋０＋１−１−１）／２＝０
となる。
補間候補データＤ１は、
Ｄ２＝（１＋０＋０＋１−１−１）／２＝０
となる。
図３４は、採点部１８が出力する採点データと管理部１９が生成する集計データをまとめた表である。フィルタ補間部３の採点データＭ０［Ｔ１］乃至Ｍ０［Ｔ４］は、
Ｍ０［Ｔ１］＝｜ＴＤ０［Ｔ１］−ＤＩ（ｉ−６）｜
＝｜２．２２２−０｜＝２．２２２
Ｍ０［Ｔ２］＝｜ＴＤ０［Ｔ２］−ＤＩ（ｉ−５）｜
＝｜−１．２２２−１｜＝２．２２２
Ｍ０［Ｔ３］＝｜ＴＤ０［Ｔ３］−ＤＩ（ｉ＋５）｜
＝｜−１．２２２−１｜＝２．２２２
Ｍ０［Ｔ４］＝｜ＴＤ０［Ｔ４］−ＤＩ（ｉ＋６）｜
＝｜２．２２２−０｜＝２．２２２
となる。
従って、集計データＳ０は、
Ｓ０＝Ｍ０［Ｔ１］＋Ｍ０［Ｔ２］＋Ｍ０［Ｔ３］＋Ｍ０［Ｔ４］
＝２．２２２＋２．２２２＋２．２２２＋２．２２２
＝８．８８８
となる。
第一の平均維持補間部１７−１の採点データＭ１［Ｔ１］乃至Ｍ１［Ｔ４］は、
Ｍ１［Ｔ１］＝｜ＴＤ１［Ｔ１］−ＤＩ（ｉ−６）｜＝｜０−０｜＝０
Ｍ１［Ｔ２］＝｜ＴＤ１［Ｔ２］−ＤＩ（ｉ−５）｜＝｜１−１｜＝０
Ｍ１［Ｔ３］＝｜ＴＤ１［Ｔ３］−ＤＩ（ｉ＋５）｜＝｜１−１｜＝０
Ｍ１［Ｔ４］＝｜ＴＤ１［Ｔ４］−ＤＩ（ｉ＋６）｜＝｜０−０｜＝０
となる。
従って、集計データＳ１は、
Ｓ１＝Ｍ１［Ｔ１］＋Ｍ１［Ｔ２］＋Ｍ１［Ｔ３］＋Ｍ１［Ｔ４］
＝０＋０＋０＋０
＝０
となる。
第二の平均維持補間部１７−２の採点データＭ２［Ｔ１］乃至Ｍ２［Ｔ４］は、
Ｍ２［Ｔ１］＝｜ＴＤ２［Ｔ１］−ＤＩ（ｉ−６）｜＝｜０−０｜＝０
Ｍ２［Ｔ２］＝｜ＴＤ２［Ｔ２］−ＤＩ（ｉ−５）｜＝｜１−１｜＝０
Ｍ２［Ｔ３］＝｜ＴＤ２［Ｔ３］−ＤＩ（ｉ＋５）｜＝｜１−１｜＝０
Ｍ２［Ｔ４］＝｜ＴＤ２［Ｔ４］−ＤＩ（ｉ＋６）｜＝｜０−０｜＝０
となる。
従って、集計データＳ１は、
Ｓ２＝Ｍ２［Ｔ１］＋Ｍ２［Ｔ２］＋Ｍ２［Ｔ３］＋Ｍ２［Ｔ４］
＝０＋０＋０＋０
＝０
となる。
管理部１９は集計データが最も小さい第一の平均維持補間部１７−２を選択し、第一の平均維持補間部１７−２が出力する補間候補データＤ１を選択することを示す選択信号Ｃを出力する。
出力部２０は、選択信号Ｃに基づいて第一の平均維持補間部１７−２が出力する補間候補データＤ１＝０をデータＤｚとして出力する。
補間データ挿入部５は、位置ｉにデータＤｚ＝０を補間したデータＤＯを出力する。位置ｉの期待値は０なので補間候補データＤ０＝２．２２２、Ｄ１＝０、Ｄ２＝０のうち、補間候補データＤ１及びＤ２がＤ０よりも補間誤差が小さい。
以上のようにして採点部１８と管理部１９とで構成される選択制御部２１が、フィルタ補間部３及び平均維持補間部１７−１〜１７−ｎの各々が欠落画素の近傍に位置し、値が既知である複数の画素の各々をテスト補間画素として、欠落画素の補間値を求めるのと同じ方法で算出したテスト補間値ＴＤ０〜ＴＤｎと、テスト補間画素の既知の値Ｄｍとの差を補間誤差として求め、フィルタ補間部３及び平均維持補間部１７−１〜１７−ｎのうち、複数のテスト補間画素についての補間誤差の合計が最も小さいものを選択し、出力部２０は、フィルタ補間部３及び平均維持補間部１７−１〜１７−ｎのうち、選択制御部２１により選択されたものにより、欠落画素について算出された補間値を、当該欠落画素の補間データとして出力し、データ挿入部５は、出力部２０が出力する補間データをデータ格納部２が出力するデータの欠落画素に対応する位置に挿入する。
以上のように、図２０の画像補間装置は、フィルタ補間部３が不得意とする（良好な（高精度の）補間を行なうことができない）空間周波数の高いデータを補間するために平均維持補間部１７−１〜１７−ｎを備え、また、欠落画素の近傍の画素を使って補間方法が生成するテスト補間データを採点することにより欠落画素を補間するのに最適な補間方法を選択するため、周波数の低いデータはフィルタ補間部で補間し、周波数の高いデータは平均維持補間部が補間する。よって、周波数全般にわたって良好な補間結果を得ることができる。
以上、ハードウェアにより補間を行なう場合について説明したが、ソフトウェア又はソフトウェアとハードウェアに組合せにより補間を行なうこととしても良い。
図３５は、そのような構成における処理の手順を示すフローチャートである。
ステップＳＴ２１では、欠落画素近傍のデータＤｍを格納する。
ステップＳＴ２２では、フィルタ補間によりテスト補間データＴＤ０を生成する。
ステップＳＴ２３では、フィルタ補間により補間候補データＤ０を生成する。
ステップＳＴ２４では、平均維持補間によりテスト補間データＴＤ１乃至ＴＤｎを生成する。
ステップＳＴ２５では、平均維持補間により補間候補データＤ１乃至Ｄｎを生成する。
ステップＳＴ２６では、テスト補間データＴＤ０乃至ＴＤｎを採点し採点データＭ０乃至Ｍｎを生成する。
ステップＳＴ２７では、採点データＭ０乃至Ｍｎに基づいて補間データを選択する。
ステップＳＴ２８では、データＤｍのつなぎ目に対応する位置にデータＤｃを挿入したデータＤＯを生成する。
それぞれのステップにおける処理内容については図２０で詳しく示したので、ここでは説明を省略する。
本発明の活用例として、複写機やスキャナなどの密着イメージセンサに適用できる。
本発明の実施の形態１の画像補間装置の構成を示す図である。 本発明の画像補間装置を搭載する密着イメージセンサの構成を示す図である。 （ａ）及び（ｂ）は、密着イメージセンサのセンサチップ列の構成を示す図である。 （ａ）及び（ｂ）は、図１のデータ格納部２の概略構成及び動作を示す図である。 つなぎ目近傍の受光素子と係数格納部７が格納する係数の関係を示す図である。 低域通過フィルタの係数と画素の位置関係を示す図である。 具体的な低域通過フィルタで用いられる、着目画素の周辺画素の、着目画素に対する相対位置と、当該周辺画素のデータに掛けられる係数との関係を示す図である。 （ａ）乃至（ｃ）は、図７の低域通過フィルタを使って８画素周期のデータの位置ｉの画素を処理（フィルタリング）する場合のデータとデータに掛けられる係数の関係を示す図である。 （ａ）乃至（ｃ）は、図７の低域通過フィルタを使って４画素周期のデータの位置ｉの画素を処理（フィルタリング）する場合のデータとデータに掛けられる係数の関係を示す図である。 （ａ）乃至（ｃ）は、図７の低域通過フィルタを使って３画素周期のデータの位置ｉの画素を処理（フィルタリング）する場合のデータとデータに掛けられる係数の関係を示す図である。 （ａ）乃至（ｃ）は、図７の低域通過フィルタを使って２画素周期のデータの位置ｉの画素を処理（フィルタリング）する場合のデータとデータに掛けられる係数の関係を示す図である。 図７の低域通過フィルタの周波数特性を示す図である。 図７の具体的な低域通過フィルタより算出した補間用低域通過フィルタの係数の大きさを示す図である。 （ａ）乃至（ｃ）は、図１３の補間用低域通過フィルタを使って８画素周期のデータのつなぎ目の画素ｉを補間する場合のデータとデータに掛けられる係数の関係を示す図である。 （ａ）乃至（ｃ）は、図１３の補間用低域通過フィルタを使って４画素周期のデータのつなぎ目の画素ｉを補間する場合のデータとデータに掛けられる係数の関係を示す図である。 （ａ）乃至（ｃ）は、図１３の補間用低域通過フィルタを使って３画素周期のデータのつなぎ目の画素ｉを補間する場合のデータとデータに掛けられる係数の関係を示す図である。 （ａ）乃至（ｃ）は、図１３の補間用低域通過フィルタを使って２画素周期のデータのつなぎ目の画素ｉを補間する場合のデータとデータに掛けられる係数の関係を示す図である。 図１３の補間用低域通過フィルタの周波数特性を示す図である。 ソフトウェア処理による動作を説明するフローチャートである。 本発明の実施の形態２の画像補間装置の構成を示す図である。 平均維持補間部の動作を説明するための図である。 ｋ＝３の場合の平均維持補間部の動作を説明するための図である。 ｋ＝３の平均維持補間部を使って３画素周期のデータを処理する場合の参照範囲を示す図である。 ｋ＝３の平均維持補間部を使って４画素周期のデータを処理する場合の参照範囲を示す図である。 テスト補間画素と欠落画素の位置関係を示す図である。 テスト補間画素Ｔ１乃至Ｔｍと、フィルタ補間部、第一の平均維持補間部、第二の平均維持補間部、第ｎの平均維持補間部の採点データＭ０乃至Ｍｎの関係を示す図である。 補間方法としてフィルタ補間部、第一の平均維持補間部、第二の平均維持補間部を備える本発明の実施の形態２の画像補間装置の構成を示す図である。 具体例においてテスト補間画素と欠落画素の位置関係を示す図である。 位置ｉの画素を補間する場合の４画素周期のデータである。 採点部が出力する採点データと管理部が生成する集計データをまとめた表である。 位置ｉの画素を補間する場合の３画素周期のデータである。 採点部が出力する採点データと管理部が生成する集計データをまとめた表である。 位置ｉの画素を補間する場合の２画素周期のデータである。 採点部が出力する採点データと管理部が生成する集計データをまとめた表である。 ソフトウェア処理による動作を説明するフローチャートである。
符号の説明
１ 画像補間装置、 ２ データ格納部、 ３ フィルタ補間部、 ４ リミット処理部、 ５ 補間データ挿入部、 ６ 積和演算部、 ７ 係数格納部、 ８ 密着イメージセンサ、 ９ 光源、 １０ センサチップ列、 １１ Ａ／Ｄ変換器、 １２ 原稿、 １３−１〜１３−ｋ センサチップ、 １４−１〜１４−ｍ 左端のセンサチップの受光素子、 １５−１ 左端から２個目のセンサチップの左端の受光素子、 １６−ｍ 右端のセンサチップの右端の受光素子、 １７−１〜１７−ｎ 平均維持補間部、 １８ 採点部、 １９ 管理部、 ２０ 出力部。

Claims (4)

  1. 直線状に配列された複数の画素のうちの欠落画素を補間する画像補間装置において、
    前記直線状に配列された複数の画素のうちの前記欠落画素以外の画素は互いに所定のピッチで配列され、前記直線状に配列された複数の画素のうちの前記欠落画素を挟む画素は、相互間に前記所定のピッチの２倍の間隔を有し、
    前記欠落画素以外の前記複数の画素の画素値を表すデータを格納するデータ格納部と、
    前記データ格納部から読み出されたデータを受け、前記直線状に配列された複数の画素のうち、前記欠落画素の周辺に位置する複数の周辺画素の画素値の各々に、予め定められた係数を掛けて加算する積和演算を行なって、前記欠落画素のための補間値を算出するフィルタ補間部と、
    前記フィルタ補間部が出力するデータを前記複数の周辺画素の画素値の範囲内に制限するリミット処理部と、
    前記リミット処理部が出力するデータを、前記データ格納部が出力するデータの前記欠落画素に対応する位置に挿入するデータ挿入部と
    を備え、
    前記フィルタ補間部において、前記周辺画素の画素値の各々に掛けられる係数の大きさは、当該周辺画素の前記欠落画素からの距離をｄ、第１の所定の定数をｇとしたとき、{ｓｉｎ（ｇ×ｄ）｝／（ｇ×ｄ）と第２の所定の定数との積で与えられ、
    前記係数は、前記欠落画素に対する係数がゼロである点を除けば、前記フィルタ補間部の前記積和演算を行う部分が低域通過フィルタである場合に用いられる係数に比例し、かつ該係数の和が１となるように定められており、
    画素ピッチの逆数をＦｓ、カットオフ空間周波数をＦｃ、各周辺画素の処理対象画素からの距離を画素ピッチ数で表わした値をｓで表わすとき、
    前記距離ｄがｄ＝ｓ／Ｆｓで与えられ、
    前記第１の所定の定数ｇがｇ＝２π×Ｆｃで与えられ、
    前記第２の所定の定数ＫＳ０がＫＳ０＝２Ｆｃ／Ｆｓで与えられる
    ことを特徴とする画像補間装置。
  2. 前記リミット処理部は、その入力データが、前記複数の周辺画素の画素値のうちの最大値よりも大きければ、当該入力データに対応する出力データとして、該最大値を出力し、その入力データが、前記複数の周辺画素の画素値のうちの最小値よりも小さければ、当該入力データに対応する出力データとして、該最小値を出力することを特徴とする請求項１に記載の画像補間装置。
  3. 原稿に光に照射する光源と、
    複数のセンサチップを直線状に配置し前記原稿からの反射光を光電変換して反射光に対応した信号を出力するセンサチップ列と、
    前記センサチップ列が出力する前記反射光に対応した信号をデジタルデータに変換するＡ／Ｄ変換部と、
    前記Ａ／Ｄ変換部が出力するデジタルデータを入力とする、請求項１又は２に記載の画像補間装置と
    を備え、前記複数のセンサチップの各々には前記所定のピッチで画素が配列され、前記複数のセンサチップのうちの互いに隣接する前記センサチップの端部の画素が前記欠落画素を挟む画素を構成し、前記互いに隣接するセンサチップの端部の画素間に前記欠落画素が存在するものとして、前記フィルタ補間部による前記補間値を算出する処理を行うことを特徴とする画像読取装置。
  4. 直線状に配列された複数の画素のうちの欠落画素を補間する画像補間方法において、
    前記直線状に配列された複数の画素のうちの前記欠落画素以外の画素は互いに所定のピッチで配列され、前記直線状に配列された複数の画素のうちの前記欠落画素を挟む画素は、相互間に前記所定のピッチの２倍の間隔を有し、
    前記欠落画素以外の前記複数の画素の画素値を表わすデータを格納するデータ格納ステップと、
    前記データ格納ステップで格納されたデータを受け、前記直線状に配列された複数の画素のうち、前記欠落画素の周辺に位置する複数の周辺画素の画素値の各々に、予め定められた係数を掛けて加算する積和演算を行なって、前記欠落画素のための補間値を算出するフィルタ補間ステップと、
    前記フィルタ補間ステップで補間により得られたデータを前記複数の周辺画素の画素値の範囲内に制限するリミット処理ステップと、
    前記リミット処理ステップにより生成されたデータを、前記データ格納ステップにより格納されたデータの前記欠落画素に対応する位置に挿入するデータ挿入ステップと
    を備え、
    前記フィルタ補間ステップにおいて、前記周辺画素の画素値の各々に掛けられる係数の大きさは、当該周辺画素の前記欠落画素からの距離をｄ、第１の所定の定数をｇとしたとき、{ｓｉｎ（ｇ×ｄ）｝／（ｇ×ｄ）と第２の所定の定数との積で与えられ、
    前記係数は、前記欠落画素に対する係数がゼロである点を除けば、前記フィルタ補間ステップの前記積和演算を行う部分が低域通過フィルタ処理を行うものである場合に用いられる係数に比例し、かつ該係数の和が１となるように定められており、
    画素ピッチの逆数をＦｓ、カットオフ空間周波数をＦｃ、各周辺画素の処理対象画素からの距離を画素ピッチ数で表わした値をｓで表わすとき、
    前記距離ｄがｄ＝ｓ／Ｆｓで与えられ、
    前記第１の所定の定数ｇがｇ＝２π×Ｆｃで与えられ、
    前記第２の所定の定数ＫＳ０がＫＳ０＝２Ｆｃ／Ｆｓで与えられる
    ことを特徴とする画像補間方法。
JP2007165860A 2007-06-25 2007-06-25 画像補間装置及び方法、並びに画像読取装置 Active JP4772754B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007165860A JP4772754B2 (ja) 2007-06-25 2007-06-25 画像補間装置及び方法、並びに画像読取装置
US12/666,750 US8320715B2 (en) 2007-06-25 2008-02-08 Device and method for interpolating image, and image scanner
EP08711022.7A EP2161914B1 (en) 2007-06-25 2008-02-08 Device and method for interpolating image, and image scanner
CN2008800220521A CN101690153B (zh) 2007-06-25 2008-02-08 图像插值装置和方法、以及图像读取装置
PCT/JP2008/052143 WO2009001575A1 (ja) 2007-06-25 2008-02-08 画像補間装置及び方法、並びに画像読取装置
TW097105306A TWI373007B (en) 2007-06-25 2008-02-15 Image interpolation apparatus and method as well as image redaing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007165860A JP4772754B2 (ja) 2007-06-25 2007-06-25 画像補間装置及び方法、並びに画像読取装置

Publications (2)

Publication Number Publication Date
JP2009005208A JP2009005208A (ja) 2009-01-08
JP4772754B2 true JP4772754B2 (ja) 2011-09-14

Family

ID=40185399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007165860A Active JP4772754B2 (ja) 2007-06-25 2007-06-25 画像補間装置及び方法、並びに画像読取装置

Country Status (6)

Country Link
US (1) US8320715B2 (ja)
EP (1) EP2161914B1 (ja)
JP (1) JP4772754B2 (ja)
CN (1) CN101690153B (ja)
TW (1) TWI373007B (ja)
WO (1) WO2009001575A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970235B1 (en) * 2007-04-30 2011-06-28 Hewlett-Packard Development Company, L.P. Automatic replacement of undesirable pixels in an image
JP2010041576A (ja) * 2008-08-07 2010-02-18 Fuji Xerox Co Ltd 検出装置、画像読取制御装置、検出装置の誤差補正プログラム
WO2010113526A1 (ja) * 2009-04-03 2010-10-07 三菱電機株式会社 積和演算装置
JP4958056B2 (ja) * 2009-05-12 2012-06-20 東芝ディーエムエス株式会社 画像補間装置および画像補間プログラム
JP2012023564A (ja) * 2010-07-14 2012-02-02 Fuji Xerox Co Ltd 画像処理装置
US8520971B2 (en) * 2010-09-30 2013-08-27 Apple Inc. Digital image resampling
CN102063260B (zh) * 2011-01-06 2014-08-13 中兴通讯股份有限公司 一种屏幕显示方法及装置
JP5741011B2 (ja) * 2011-01-26 2015-07-01 株式会社リコー 画像処理装置、画素補間方法およびプログラム
WO2019225410A1 (ja) * 2018-05-23 2019-11-28 三菱電機株式会社 光電変換素子及び受光ユニット
WO2020003422A1 (ja) * 2018-06-27 2020-01-02 三菱電機株式会社 画素補間装置及び画素補間方法、並びに画像処理装置、並びにプログラム及び記録媒体
CN117095134B (zh) * 2023-10-18 2023-12-22 中科星图深海科技有限公司 一种三维海洋环境数据插值处理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62296667A (ja) 1986-06-17 1987-12-23 Ricoh Co Ltd 連続階調画の表示システム
JPH11205687A (ja) 1998-01-12 1999-07-30 Sharp Corp 欠陥画素補正装置
JP2000196835A (ja) 1998-12-25 2000-07-14 Mitsubishi Electric Corp マルチチップイメ―ジセンサ
JP2001014454A (ja) * 1999-06-29 2001-01-19 Sharp Corp 画像処理装置
JP2003101724A (ja) 2001-09-25 2003-04-04 Konica Corp 画像読取装置及び画像形成装置
JP2006526832A (ja) * 2003-06-04 2006-11-24 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 画像の補間
JP3767593B2 (ja) 2003-10-07 2006-04-19 三菱電機株式会社 画素補間回路及び画素補間方法
JP3810404B2 (ja) 2003-11-10 2006-08-16 三菱電機株式会社 画素補間回路、及び画素補間方法
KR100519776B1 (ko) * 2003-11-24 2005-10-07 삼성전자주식회사 영상 신호의 해상도 변환 방법 및 장치
JP2005217837A (ja) * 2004-01-30 2005-08-11 Sony Corp サンプリングレート変換装置およびその方法、並びに、オーディオ装置
JP2005236770A (ja) * 2004-02-20 2005-09-02 Mitsubishi Electric Corp 画素補間回路、画像読取装置、および画素補間方法
JP4774736B2 (ja) * 2004-12-27 2011-09-14 カシオ計算機株式会社 画像拡大装置および撮像装置
US7826686B2 (en) * 2005-03-18 2010-11-02 Seiko Epson Corporation Pixel interpolation apparatus and pixel interpolation program product
US7692670B2 (en) * 2005-05-31 2010-04-06 Lexmark International, Inc. Methods and systems for scaling and rotating an image in a single operation

Also Published As

Publication number Publication date
JP2009005208A (ja) 2009-01-08
TW200901086A (en) 2009-01-01
US8320715B2 (en) 2012-11-27
EP2161914B1 (en) 2016-11-16
CN101690153B (zh) 2011-12-07
TWI373007B (en) 2012-09-21
EP2161914A1 (en) 2010-03-10
EP2161914A4 (en) 2011-05-11
US20100183237A1 (en) 2010-07-22
WO2009001575A1 (ja) 2008-12-31
CN101690153A (zh) 2010-03-31

Similar Documents

Publication Publication Date Title
JP4772754B2 (ja) 画像補間装置及び方法、並びに画像読取装置
JP4840468B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102011938B1 (ko) 화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치
JP2005159957A (ja) 色補間方法
JP2010068515A (ja) 画像処理装置、画像処理方法、およびプログラム
CN101561926B (zh) 图像处理设备、图像拍摄设备、图像处理方法
JP2011227578A (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
KR20070094520A (ko) 화상 처리 장치 및 화상 처리 방법과 프로그램
JP3767593B2 (ja) 画素補間回路及び画素補間方法
JP2016200703A (ja) 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体
US8902474B2 (en) Image processing apparatus, control method of the same, and program
JP6614824B2 (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
JP4688753B2 (ja) 補間処理装置および補間処理方法
JP7414455B2 (ja) 焦点検出装置及び方法、及び撮像装置
JP5900273B2 (ja) 合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラム
WO2014077024A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
JP2009212851A (ja) 走査線補間装置及びその制御方法
JP4732153B2 (ja) 画素補間方法及び装置、画像読取装置
Ciuhu et al. A two-dimensional generalized sampling theory and application to de-interlacing
KR102533777B1 (ko) 단일 영상을 이용한 업샘플링 시스템 및 방법
JP2019161376A (ja) 画像処理装置、画像処理方法、プログラム及び撮像装置
RU2006105328A (ru) Устройство и способ коррекции динамического видеоизображения
JP4182574B2 (ja) 画像情報変換装置および変換方法
JP4156469B2 (ja) エッジ検出装置および方法、プロファイル判定装置および方法並びにプログラム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090909

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090925

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20091113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110530

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4772754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250