JP4803288B2 - 画素補間装置、画素補間方法および画像読取装置 - Google Patents

画素補間装置、画素補間方法および画像読取装置 Download PDF

Info

Publication number
JP4803288B2
JP4803288B2 JP2009187419A JP2009187419A JP4803288B2 JP 4803288 B2 JP4803288 B2 JP 4803288B2 JP 2009187419 A JP2009187419 A JP 2009187419A JP 2009187419 A JP2009187419 A JP 2009187419A JP 4803288 B2 JP4803288 B2 JP 4803288B2
Authority
JP
Japan
Prior art keywords
pixel
value
unit
frequency component
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009187419A
Other languages
English (en)
Other versions
JP2011041065A (ja
Inventor
悠平 栗形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP2009187419A priority Critical patent/JP4803288B2/ja
Priority to US12/843,978 priority patent/US8405886B2/en
Priority to CN2010102511662A priority patent/CN101998025B/zh
Publication of JP2011041065A publication Critical patent/JP2011041065A/ja
Application granted granted Critical
Publication of JP4803288B2 publication Critical patent/JP4803288B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • H04N1/192—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
    • H04N1/193—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
    • H04N1/1931—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays with scanning elements electrically interconnected in groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/047—Detection, control or error compensation of scanning velocity or position
    • H04N1/053—Detection, control or error compensation of scanning velocity or position in main scanning direction, e.g. synchronisation of line start or picture elements in a line
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • H04N1/192—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
    • H04N1/193—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
    • H04N1/1934—Combination of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0081—Image reader
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04753—Control or error compensation of scanning position or velocity
    • H04N2201/04758—Control or error compensation of scanning position or velocity by controlling the position of the scanned image area
    • H04N2201/04787—Control or error compensation of scanning position or velocity by controlling the position of the scanned image area by changing or controlling the addresses or values of pixels, e.g. in an array, in a memory, by interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color, Gradation (AREA)
  • Control Or Security For Electrophotography (AREA)

Description

本発明は、欠落画素を補間する画素補間装置、画素補間方法および画像読取装置に関する。
原稿画像を光学的に読み取る画像読取装置に用いられる密着型ラインイメージセンサ（Contact Image Sensor,以下CIS）１２は、図２の下部に示すように、複数のセンサチップ１２ａを主走査方向に繋ぎ合わせた構成になっている。このような構成では、センサチップ１２ａ同士の繋ぎ目部分で画素間距離を精度よく１画素分（６００ｄｐｉの場合は約４２．３μｍ）の長さＬｂにすることは困難なため、多くの密着型ラインイメージセンサでは繋ぎ目部分において約２画素分（６００ｄｐｉの場合は約８４．６μｍ）の間隔Ｌａを取っており、該繋ぎ目部分に１画素分の欠落画素Ｋが存在している。
このような密着型ラインイメージセンサの出力信号を、欠落画素の発生を考慮せずにそのまま使用すると、欠落画素のある繋ぎ目部分では線画に段差が生じたり、周期性のある網点画像などで筋状のノイズが発生したりして画質の劣化を招いてしまう。そのため、欠落画素の１次元方向（たとえば、主走査方向（密着型ラインイメージセンサのライン方向））の近傍画素を参照画素として欠落画素を補間するフィルタを用いて筋などを見え難くすることが行われる。
このような補間は線画や自然画に対して有効であるが、網点画像のような細かい周期的なパターンを持つ画像では不自然な筋が発生する。
細かい網点画像のような周期性の高い画像を補間する場合の補間誤差を小さくする方法として、一連の画素のうち、欠落画素を含む画素の組を構成する複数の画素の平均値と、欠落画素を含まない画素の組を構成する複数の画素の平均値が等しくなるように欠落画素の補間データを求める補間方法が特許文献１に開示されている。この文献では、平均値を一致させる方法の一例として、欠落画素を含む画素の組を構成するＮ個の画素のうち、欠落画素以外の画素の値の合計と、欠落画素を含まない画素の組を構成するＮ個の画素の値の合計とを求め、これらの差を欠落画素の補間データとする方法が開示されている。
特開２００５−１４１６１１号公報
特許文献１に開示の補間方法では、欠落画素を含まない周辺画素の平均値と欠落画素を含む周辺画素の平均値が一致するように欠落画素の補間データを推測するので、平均値を求めるために用いる参照画素は１次元方向（密着型ラインイメージセンサのライン方向）に限られてしまう。
すなわち、欠落画素を含む周辺画素の範囲に、値の不定な欠落画素を２画素以上含めると、欠落画素を含む領域の平均値と欠落画素を含まない領域の平均値とを一致させるという条件のみでは、複数の欠落画素の濃度を個別に決定することはできず、これら複数の欠落画素を同一の濃度に補間するしかなく、最適な補間はできない。したがって、特許文献１の補間方法では、平均値を求めるために用いる参照画素は１次元方向に制限される。このため、二次元的な広がりを有する網点画像の周期性に対応した適切な補間は難しい。また、一次元方向に参照範囲を広げると、同じ画素数を二次元領域で得る場合に比べて、参照画素が欠落画素から遠くなり、欠落画素との関連性が希薄になってしまう。
本発明は、上記の問題を解決しようとするものであり、網点領域においても、欠落画素をより高精度に補間することのできる画素補間装置、画素補間方法および画像読取装置を提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］欠落画素のある入力画像における前記欠落画素の周辺画素を参照画素として前記欠落画素の画素値を求め、該画素値の画素を前記入力画像内の前記欠落画素の位置に挿入した一次補間画像信号を生成する重み付け補間部と、
前記重み付け補間部によって生成された前記一次補間画像信号を複数の周波数領域の周波数成分に分解する周波数分解部と、
前記周波数分解部によって分解して得た複数の周波数成分のうちの高周波成分を用いて、前記欠落画素の近傍領域が網点領域である度合いを示す網点度を求める網点度導出部と、
前記複数の周波数成分のうちの低周波成分を用いて前記画素値の補正値を算出する補正値算出部と、
前記一次補間画像信号のうちの前記欠落画素の画素値に前記補正値を前記網点度に応じて加算した信号を補間結果として出力する補正部と、
を有する
ことを特徴とする画素補間装置。
上記発明では、欠落画素を重み付け補間のみの補間処理で補間した場合に発生する網点領域でのモアレを、欠落画素の周辺領域が網点領域である度合いに応じて補正値で補正する。これにより、網点領域におけるモアレを低減することができる。また、網点領域である度合いに応じて補正するのでより適切に補正できる。非網点領域に対する補正を回避し、網点領域に限定して補正することができる。
また、重み付け補間部によって生成された一次補間画像信号を高周波成分と低周波成分に周波数分解し、高周波成分を使用して網点度合いを算出し、低周波成分を使用して補正値を算出するので、比較的簡単な処理で、網点度や補正値を求めることができる。
［２］欠落画素のある入力画像における前記欠落画素の周辺画素を参照画素として第１補間方法によって前記欠落画素の画素値を求め、該画素値の画素を前記入力画像内の前記欠落画素の位置に挿入した一次補間画像信号を生成する重み付け補間部と、
前記欠落画素の周辺画素を参照画素とすると共に前記第１補間方法に比べて参照画素の参照範囲が狭い第２補間方法によって前記欠落画素の第２画素値を求め、該第２画素値の画素を前記入力画像内の前記欠落画素の位置に挿入した第２の一次補間画像信号を生成する第２重み付け補間部と、
前記重み付け補間部によって生成された前記一次補間画像信号を複数の周波数領域の周波数成分に分解する周波数分解部と、
前記周波数分解部によって分解して得た複数の周波数成分のうちの高周波成分を用いて、前記欠落画素の近傍領域が網点領域である度合いを示す網点度を求める網点度導出部と、
前記複数の周波数成分のうちの低周波成分を用いて前記画素値の補正値を算出する補正値算出部と、
前記第２の一次補間画像信号のうちの前記欠落画素の部分を、前記画素値に前記補正値を加算した値と前記第２画素値とを前記網点度に応じた割合で合成した値に置き換えた信号を補間結果として出力する補正部と、
を有する
ことを特徴とする画素補間装置。
上記発明では、第２重み付け補間部は低周波領域に適した重み付け補間処理を行って第２の一次補間画像信号を生成し、重み付け補間処理部は高周波領域に適した重み付け補間処理を行って一次補間画像信号を生成する。この一次補間画像信号は、周波数分解され、網点領域の判別（網点度の導出）および補正値の算出に使用される。そして、第２の一次補間画像信号における補間値と、一次補間信号における補間値を補正値で補正した値とを、網点度に応じた割合で合成した値が、最終的な欠落画素の補間画素値として出力される。たとえば、網点度を０から１の範囲を取り得る値であって１に近づくほど網点領域である度合いが高くなるものとすると、上記合成は、（一次補間信号における補間値を補正値で補正した値）×網点度＋（第２の一次補間画像信号における補間値）×（１−網点度）、との演算により行われる。
高周波領域に適した（網点領域に適した）重み付け補間処理で得た一次補間画像信号を補正値の算出に使用するので、低周波領域に適した（非網点領域に適した）重み付け補間処理で得た第２の一次補間画像信号を補正値の算出に使用する場合に比べて、補正量が少なくなる。すなわち、網点領域では網点領域により適した重み付け補間が行われるので少ない補正量でより適切な画素値に補正でき、かつまた非網点領域では非網点領域に適した補間が行われるので、良好な画質を得ることができる。
［３］前記補正値算出部は、前記一次補間画像信号を前記周波数分解部によって分解して得た複数の周波数成分のうちの前記欠落画素における低周波成分と、前記複数の周波数成分のうちの前記欠落画素近傍の参照画素における低周波成分との差に基づいて前記補正値を算出する
ことを特徴とする［１］又は［２］に記載の画素補間装置。
網点領域は、複数画素によって中間値を表現する領域であるから、上記発明では、欠落画素が網点領域に存在する場合は、欠落画素における低周波成分（欠落画素を含む周辺領域の画素値の平均値に対応）と欠落近傍の参照画素における低周波成分（欠落画素を含まない欠落近傍領域の画素値の平均値に対応）との差が少なくなるよう（好ましくは０）に補正する。これにより、欠落画素が網点領域にある場合において、重み付け補間の補間値が適切に補正される。
［４］前記補正値算出部は、前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含みかつ互いに周波数領域が異なる複数の低周波成分のそれぞれについて前記補正値を算出し、その中から前記欠落画素の近傍領域の周波数成分に応じて選択した補正値を前記欠落画素の画素値の補正値として出力する
ことを特徴とする［１］乃至［３］のいずれか一項に記載の画素補間装置。
より高周波成分を含んだ低周波成分を補正値の算出に使用すると、この高周波成分を含んだ低周波成分は参照画素の範囲が比較的狭いので、欠落画素近傍の領域に基づいて、より細かな補正が可能となる。しかし、網点の周波数成分に対応する高周波成分が含まれると平均化が適切にできず安定した補正値が得られない。したがって、補正値の算出には、網点の持つ周波数成分を含まない範囲でより高い周波数成分を含む低周波成分を使用することが好ましい。そこで、補正に適する網点領域のうち、より高周波成分を持つ（線数の高い）網点領域に欠落画素がある場合は、モアレの副走査方向の発生周期が短いので、より高周波成分を含んだ低周波成分を使用して補正値を求める。一方、線数の低い網点領域に欠落画素がある場合はその網点の持つ周波数成分より低い周波数成分を補正値の算出に使用する。これにより、網点の線数に応じて、より適切な補正値を求めることができる。
［５］前記網点度導出部は、
前記欠落画素近傍の複数の参照画素のそれぞれについてその参照画素が網点領域に含まれる度合いを示す網点係数を、前記高周波成分を用いて求める網点抽出部と、
前記網点抽出部で求めた複数の網点係数の中の最小値を前記網点度として出力する網点係数選択部と、
を有する
ことを特徴とする［１］乃至［４］のいずれか一項に記載の画素補間装置。
欠落画素近傍の１画素のみを参照画素とする場合、その参照画素が、網点度の算出にとって好ましくない特異点となる場合があり、その場合は、非網点領域で網点係数が大きな値になってしまう。特異点は１画素単独でしか生じないので、欠落画素近傍の複数の参照画素のそれぞれについて求めた網点係数のうち最小のものを選択することで、特異点による誤算を避けることができる。
［６］前記網点抽出部は、
前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含まない周波数成分の強度を特定高周波強度として算出する特定高周波成分抽出部と、
前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含まない周波数成分を用いて、参照画素がエッジ領域に含まれる度合いを示すエッジ抽出値を算出するエッジ抽出部と、
前記特定高周波強度から前記エッジ抽出値を減算した結果を前記網点係数として出力する網点係数算出部と
を有する
ことを特徴とする［５］に記載の画素補間装置。
上記発明では、特定高周波成分抽出部において、補正に適する網点領域の持つ周波数成分（特定の高周波成分）を抽出することで、特定高周波強度として網点領域を抽出することができる。しかし、エッジ領域も特定高周波成分を含むので、特定高周波強度が高くなる領域にエッジ領域も含まれてしまう。そこで、エッジ抽出部において，高周波成分を解析することによってエッジ成分を抽出（エッジ抽出値を算出）し、特定高周波強度からエッジ抽出値を減算することで、網点係数を導出する。すなわち、エッジ領域に対して補正値による補正を行うと誤った補正を行う場合があるので、補正対象からエッジ領域を除外することで誤補正を防止する。
［７］前記特定高周波成分抽出部で用いる周波数成分の周波数領域は、前記エッジ抽出部で用いる周波数成分の周波数領域より高い周波数領域である
ことを特徴とする［６］に記載の画素補間装置。
エッジ部分の周波数成分は補正対象となる網点領域よりも低い周波数領域で最大になる傾向がある。そこで上記発明では、特定高周波成分抽出部で用いる周波数成分の周波数領域を、エッジ抽出部で用いる周波数成分の周波数領域より高い周波数領域とすることで、的確なエッジ抽出が行われるようにしている。
［８］前記入力画像は画素を行列状に配列したものであり、
前記特定高周波成分抽出部は、前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含まない周波数成分について前記行列の行方向と列方向の二乗平均を求めてそれらを所定サイズの領域内で平均化した値を前記特定周波数強度として算出する
ことを特徴とする［６］または［７］に記載の画素補間装置。
周波数分解によって得られた周波数成分は、空間的に周期性を持つ。また、正負値が空間的に交互に並んでいるため、これを網点係数として採用すると安定した領域決定ができない。そこで、水平方向、垂直方向に対し二乗平均を求め、一定領域内で平均化することによって安定的な網点係数を求めている。
［９］前記網点係数算出部は、
前記特定周波数強度から前記エッジ抽出値を減算した値を規格化前網点係数として算出するエッジ減算部と、
前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含まない周波数成分の強度を複数の周波数成分について算出し、その中の最大値を代表値として選択する規格化選択部と、
前記規格化前網点係数を前記代表値で規格化したものを前記網点係数として出力する規格化部と
を有する
ことを特徴とする［６］または［７］に記載の画素補間装置。
［１０］前記入力画像は画素を行列状に配列したものであり、
前記網点係数算出部は、
前記特定周波数強度から前記エッジ抽出値を減算した値を規格化前網点係数として算出するエッジ減算部と、
前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含まない周波数成分の各々について、前記行列における行方向と列方向の二乗平均を求めてそれらを所定サイズの領域内で平均化した値を算出し、その中の最大値を代表値として出力する規格化選択部と、
前記規格化前網点係数を前記代表値で規格化したものを前記網点係数として出力する規格化部と
を有する
ことを特徴とする［６］または［７］に記載の画素補間装置。
周波数分解によって得られた周波数成分の強度は周波数の振幅に比例する。よってこの周波数成分よりエッジ成分を減算した値を網点係数として採用すると、補正効果が網点の振幅に依存することとなる。そこで上記［９］［１０］に記載の発明では、周波数成分で規格化することにより、周波数の振幅によらず補正効果を最大限出すことができる。また，複数の周波数成分のうち強度が最大の周波数成分で規格化することにより、補正に適する線数を持つ網点領域（比較的線数の高い網点領域）でのみ網点係数が最大となるため、補正に適する線数を持つ網点領域のみを適切に補正することができる。
［１１］前記入力画像は画素を行列状に配列したものであり、
前記エッジ抽出部は、
前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含まない周波数成分の前記行列の行方向と列方向について独立に所定サイズの領域内で平均化した結果の二乗平均を前記エッジ抽出値として出力する
ことを特徴とする［６］または［７］に記載の画素補間装置。
処理対象の周波数成分は、補正対象となる網点領域の周波数成分も含むため、エッジ領域と網点領域とを分離する必要がある。上記発明では、水平成分、垂直成分を独立に処理し、一定領域の平均値をとることで、網点成分をキャンセルし、エッジ成分のみを抽出することができる。
［１２］所定方向の一次元に並ぶ複数画素分の読み取り領域を備えた複数のセンサチップが前記所定方向に直列に配置されかつ前記センサチップ同士の境界で欠落画素の生じるラインイメージセンサを有し、該ラインイメージセンサと原稿とを相対移動させて前記原稿を二次元に光学的に読み取る読取部と、
前記読取部で原稿を読み取って得た画像データの欠落画素を補間する［１］乃至［１１］のいずれか一項に記載の画素補間装置と、
を有する
ことを特徴とする画像読取装置。
［１３］欠落画素のある入力画像における前記欠落画素の周辺画素を参照画素として前記欠落画素の画素値を求め、該画素値の画素を前記入力画像内の前記欠落画素の位置に挿入した一次補間画像信号を生成する工程と、
前記一次補間画像信号を複数の周波数領域の周波数成分に分解する工程と、
分解により得た複数の周波数成分のうちの高周波成分を用いて、前記欠落画素の近傍領域が網点領域である度合いを示す網点度を求める工程と、
前記複数の周波数成分のうちの低周波成分を用いて前記画素値の補正値を算出する工程と、
前記一次補間画像信号のうちの前記欠落画素の画素値に前記補正値を前記網点度に応じて加算した信号を補間結果として出力する工程と
を有する
ことを特徴とする画素補間方法。
上記発明では、欠落画素を重み付け補間のみの補間処理で補間した場合に発生する網点領域でのモアレを、欠落画素の周辺領域が網点領域である度合いに応じて補正値で補正する。これにより、網点領域におけるモアレを低減することができる。また、網点領域である度合いに応じて補正するのでより適切に補正できる。非網点領域に対する補正を回避し、網点領域に限定して補正することができる。
［１４］欠落画素のある入力画像における前記欠落画素の周辺画素を参照画素として第１補間方法によって前記欠落画素の画素値を求め、該画素値の画素を前記入力画像内の前記欠落画素の位置に挿入した一次補間画像信号を生成する工程と、
前記欠落画素の周辺画素を参照画素とすると共に前記第１補間方法に比べて参照画素の参照範囲が狭い第２補間方法によって前記欠落画素の第２画素値を求め、該第２画素値の画素を前記入力画像内の前記欠落画素の位置に挿入した第２の一次補間画像信号を生成する工程と、
前記一次補間画像信号を複数の周波数領域の周波数成分に分解する工程と、
前記分解により得た複数の周波数成分のうちの高周波成分を用いて、前記欠落画素の近傍領域が網点領域である度合いを示す網点度を求める工程と、
前記複数の周波数成分のうちの低周波成分を用いて前記画素値の補正値を算出する工程と、
前記第２の一次補間画像信号のうちの前記欠落画素の部分を、前記画素値に前記補正値を加算した値と前記第２画素値とを前記網点度に応じた割合で合成した値に置き換えた信号を補間結果として出力する工程と、
を有する
ことを特徴とする画素補間方法。
上記発明では、低周波領域に適した重み付け補間処理を行って第２の一次補間画像信号を生成すると共に、高周波領域に適した重み付け補間処理を行って一次補間画像信号を生成する。この一次補間画像信号は、周波数分解し、網点領域の判別（網点度の導出）および補正値の算出に使用される。そして、第２の一次補間画像信号における補間値と、一次補間信号における補間値を補正値で補正した値とを、網点度に応じた割合で合成した値が、最終的な欠落画素の補間画素値として出力される。このように、高周波領域に適した（（網点領域に適した）重み付け補間処理で得た一次補間画像信号を補正値の算出に使用するので、低周波領域に適した（非網点領域に適した）重み付け補間処理で得た第２の一次補間画像信号を補正値の算出に使用する場合に比べて、補正量が少なくなる。すなわち、網点領域では網点領域により適した重み付け補間が行われるので少ない補正量でより適切な画素値に補正でき、かつまた非網点領域では非網点領域に適した補間が行われるので、良好な画質を得ることができる。
本発明の画素補間装置、画素補間方法および画像読取装置によれば、網点領域においても、欠落画素をより高精度に補間することができる。
本発明の第１の実施の形態に係わる画像読取装置が組み込まれたデジタル複合機の概略構成を示すブロック図である。 主走査方向、副走査方向とラインイメージセンサとの関係および複数のセンサチップによるラインイメージセンサの構成を示す説明図である。 画像補間処理部の基本構成を示すブロック図である。 ２段階に周波数分解を行う欠落画素補間処理部を示すブロック図である。 重み付け補間部が行う一次元フィルタを用いた欠落画素補間処理の処理内容を示す説明図である。 重み付け補間処理で使用される補間係数を例示した説明図である。 ２段階に分解する場合の周波数分解部の構成を示すブロック図である。 １段分の周波数分解部の内部構成を示すブロック図である。 図９は、図８に示す周波数分解部のハイパスフィルタおよびローパスフィルタのフィルタ係数の一例を示す説明図である。 第１周波数分解部および第２周波数分解部によって分解された各周波数成分の周波数帯域を模式的に示す説明図である。 補正値算出部が参照する参照画素の位置を例示した説明図である。 低周波数成分算出用の二次元フィルタのフィルタ係数を例示した説明図である。 補正値加算前の欠落画素の低周波数成分を図１２のフィルタ係数によって求める演算式、および補正値加算後の欠落画素の低周波数成分を図１２のフィルタ係数を求める演算式を示す説明図である。 網点抽出部の内部構成を示すブロック図である。 第１特定高周波成分強度抽出部の構成を示すブロック図である。 エッジ抽出部の構成を示すブロック図である。 網点係数算出部の構成を示すブロック図である。 第２の実施の形態に係る欠落画素補間処理部の構成を示すブロック図である。 補正値選択部による補正値の選択条件を示す選択表を示す説明図である。 第３の実施の形態に係る欠落画素補間処理部の構成を示すブロック図である。 第１重み付け補間部で使用する第１補間係数と、第２重み付け補間部で使用する第２補間係数の一例を示す説明図である。
以下、図面に基づき本発明の各種実施の形態を説明する。
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係わる画像読取装置の機能が組み込まれたデジタル複合機１０の概略構成を示すブロック図である。デジタル複合機１０は、原稿を光学的に読み取って得た画像の複製を記録紙上に形成して印刷出力するコピー機能や、読み取った原稿画像をファイルとして出力したり保存したりするスキャン機能、外部端末から受信した印刷データに基づいて用紙上に画像を形成して出力するプリント機能などを備えた装置である。
デジタル複合機１０は、原稿を光学的に読み取って画像データを取得するスキャナ部１１と、スキャナ部１１の有する密着型のラインイメージセンサ１２の出力するアナログ画像信号を入力し、これに対しＡ／Ｄ（analog to digital）変換やシェーディング補正などの処理を施す第１入力画像処理部１３と、第１入力画像処理部１３の出力する画像データに対して欠落画素を補間する欠落画素補間処理部３０と、欠落画素補間処理部３０の出力する補間後の画像データに対してガンマ補正などの画像処理を施す第２入力画像処理部１４と、画像メモリ１５に対するデータのリード・ライトなどを制御するメモリ制御部１６と、画像データの圧縮および伸張を行う圧縮／伸張器１８と、圧縮／伸張器１８で圧縮された画像データもしくは非圧縮の画像データを保存するハードディスク装置（ＨＤＤ）１９と、画像データに対してプリント出力のための各種画像処理を施す出力系画像処理部２１と、出力系画像処理部２１から出力される画像データに基づいて記録紙上に画像を形成してプリント出力するプリンタ部２２とを備えている。
さらにデジタル複合機１０はＰＣＩ（Peripheral Component Interconnect）バスなどで構成されたシステムバス２３を備えており、該システムバス２３に、当該デジタル複合機１０を統括制御する機能を果たすＣＰＵ（Central Processing Unit）２４と、ＣＰＵ２４が実行するプログラムや各種のデータを書き換え可能かつ不揮発に記憶するフラッシュメモリ２５と、ＣＰＵ２４がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用されるＲＡＭ（Random Access Memory）２６と、操作表示部２７と、ネットワークＩ／Ｆ部２８と、前述のメモリ制御部１６とが接続されている。
操作表示部２７は、表面にタッチパネルを備えた液晶ディスプレイと各種の操作スイッチから構成され、ユーザに各種の案内表示や状態表示を行ったり、ユーザから各種の操作を受け付けたりする機能を有している。
ネットワークＩ／Ｆ部２８は、ＬＡＮ（Local Area Network）などのネットワークと接続されて外部装置とデータの授受を行う機能を果たす。
スキャナ部１１は、図示省略の自動原稿送り装置によって読み取り対象の原稿を搬送し、その搬送経路の途中に配置された密着型のラインイメージセンサ１２を用いて、いわゆる流し読み方式で原稿画像を二次元に読み取る。
すなわち、図２に示すように、ラインイメージセンサ１２は、主走査方向（Ｘ）の１ライン分に対応する読み取り領域を備えており、原稿３の搬送方向は、主走査方向（Ｘ）に対して直行する副走査方向（Ｙ）にされており、原稿３がラインイメージセンサ１２の受光部上を通過する際にラインイメージセンサ１２によるライン単位の読み取り動作を繰り返し行うことで原稿３を２次元画像として読み取るようになっている。なお、原稿３とラインイメージセンサ１２とは副走査方向に相対移動すればよく、原稿３をプラテンガラス上に載置した状態でラインイメージセンサ１２を副走査方向に移動させるように構成されてもよい。
ラインイメージセンサ１２は、主走査方向の一次元に並ぶ複数画素分の読み取り領域を備えたセンサチップ１２ａを主走査方向に直列に複数配置して構成されている。センサチップ１２ａ同士の境界では、その境界を挟む両側の読み取り画素Ｐの間隔Ｌａは各センサチップ１２ａにおける画素ピッチＬｂより長く（Ｌｂのほぼ２倍）なっており、この境界部分において１画素分の欠落（この欠落した画素を欠落画素Ｋとする）が生じている。ここでは、ラインイメージセンサ１２は、６００ｄｐｉであり、７４８８画素（３１２画素×２４センサチップ）で構成され、１ライン中に２３個の欠落画素Ｋが生じている。Ｌｂは４２．３μｍ、Ｌａは８４．６μｍになっている。
図１に戻って説明を続ける。メモリ制御部１６は、第２入力画像処理部１４および画像メモリ１５、圧縮／伸張器１８、出力系画像処理部２１、システムバス２３の間でのデータの受け渡しを管理し制御する機能を備えている。詳細には、第２入力画像処理部１４から出力された画像データを入力する機能、画像メモリ１５に対してアドレス信号やタイミング信号などを与えて画像メモリ１５へのデータの書き込み及び読み出しを制御する機能、圧縮／伸張器１８との間でデータを授受する機能、画像メモリ１５に記憶されている画像データを出力系画像処理部２１に出力する機能、システムバス２３側と画像データや制御データを授受する機能などを果たす。
出力系画像処理部２１は、メモリ制御部１６からの画像データに対して、ガンマ変換、周波数変換、ＰＷＭ（Pulse Width Modulation）変換などの画像処理を施す機能およびプリンタ部２２からのタイミング信号に同期させて画像データを順次プリンタ部２２へ送出するタイミング制御機能などを果たす。
プリンタ部２２は、出力系画像処理部２１から入力された画像データに対応する画像を電子写真プロセスによって記録紙上に形成して出力する。プリンタ部２２は、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有する、いわゆるレーザープリンタとして構成されている。他の方式のプリンタであってもかまわない。
デジタル複合機１０において、たとえば、原稿を複写するコピージョブを実行する場合、読取動作と出力動作が行われる。読取動作では、スキャナ部１１で原稿を読み取り、その読み取って得た画像データに対して第１入力画像処理部１３でシェーディング補正を行い、欠落画素補間処理部３０で欠落画素Ｋの補間を行い、補間後の画像データを第２入力画像処理部１４で処理し、圧縮／伸張器１８で圧縮した後、あるいは非圧縮のまま、画像メモリ１５またはハードディスク装置１９に記憶する。
出力動作では、記憶された画像データを画像メモリ１５またはハードディスク装置１９から順次読み出し、非圧縮の場合はそのまま、圧縮されている場合は圧縮／伸張器１８で伸張した後、出力系画像処理部２１で処理した画像データをプリンタ部２２に出力し、該プリンタ部２２は該画像データに対応する画像を記録紙に形成して印刷出力するようになっている。
図３は、ラインイメージセンサ１２の読み取り画像に含まれる欠落画素を補間する欠落画素補間処理部３０の基本構成を示している。欠落画素補間処理部３０は、欠落画素インデクス生成部３１と、重み付け補間部３２と、周波数分解部３３と、補正値算出部３４と、網点抽出部３５と、網点係数選択部３６と、補正部３７とを備えて構成される。
欠落画素インデクス生成部３１は、欠落画素の画素位置を示す欠落画素インデクス信号４２を出力する。欠落画素インデクス生成部３１には、画素単位の入力周期を示す図示省略のクロック信号と、このクロック信号に同期して順次入力される画像データのライン単位の基準位置（たとえば、先頭画素の位置）を示す水平同期信号４１が入力される。欠落画素インデクス生成部３１は、水平同期信号４１を基準に１ラインの先頭画素からの画素数をクロック信号に基づいてカウントし、予め定めた欠落画素の画素位置においてのみ有効となる欠落画素インデクス信号４２を出力する。
重み付け補間部３２には、スキャナ部１１のラインイメージセンサ１２で読み取って得た入力画像信号（水平同期信号４１およびクロック信号に同期して先頭画素から画素毎に順に入力される画像データ）４３と、欠落画素インデクス信号４２が入力される。重み付け補間部３２は、欠落画素の周辺画素（たとえば、欠落画素と主走査方向の同一ライン内で欠落画素の隣接する左右の画素）を参照画素として、重み付け補間により、欠落画素を補間する。すなわち、左右の参照画素から欠落画素の画素値（重み付け補間値）を求め、該画素値を有する１画素分の画像データを、入力画像信号４３内の当該欠落画素の位置に挿入した一次補間画像信号４４を生成し出力する。
周波数分解部３３は、重み付け補間部３２から一次補間画像信号４４を入力し、これを複数の周波数領域の周波数成分に分解する。図３では、高周波成分４５Ｈと低周波成分４５Ｌに分解する。
補正値算出部３４は、欠落画素インデクス信号４２と周波数分解部３３が出力する低周波成分４５Ｌとを入力し、重み付け補間部３２が挿入した欠落画素の画素値に対する補正値４６を低周波成分４５Ｌに基づいて算出する。補正値算出部３４は、低周波成分を利用することで、欠落画素周辺の比較的広い領域の平均的な画素値を補正値として算出する。
網点抽出部３５は、周波数分解部３３が出力する高周波成分４５Ｈを入力し、この高周波成分４５Ｈに係る画素の存在領域が網点領域である度合いを示す網点係数４７を導出する。網点抽出部３５は、１つの着目画素に対して、参照画素を替えた複数の網点係数４７を出力する。ここでは、網点係数４７は、０〜１の範囲の数値であり、網点領域である度合いが高いほど１に近い値である。なお、網点とは、印刷物において濃淡を表現するために用いられるドット（画素）の集合または個々のドットのことをいう。画素の間隔や所定数の画素の配列パターンにより濃淡が表わされる。
網点係数選択部３６には、欠落画素インデクス信号４２と網点抽出部３５で求めた網点係数４７とが入力される。網点係数選択部３６は、欠落画素に関して網点抽出部３５から入力される複数の網点係数４７の中から最適なものを選択し、これを補正係数４８として出力する。
補正部３７には、重み付け補間部３２から一次補間画像信号４４が入力され、補正値算出部３４から補正値４６が入力され、網点係数選択部３６から補正係数４８が入力される。また欠落画素インデクス信号４２も入力される。補正部３７は、一次補間画像信号４４の中の欠落画素の画素値を補正係数４８に応じた割合で補正値４６によって補正した信号を、補間結果である出力画像信号４９として出力する。詳細には、欠落画素について、補正値４６と補正係数４８とを乗算し、その乗算結果を、一次補間画像信号４４の中の欠落画素の画素値に加算する処理を行う。
欠落画素が網点領域らしい領域に存在するほど補正係数４８は「１」に近づくので、欠落画素が網点領域らしい領域に存在するほど一次補間画像信号４４の中の欠落画素の画素値が補正値４６によって補正される割合は高まる。一方、欠落画素が非網点領域にあればあるほど補正値４６に補正係数４８を乗じた値は「０」に近づくので、一次補間画像信号４４の中の欠落画素の画素値が補正値４６によって補正される割合は小さくなる。このように、欠落画素補間処理部３０は、重み付け補間部３２で一次補間（重み付け補間）によって求めた欠落画素の画素値を、その欠落画素の存在する領域が網点領域である度合いに応じて補正値で補正する。
たとえば、欠落画素が、線数の高い網点領域にあると、欠落画素の位置は白画素でその左右の画素が黒画素のような網点パターンになることがある。この場合、欠落画素の左右の画素は黒画素なので、重み付け補間では欠落画素が黒画素として補間される。これでは実際の画素の色（白）と補間値(黒)との誤差が大きい。そこで、欠落画素が網点領域、特に線数の高い網点領域にある場合は、重み付け補間による補間値を補正する。
ここで、網点領域は、複数の画素によって中間調を表わしている領域なので、ある程度広い領域を単位に、欠落画素を含む領域の濃度と欠落画素近傍の領域の濃度とが一致するように、重み付け補間による補間値を補正する。これにより、自然なつながりで欠落画素が補間されることになる。
以下、欠落画素補間処理部３０の各部の動作を図４の構成の欠落画素補間処理部３０Ｂに基づいて説明する。図４では、図３と同一部分には同一の符号を付してある。図４の欠落画素補間処理部３０ｂでは、周波数分解を２段階に行うようになっている。その他は図３に示す欠落画素補間処理部３０と同一である。
詳細には、欠落画素補間処理部３０Ｂは、周波数分解部３３として、第１周波数分解部３３Ａと第２周波数分解部３３Ｂを有している。第１周波数分解部３３Ａは、一次補間画像信号４４を第１高周波成分５１と第１低周波成分５２に分解し、第２周波数分解部３３Ｂは第１周波数分解部３３Ａが出力する第１低周波成分５２をさらに高周波成分と低周波成分に分解した第２高周波成分５３と第２低周波成分５４を出力する。補正値算出部３４には図３の低周波成分４５Ｌとして第２低周波成分５４が入力され、網点抽出部３５には図３の高周波成分４５Ｈとして第１高周波成分５１と第２高周波成分５３が入力される。
＜重み付け補間部３２＞
重み付け補間部３２は、欠落画素を中心としたフィルタ演算を行い、その演算結果として得た画素値（重み付け補間値）を、入力画像信号４３の中の当該欠落画素の部分へ挿入する。フィルタ演算は一次元（主走査方向）の画像データに対して行われる。図５（ａ）に示すように、入力画像信号４３においてはセンサチップ１２ａのｎ番目とｎ＋１番目の繋ぎ目でも画像データは連続している。重み付け補間部３２は、図５（ｂ）のように、この繋ぎ目部分に欠落画素を挿入し、該挿入した欠落画素を着目画素Ｊ、その周辺画素を参照画素として、着目画素Ｊの画素値をフィルタ演算によって求める。フィルタ演算で使用する補間係数のうち着目画素Ｊに適用する補間係数の値は０にする。これは、着目画素Ｊは欠落画素であって該画素の画像データが存在しないことによる。
欠落画素の画素値（dout）は、欠落画素近傍の画素の画像データと補間係数との畳み込み演算によって導出する。図５のフィルタ係数を使用する場合の畳み込み演算の演算式は以下のようになる。
Figure 0004803288
 ここで、ｄ（）はその画素の画素値、Ｋ（）は対応する画素の画素値に乗じる補間係数である。（）内の値は、着目画素を０とした場合の各画素の座標位置を示す。ｄ（０）は欠落画素なのでＫ（０）は０になっている。
図６は、補間係数の例を示している。この場合、着目画素の前後の１画素ずつの画素値の平均値が欠落画素（着目画素Ｊ）の画素値（補間データ）として算出される。
＜周波数分解部３３＞
周波数分解部３３は、重み付け補間部３２が生成した一次補間画像信号４４を、ウェーブレット変換を用いて２次元的に高周波成分と低周波成分に、段階的に分解する。図７は２段階に分解する場合であり、図４の第１周波数分解部３３Ａ、第２周波数分解部３３Ｂから出力される信号をより詳細に示したものである。
第１周波数分解部３３Ａは、高周波成分については水平成分と垂直成分に分けて第１高周波成分（水平成分）５１Ｈと第１高周波成分（垂直成分）５１Ｖを出力し、低周波成分については垂直成分と水平成分に分けずにこれら双方を含む第１低周波成分５２を出力する。同様に第２周波数分解部３３Ｂは、高周波成分にいては水平成分と垂直成分に分けて第２高周波成分（水平成分）５３Ｈと第２高周波成分（垂直成分）５３Ｖを出力し、低周波成分については垂直成分と水平成分に分けずにこれら双方を含む第２低周波成分５４を出力する。
図８は、１段分の周波数分解部３３の内部構成として、第１周波数分解部３３Ａの内部構成を示している。入力信号を水平方向のハイパスフィルタ（ＨＰＦ）６１に通した後、これに補正係数γ´を乗じたものが第１高周波成分（水平成分）５１Ｈとして出力される。また入力信号を垂直方向のハイパスフィルタ６２に通した後、これに定係数γ´を乗じたものが第１高周波成分（垂直成分）５１Ｖとして出力される。入力信号を水平方向のローパスフィルタ（ＬＰＦ）６３と垂直方向のローパスフィルタ６４に通したものが第１低周波成分５２として出力される。定係数γ´は一般に、０．６６６７などにされる。第２周波数分解部３３Ｂも図８と同様の構成である。ただし、第２周波数分解部３３Ｂでは定係数γ´は一般に０．８９２９などにされる。
図９は、図８のハイパスフィルタ６１、６２、およびローパスフィルタ６３、６４におけるフィルタ係数の一例を示すフィルタ係数表７０である。フィルタ係数表７０における対応画素座標は、水平方向のローパスフィルタ（ＬＰＦ）およびハイパスフィルタ（ＨＰＦ）では、着目画素を０として水平方向の画素座標を示している。また、垂直方向のローパスフィルタ（ＬＰＦ）およびハイパスフィルタ（ＨＰＦ）では、着目画素を０として垂直方向の画素座標を示している。
図１０は、第１周波数分解部３３Ａおよび第２周波数分解部３３Ｂによって分解された周波数成分の周波数帯域を模式的に示している。第２低周波成分５４は、周波数分解された中の最低周波数成分である。第２低周波成分５４は第１低周波成分５２を高周波成分と低周波成分に分解したものであるから、第１低周波成分５２も、周波数分解された中の最低周波数成分を含んでいる。第１高周波成分５１と第２高周波成分５３は、最低周波数成分を含まない周波数成分となっている。
＜補正値算出部３４＞
補正値算出部３４は、第１低周波成分５２または第２低周波成分５４を使用して補正値を算出する。以下、第１低周波成分５２を使用する場合を例に説明する。図１１に示すように、欠落画素Ｋから左右に所定の複数画素数だけ離れた画素を参照画素Ｒとし、これら左右の参照画素Ｒの低周波成分の平均値と、欠落画素Ｋにおける低周波成分とが等しくなるように、欠落画素Ｋの補正値を算出する。
ここで、補正値をＤＰＲ、右側の参照画素の低周波成分をｓ１ｒ、左側の参照画素の低周波成分をｓ１ｌ、欠落画素の低周波成分をｓ１ｍ、ｄｉｆｆを参照画素と欠落画素の低周波成分の差分、とすると、
ｄｉｆｆ＝（ｓ１ｒ＋ｓ１ｌ）／２−ｓ１ｍ (式２)
と表わされる。このｄｉｆｆが０になるように補正値を算出する。
着目ラインでの欠落画素に対する補正値（補間画素の一次補間画像データに加算する値）をｄｐｒとし、周辺ラインでも同様に欠落画素がｄｐｒで補正されるものとする。低周波成分を抽出するためのフィルタ係数を、たとえば、図１２に示す二次元のフィルタ係数とすると、補正前の欠落画素における低周波成分ｓ１ｍは図１３（ａ）に示す演算により求まる。着目ラインおよび周辺ラインの欠落画素に同一の補正値ｄｐｒを加えた場合における欠落画素の低周波成分は、図１３（ｂ）に示すように、ｓ１ｍ＋（（３／６４）ｄｐｒ＋（９／６４）ｄｐｒ＋（９／６４）ｄｐｒ＋（３／６４）ｄｐｒ）＝ｓ１ｍ＋（３／８）ｄｐｒとなる。
左右の参照画素の低周波成分の平均値と、補正後の欠落画素における低周波成分とが等しく（上記式２でｄｉｆｆ＝０）なればよいので、
ｓ１ｍ＋（３／８）ｄｐｒ＝（ｓ１ｒ＋ｓ１ｌ）／２ が成立すればよく、
ｄｐｒ＝（４／３）（ｓ１ｒ＋ｓ１ｌ−２×ｓ１ｍ） となる。補正値算出部３４はかかる演算により補正値ｄｐｒを算出する。
＜網点抽出部３５＞
図１４は網点抽出部３５の内部構成を示している。網点抽出部３５は、エッジ抽出部８１と、第１特定高周波成分強度抽出部８２と、第２特定高周波成分強度抽出部８３と、網点係数算出部８４とを備えて構成される。
エッジ抽出部８１は第２高周波成分（水平成分）５３Ｈと第２高周波成分（垂直成分）５３Ｖを入力し、これらから着目画素がエッジ領域である度合いを示すエッジ抽出値８５を算出する。
第１特定高周波成分強度抽出部８２は、第１高周波成分（水平成分）５１Ｈと第１高周波成分（垂直成分）５１Ｖを入力し、これらから、着目画素における第１高周波成分の強度（第１特定高周波成分強度８６）を算出する。
第２特定高周波成分強度抽出部８３は、第２高周波成分（水平成分）５３Ｈと第２高周波成分（垂直成分）５３Ｖを入力し、これらから着目画素における第２高周波成分の強度（第２特定高周波成分強度８７）を算出する。
網点係数算出部８４は、エッジ抽出部８１からエッジ抽出値８５を、第１特定高周波成分強度抽出部８２から第１特定高周波成分強度８６を、第２特定高周波成分強度抽出部８３から第２特定高周波成分強度８７をそれぞれ入力し、これらから着目画素が網点領域に存在する度合いを示す網点係数４７を算出して出力する。
網点領域は、網点パターンに応じて画素値が短い周期で変化するので、高周波成分の強度が大きくなる。また、線などのエッジ領域でも画素値が急に変化するので高周波成分の強度は大きい。そこで、網点抽出部３５では、高周波成分の強度からエッジ抽出値を減算した結果を、網点係数４７として導出するようになっている。
図１５は、第１特定高周波成分強度抽出部８２の構成を示している。第１特定高周波成分強度抽出部８２は、第１高周波成分（水平成分）５１Ｈと第１高周波成分（垂直成分）５１Ｖの二乗平均をとって強度を算出する強度算出部８２ａと、強度算出部８２ａの出力する強度を周辺４×４画素で平均化する４×４平均化部８２ｂを有する。そして、４×４平均化部８２ｂの出力を第１特定高周波成分強度８６として出力する。第１特定高周波成分強度抽出部８２では、第１高周波成分（水平成分）５１Ｈと第１高周波成分（垂直成分）５１Ｖの二乗平均をとって強度を算出した後、これを周辺４×４画素で平均化した値を第１特定高周波成分強度８６として出力する。
第１特定高周波成分強度抽出部８２での演算内容は以下の式で表わされる。
Figure 0004803288
 ここで、ｗｈ１は第１高周波成分（水平成分）５１Ｈ、ｗｖ１は第１高周波成分（垂直成分）５１Ｖである。また、ｗａｖｅ１（ｘ，ｙ）は座標（ｘ，ｙ）における第１特定高周波成分強度８６である。第２特定高周波成分強度抽出部８３の内部構成は第１特定高周波成分強度抽出部８２と同様であり、その説明は省略する。
図１６は、エッジ抽出部８１の構成を示している。エッジ抽出部８１は、第２高周波成分（水平成分）５３Ｈを周辺４×４画素で平均化する４×４平均化部８１ａと、第２高周波成分（垂直成分）５３Ｖを周辺４×４画素で平均化する４×４平均化部８１ｂと、４×４平均化部８１ａの出力と４×４平均化部８１ｂの出力の二乗平均をとる強度算出部８１ｃを備えている。そして、強度算出部８１ｃの出力をエッジ抽出値８５として出力する。エッジ抽出部８１では、第２高周波成分（水平成分）５３Ｈと第２高周波成分（垂直成分）５３Ｖとを独立にそれぞれ４×４画素で平均化し、その後に二乗平均をとることでエッジ抽出値８５を算出する。
エッジ抽出部８１での演算内容は以下の式で表わされる。
Figure 0004803288
 ここで、ｗｈ２（ｘ，ｙ）は座標（ｘ，ｙ）における第２高周波成分（水平成分）５３Ｈ、ｗｖ２（ｘ，ｙ）は座標（ｘ，ｙ）における第２高周波成分（垂直成分）５３Ｖ、ｄｅｅ（ｘ，ｙ）は座標（ｘ，ｙ）におけるエッジ抽出値８５である。
ウェーブレット変換によって周波数分解を行うと、周波数成分別の信号値は、画素値が正の傾きで変化（たとえば、白から黒へ変化）している部分では正の値になり、画素値が負の傾きで変化（たとえば、黒から白へ変化）している部分では負の値になる。網点領域は、画素値の変化が短い周期で周期的に生じているので、高周波成分を平均化すると「０」に近い値になる。すなわち、網点領域では、高周波成分の値は周期的に変化し連続性が低いので、平均化した値は低い値になる。
一方、輪郭などのエッジ領域では、たとえば、白から黒に変化した後は黒の領域がある程度継続する。すなわち、画素値の変化は周期的に繰り返すのではなく、単発的に生じ、変化後しばらくは同程度の画素値が連続する。したがって、高周波成分は、単発的に変化したエッジ部分では正または負の値となり、変化後しばらくは０に近い値が連続する。このため４×４画素ほどの領域で高周波成分を平均化すると、エッジ領域では正または負のいずれかの値が現れる。したがって、エッジ抽出値８５は網点領域ではほぼ０になり、エッジ領域ではある程度の値になる。なお、エッジ抽出部８１では、周期性の有無を的確に検査するため、水平成分と垂直成分とを別々に平均化し、その後、二乗平均を取っている。
エッジ抽出部８１の入力は第２高周波成分（水平成分）５３Ｈとすることが望ましい。これは、以下の理由による。エッジ領域は、単発的な変化であるため広い周波数帯域に渡って周波数成分を有しており、低い周波数成分も含まれる。したがって、中程度の周波数成分である第２高周波成分（水平成分）５３Ｈは、低い周波数成分を多く含むエッジ領域では高い値を示す。一方、重み付け補間部３２での補間によって筋状のモアレが発生するような一定以上の線数を持つ網点領域では、線数が大きくなるほど、低い周波数成分を含まなくなり、第２高周波成分（水平成分）５３Ｈは低い値を示す。そのため、第１高周波成分（水平成分）５１Ｈを使用する場合に比べて第２高周波成分（水平成分）５３Ｈを使用することで、４×４画素で平均化した後の値についてもエッジ領域では高い値に、網点領域では低い値にそれぞれなり易く、エッジ抽出値８５の差が顕著に現れる。
図１７は、網点係数算出部８４の構成を示している。前述したように、高周波成分は網点領域とエッジ領域の双方に現れるので、第１特定高周波成分強度８６は、一定以上の周波数成分を持つ網点領域に加えてエッジ領域でも大きな値を示す。そこで、網点係数算出部８４は、第１特定高周波成分強度８６からエッジ領域を除外することを行う。
網点係数算出部８４は、エッジ減算部９１と、規格化選択部９２と、規格化部９３とを備えている。エッジ減算部９１は、エッジ抽出値８５と第１特定高周波成分強度８６を入力し、第１特定高周波成分強度８６に網点強調係数ＳＡを乗じた値から、エッジ抽出値８５にエッジ除去係数ＥＡを乗じた値を減算した値を、規格化前網点係数９４として出力する。
網点強調係数ＳＡを大きくするとエッジを余り除去しない特性となり、エッジ除去係数ＥＡを大きくするとエッジをあまり含まない特性となる。補正対象にエッジ領域を含ませたくない場合はエッジ除去係数ＥＡを大きくし、網点領域での補正漏れを生じさせたくない場合は網点強調係数ＳＡを大きくすればよい。
規格化選択部９２は、エッジ減算部９１が出力する規格化前網点係数９４を規格化するための代表値を算出する。規格化選択部９２では第１特定高周波成分強度８６と第２特定高周波成分強度８７を比較し、その大きい方を代表値９５として出力する。
規格化部９３は、規格化前網点係数９４を代表値９５で除算して得た値を網点係数４７として出力する。
規格化前網点係数９４の値は、網点の振幅に依存しており、振幅が高いほど大きな値を示す。この振幅依存性をキャンセルするために第１特定高周波成分強度８６と第２特定高周波成分強度８７の大きい方で規格化する。第１特定高周波成分強度８６が第２特定高周波成分強度８７より大きい場合は、網点係数算出部８４での演算内容が（（第１特定高周波成分強度８６−エッジ抽出値８５）÷第１特定高周波成分強度８６））となる。したがって、エッジ抽出値８５がほぼ０となる非エッジ領域では、規格化部９３の出力値（網点係数４７）は１に近づく（エッジ抽出値８５が０の場合は１になる）。
一方、第２特定高周波成分強度８７が第１特定高周波成分強度８６より大きい場合は、網点係数算出部８４での演算内容が（（第１特定高周波成分強度８６−エッジ抽出値８５）÷第２特定高周波成分強度８７））となるので、非エッジ領域では、規格化部９３の出力値（網点係数４７）は０に近づく。
重み付け補間部３２での重み付け補間で筋状のモアレが発生するような一定以上の線数を持つ網点領域では、第２特定高周波成分強度８７に比較して第１特定高周波成分強度８６が大きくなるため、網点係数は１となる。一方、線数が低くなるにつれて第２特定高周波成分強度８７が大きくなる傾向にあり、第１特定高周波成分強度８６より大きくなると網点係数は次第に０に近づく。
欠落画素補間処理部３０では、重み付け補間部３２での重み付け補間で筋状のモアレが発生するような一定以上の線数を持つ網点領域に欠落画素がある場合に、重み付け補間で決定された欠落画素の画素値を補正し、それ以外の領域では補正しないようにすることを狙っている。また欠落画素補間処理部３０では、網点係数が１に近いほど補正値による補正が行われるので、規格化前網点係数９４を、第１特定高周波成分強度８６と第２特定高周波成分強度８７のうちの大きい方で除して規格化することにより、上記目的に合致した網点係数４７が取得される。
なお、線数の少ない網点領域やエッジ領域などでは、第２特定高周波成分強度８７が第１特定高周波成分強度８６より大きくなるが、この場合に、小さい方の第１特定高周波成分強度８６で規格化すると、好ましくない結果になる。すなわち、小さい方を選択すると、網点係数算出部８４での演算内容が（（第１特定高周波成分強度８６−エッジ抽出値８５）÷第１特定高周波成分強度８６））となるため、その演算結果である網点係数４７の値が１（最大１とする）になり、補正値での補正対象になってしまう。このため、線数の少ない網点領域やエッジ領域などにある欠落画素が補正値で補正されてしまい、上記目的に反する動作になる。
＜網点係数選択部３６＞
網点抽出部３５は、欠落画素の左右周辺を参照画素として、欠落画素の存在する領域が網点領域である度合いを示す網点係数４７を算出する。また網点抽出部３５は、参照画素を替えて複数の網点係数を算出する。網点係数選択部３６は、それら算出された複数の網点係数の中で最小のものを補正係数４８として選択出力する。
参照画素は、欠落画素より左右それぞれ３画素および４画素の距離にある画素とする。これ以上欠落画素に近接すると，網点係数算出のための参照領域（ＬＰＦ、ＨＰＦの演算範囲内）に欠落画素が含まれてしまい、重み付け補間部３２による重み付け補間結果（欠落画素に関する補正前の補間値）の影響を受けてしまう。一方、これ以上欠落画素から距離を置くと、欠落画素の存在する領域との関連性が低下し、無関係な非網点領域を参照する可能性が高まる。したがって、網点係数算出のための参照領域に欠落画素が含まれない条件下で、欠落画素にできるだけ近い画素を参照画素に選択する。
左右とも欠落画素からの距離が異なる２画素ずつ（３画素目と４画素目）を参照画素に設定するのは以下の理由による。隣接エッジ間においては、エッジ抽出値の相殺により、非網点領域における網点係数が大きな値を示す場合があり、誤補正の原因となる。たとえば、黒の線が２本近接している部分では、黒→白→黒のように画素値が変化する。前述したように、ウェーブレット変換によって周波数分解を行うと、周波数成分別の信号値は、画素値が正の傾きで変化（たとえば、白から黒へ変化）している部分では正の値になり、画素値が負の傾きで変化（たとえば、黒から白へ変化）している部分では負の値になる。このため、隣接エッジで黒→白→黒のように画素値が変化すると正と負が相殺されて、エッジ抽出値が０になる特異点が生じる場合がある。この特異点を参照画素とした場合、隣接エッジの境界（非網点領域）にもかかわらず網点係数が大きな値となって誤補正が生じてしまう。
エッジ抽出値の相殺が生じる特異点は１画素単独で発生するため、隣接する２画素を参照画素とすることにより、このような誤補正を防止することができる。
＜補正部３７＞
補正部３７は、図３、４に示すように、補正値算出部３４から入力された補正値４６に網点係数選択部３６から入力された補正係数４８を乗算する乗算器３７ａと、乗算器３７ａの出力を欠落画素インデクス信号４２が有効となる期間のみ後段に出力するゲート３７ｂと、ゲート３７ｂの出力と重み付け補間部３２から入力される一次補間画像信号４４とを加算する加算器３７ｃとを備え、加算器３７ｃの出力を補間結果の出力画像信号４９として出力する。
ゲート３７ｂは、欠落画素インデクス信号４２が有効となる期間以外は後段の加算器３７ｃへ「０」を出力する。
以上の構成により、欠落画素補間処理部３０は、欠落画素以外の部分では入力画像信号４３を出力画像信号４９として出力し、欠落画素の部分では、重み付け補間部３２によって生成された重み付け補間値に、網点度（補正係数４８）に応じた割合で補正値４６を加算した値を、出力画像信号４９として出力するように動作する。
これにより、網点領域においても、欠落画素を高精度に補間することができる。また、重み付け補間部３２で一次補間を行った一次補間画像信号４４を周波数分解し、その低周波成分を用いて補正値４６を算出し、高周波成分を用いて網点領域である度合い（網点係数４７）を算出するので、回路構成や処理の複雑化を少なくして、補正値４６や網点係数４７を求めることができる。さらに、網点度（網点係数４７）が０から１の範囲を取り得るようにし、補正値４６による補正を網点度に応じた割合で行うようにしたので、補正値４６で補正するかしないかという２者択一の補正を行う場合に比べて、より高精度な補間を行うことができる。
次に、第２の実施の形態について説明する。
図１８は、第２の実施の形態に係る欠落画素補間処理部３０Ｃの構成を示している。欠落画素補間処理部３０Ｃでは、補正値を２種類求め、そのいずれかを選択して使用するようになっている。図４の欠落画素補間処理部３０Ｂと同一部分には同一の符号を付してあり、それらの説明は省略する。
欠落画素補間処理部３０Ｃは、第１低周波成分５２を入力し、該第１低周波成分５２に基づいて第１補正値４６Ａを算出する第１補正値算出部３４Ａと、第２低周波成分５４を入力し、該第２低周波成分５４に基づいて第２補正値４６Ｂを算出する第２補正値算出部３４Ｂと、第１高周波成分５１と第２高周波成分５３を入力し、これらに基づいて第１補正値４６Ａと第２補正値４６Ｂのいずれを選択すべきかを示す選択信号１０１を出力する補正値選択部３８と、選択信号１０１に基づいて第１補正値４６Ａと第２補正値４６Ｂのいずれかを選択して補正部３７へ補正値４６として出力する選択部３９とを備えている。
第１低周波成分５２を使用する第１補正値算出部３４Ａが算出する第１補正値４６Ａは、より高周波成分を持つ領域（高線数の網点領域）にて効果が大きい。第２低周波成分５４を使用する第２補正値算出部３４Ｂが算出する第２補正値４６Ｂは中程度の周波数成分を持つ領域にて効果が大きい。そこで、補正値選択部３８は、補正値４６として第１補正値４６Ａと第２補正値４６Ｂのいずれを採用すべきかを周波数成分に応じて選択する。
詳細には、下記式にしたがって、規格化高周波成分ＮＷを算出し、規格化高周波成分ＮＷの大きさに基づき図１９の選択表１１０に従って選択信号１０１を決定する。
ＷＡ１＜ＷＴＨかつＷＡ２＜ＷＴＨの場合、ＮＷ＝０
それ以外は、ＮＷ＝ＷＡ２／ｍａｘ（ＷＡ１，ＷＡ２）
ここで、ＷＡ１は第１高周波成分５１を２ｘ２画素で平均化したもの、ＷＡ２は第２高周波成分５３を２ｘ２画素で平均化したもの、ｍａｘ（Ａ，Ｂ）はＡとＢのうちの大きいもの、ＷＴＨは定数、とする。選択表１１０におけるＲＴＨは補正値選択閾値であり、定数である。
このように第２の実施の形態に係る欠落画素補間処理部３０Ｃでは、網点領域の周波数成分（線数）に適した補正値を選択するので、より適切に重み付け補間値を補正して欠落画素を高精度に補間することができる。
次に、第３の実施の形態について説明する。
図２０は、第３の実施の形態に係る欠落画素補間処理部３０Ｄの構成を示している。図１８に示す欠落画素補間処理部３０Ｃと同一構成の部分には同一の符号を付してあり、それらの説明は省略する。
欠落画素補間処理部３０Ｄでは、重み付け補間部として、第１重み付け補間部１２１と第２重み付け補間部１２２とを備えている。第１重み付け補間部１２１は、網点領域用の一次補間画像信号４４Ａを生成し、第２重み付け補間部１２２は非網点領域用の一次補間画像信号４４Ｂを生成する。一次補間画像信号４４Ａは、第１、第２の実施の形態の一次補間画像信号４４と同様に第１周波数分解部３３Ａに入力されて補正値の算出に使用される。
欠落画素補間処理部３０Ｄは、図１８の補正部３７に代えて補正部１３０を備えている。補正部１３０は、一次補間画像信号４４Ａと選択部３９の出力する補正値が入力されてこれらを加算する第１加算器１３１と、第１加算器１３１の出力と網点係数選択部３６が出力する補正係数４８とが入力されてこれらを乗算する第１乗算器１３３と、補正係数４８を反転する（１から減算する）網点係数反転部１３２と、一次補間画像信号４４Ｂと網点係数反転部１３２の出力とを乗算する第２乗算器１３４と、第１乗算器１３３の出力と第２乗算器１３４の出力とを加算する第２加算器１３５と、第２加算器１３５の出力と一次補間画像信号４４Ｂと欠落画素インデクス信号４２とを入力し、欠落画素インデクス信号４２が有効のときは第２加算器１３５の出力を選択し、欠落画素インデクス信号４２が無効のときは一次補間画像信号４４Ｂを選択し出力画像信号４９として出力する出力選択部１３６とを備えている。
補正部１３０は、欠落画素以外（欠落画素インデクス信号４２が無効）の部分では第２重み付け補間部１２２からの一次補間画像信号４４Ｂを選択し、これを出力画像信号４９として出力する。欠落画素（欠落画素インデクス信号４２が有効）の部分では、一次補間画像信号４４Ａの値に補正値を加算した値と一次補間画像信号４４Ｂの値とを、補正係数４８に応じた割合で合成したものを出力画像信号４９として出力する。詳細には、一次補間画像信号４４Ａに第１加算器１３１で補正値を加算した値に第１乗算器１３３で補正係数４８を乗じた値と、網点係数反転部１３２で補正係数４８を反転させた値（１−補正係数４８）と一次補間画像信号４４Ｂとを第２乗算器１３４で乗じた値とを第２加算器１３５で加算した値を、出力画像信号４９として出力する。
第１重み付け補間部１２１の補間係数には高周波領域を保存する特性を持ったものを使用する。これにより、網点領域にて補間性能が改善され、補正値による補正量を少なくすることができる。第２重み付け補間部１２２の補間係数は、線画や自然画など非網点領域で良好な補間が行われるものを選択する。たとえば、線形補間を使用する。これにより、画像の連続性が維持され、非網点領域にて画像が改善される。
欠落画素補間処理部３０Ｄは、網点領域では、網点領域用の補間係数を使用して補間された一次補間画像信号４４Ａを補正値で補正した画素値をより高い割合で合成して使用し、非網点領域では非網点領域に適した補間係数を使用して補間された一次補間画像信号４４Ｂをより高い割合で合成して使用するので、欠落画素の補間をさらに高精度に行うことができる。
図２１は、第１重み付け補間部１２１で使用する第１補間係数１４１と、第２重み付け補間部１２２で使用する第２補間係数１４２の一例を示している。第２補間係数１４２は欠落画素（着目画素Ｊ）に隣接する左右の１画素ずつを参照画素とし、第１補間係数１４１は欠落画素（着目画素Ｊ）に隣接する左右の５画素ずつを参照画素としたものである。すなわち、第２補間係数１４２は第１補間係数１４１に比べて参照画素の参照範囲が狭い補間係数となっている。
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
図４、図１８、図２０では、周波数を２段階に分解する例を示したが、周波数分解は１段階のみであってもかまわない。周波数分解を１段階にする場合には、規格化前網点係数９４の規格化は、たとえば、入力画像信号４３から実際の画像における振幅を検出し、その検出した振幅で規格化を行うようにすればよい。
また、高周波成分と低周波成分へ分解する場合の境界となる周波数は、適宜に設定すればよい。モアレなどが発生する網点領域の線数に応じて設定することが好ましい。すなわち、モアレなどが発生する線数の網点領域では高周波成分の強度が低周波成分の強度より強くなり、モアレなどが発生しない線数の網点領域では低周波成分の強度が高周波成分の強度より強くなるように、高周波成分と低周波成分に分かれるように周波数分解することが好ましい。
３…原稿
１０…デジタル複合機
１１…スキャナ部
１２…ラインイメージセンサ
１２ａ…センサチップ
１３…第１入力画像処理部
１４…第２入力画像処理部
１５…画像メモリ
１６…メモリ制御部
１８…圧縮／伸張器
１９…ハードディスク装置
２１…出力系画像処理部
２２…プリンタ部
２３…システムバス
２４…ＣＰＵ
２５…フラッシュメモリ
２６…ＲＡＭ
２７…操作表示部
２８…ネットワークＩ／Ｆ部
３０、３０Ｂ〜３０Ｄ…欠落画素補間処理部
３１…欠落画素インデクス生成部
３２…重み付け補間部
３３…周波数分解部
３３Ａ…第１周波数分解部
３３Ｂ…第２周波数分解部
３４…補正値算出部
３４Ａ…第１補正値算出部
３４Ｂ…第２補正値算出部
３５…網点抽出部
３６…網点係数選択部
３７…補正部
３７ａ…乗算器
３７ｂ…ゲート
３７ｃ…加算器
３８…補正値選択部
３９…選択部
４１…水平同期信号
４２…欠落画素インデクス信号
４３…入力画像信号
４４、４４Ａ、４４Ｂ…一次補間画像信号
４５Ｈ…高周波成分
４５Ｌ…低周波成分
４６…補正値
４６Ａ…第１補正値
４６Ｂ…第２補正値
４７…網点係数
４８…補正係数
４９…出力画像信号
５１…第１高周波成分
５１Ｈ…第１高周波成分（水平成分）
５１Ｖ…第１高周波成分（垂直成分）
５２…第１低周波成分
５３…第２高周波成分
５３Ｈ…第２高周波成分（水平成分）
５３Ｖ…第２高周波成分（垂直成分）
５４…第２低周波成分
６１、６２…ハイパスフィルタ（ＨＰＦ）
６３、６４…ローパスフィルタ（ＬＰＦ）
７０…フィルタ係数表
８１…エッジ抽出部
８１ａ…４×４平均化部
８１ｂ…４×４平均化部
８１ｃ…強度算出部
８２…第１特定高周波成分強度抽出部
８２ａ…強度算出部
８２ｂ…４×４平均化部
８３…第２特定高周波成分強度抽出部
８４…網点係数算出部
８５…エッジ抽出値
８６…第１特定高周波成分強度
８７…第２特定高周波成分強度
９１…エッジ減算部
９２…規格化選択部
９３…規格化部
９４…規格化前網点係数
９５…代表値
１０１…選択信号
１１０…選択表
１２１…第１重み付け補間部
１２２…第２重み付け補間部
１３０…補正部
１３１…第１加算器
１３２…網点係数反転部
１３３…第１乗算器
１３４…第２乗算器
１３５…第２加算器
１３６…出力選択部
１４１…第１補間係数
１４２…第２補間係数
ＥＡ…エッジ除去係数
ＳＡ…網点強調係数
Ｊ…着目画素
Ｋ…欠落画素
Ｒ…参照画素

Claims (14)

  1. 欠落画素のある入力画像における前記欠落画素の周辺画素を参照画素として前記欠落画素の画素値を求め、該画素値の画素を前記入力画像内の前記欠落画素の位置に挿入した一次補間画像信号を生成する重み付け補間部と、
    前記重み付け補間部によって生成された前記一次補間画像信号を複数の周波数領域の周波数成分に分解する周波数分解部と、
    前記周波数分解部によって分解して得た複数の周波数成分のうちの高周波成分を用いて、前記欠落画素の近傍領域が網点領域である度合いを示す網点度を求める網点度導出部と、
    前記複数の周波数成分のうちの低周波成分を用いて前記画素値の補正値を算出する補正値算出部と、
    前記一次補間画像信号のうちの前記欠落画素の画素値に前記補正値を前記網点度に応じて加算した信号を補間結果として出力する補正部と、
    を有する
    ことを特徴とする画素補間装置。
  2. 欠落画素のある入力画像における前記欠落画素の周辺画素を参照画素として第１補間方法によって前記欠落画素の画素値を求め、該画素値の画素を前記入力画像内の前記欠落画素の位置に挿入した一次補間画像信号を生成する重み付け補間部と、
    前記欠落画素の周辺画素を参照画素とすると共に前記第１補間方法に比べて参照画素の参照範囲が狭い第２補間方法によって前記欠落画素の第２画素値を求め、該第２画素値の画素を前記入力画像内の前記欠落画素の位置に挿入した第２の一次補間画像信号を生成する第２重み付け補間部と、
    前記重み付け補間部によって生成された前記一次補間画像信号を複数の周波数領域の周波数成分に分解する周波数分解部と、
    前記周波数分解部によって分解して得た複数の周波数成分のうちの高周波成分を用いて、前記欠落画素の近傍領域が網点領域である度合いを示す網点度を求める網点度導出部と、
    前記複数の周波数成分のうちの低周波成分を用いて前記画素値の補正値を算出する補正値算出部と、
    前記第２の一次補間画像信号のうちの前記欠落画素の部分を、前記画素値に前記補正値を加算した値と前記第２画素値とを前記網点度に応じた割合で合成した値に置き換えた信号を補間結果として出力する補正部と、
    を有する
    ことを特徴とする画素補間装置。
  3. 前記補正値算出部は、前記一次補間画像信号を前記周波数分解部によって分解して得た複数の周波数成分のうちの前記欠落画素における低周波成分と、前記複数の周波数成分のうちの前記欠落画素近傍の参照画素における低周波成分との差に基づいて前記補正値を算出する
    ことを特徴とする請求項１又は請求項２に記載の画素補間装置。
  4. 前記補正値算出部は、前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含みかつ互いに周波数領域が異なる複数の低周波成分のそれぞれについて前記補正値を算出し、その中から前記欠落画素の近傍領域の周波数成分に応じて選択した補正値を前記欠落画素の画素値の補正値として出力する
    ことを特徴とする請求項１乃至３のいずれか一項に記載の画素補間装置。
  5. 前記網点度導出部は、
    前記欠落画素近傍の複数の参照画素のそれぞれについてその参照画素が網点領域に含まれる度合いを示す網点係数を、前記高周波成分を用いて求める網点抽出部と、
    前記網点抽出部で求めた複数の網点係数の中の最小値を前記網点度として出力する網点係数選択部と、
    を有する
    ことを特徴とする請求項１乃至４のいずれか一項に記載の画素補間装置。
  6. 前記網点抽出部は、
    前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含まない周波数成分の強度を特定高周波強度として算出する特定高周波成分抽出部と、
    前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含まない周波数成分を用いて、参照画素がエッジ領域に含まれる度合いを示すエッジ抽出値を算出するエッジ抽出部と、
    前記特定高周波強度から前記エッジ抽出値を減算した結果を前記網点係数として出力する網点係数算出部と
    を有する
    ことを特徴とする請求項５に記載の画素補間装置。
  7. 前記特定高周波成分抽出部で用いる周波数成分の周波数領域は、前記エッジ抽出部で用いる周波数成分の周波数領域より高い周波数領域である
    ことを特徴とする請求項６に記載の画素補間装置。
  8. 前記入力画像は画素を行列状に配列したものであり、
    前記特定高周波成分抽出部は、前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含まない周波数成分について前記行列の行方向と列方向の二乗平均を求めてそれらを所定サイズの領域内で平均化した値を前記特定周波数強度として算出する
    ことを特徴とする請求項６または７に記載の画素補間装置。
  9. 前記網点係数算出部は、
    前記特定周波数強度から前記エッジ抽出値を減算した値を規格化前網点係数として算出するエッジ減算部と、
    前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含まない周波数成分の強度を複数の周波数成分について算出し、その中の最大値を代表値として選択する規格化選択部と、
    前記規格化前網点係数を前記代表値で規格化したものを前記網点係数として出力する規格化部と
    を有する
    ことを特徴とする請求項６または７に記載の画素補間装置。
  10. 前記入力画像は画素を行列状に配列したものであり、
    前記網点係数算出部は、
    前記特定周波数強度から前記エッジ抽出値を減算した値を規格化前網点係数として算出するエッジ減算部と、
    前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含まない周波数成分の各々について、前記行列における行方向と列方向の二乗平均を求めてそれらを所定サイズの領域内で平均化した値を算出し、その中の最大値を代表値として出力する規格化選択部と、
    前記規格化前網点係数を前記代表値で規格化したものを前記網点係数として出力する規格化部と
    を有する
    ことを特徴とする請求項６または７に記載の画素補間装置。
  11. 前記入力画像は画素を行列状に配列したものであり、
    前記エッジ抽出部は、
    前記周波数分解部が出力する複数の周波数成分のうちの最低周波数成分を含まない周波数成分の前記行列の行方向と列方向について独立に所定サイズの領域内で平均化した結果の二乗平均を前記エッジ抽出値として出力する
    ことを特徴とする請求項６または７に記載の画素補間装置。
  12. 所定方向の一次元に並ぶ複数画素分の読み取り領域を備えた複数のセンサチップが前記所定方向に直列に配置されかつ前記センサチップ同士の境界で欠落画素の生じるラインイメージセンサを有し、該ラインイメージセンサと原稿とを相対移動させて前記原稿を二次元に光学的に読み取る読取部と、
    前記読取部で原稿を読み取って得た画像データの欠落画素を補間する請求項１乃至１１のいずれか一項に記載の画素補間装置と、
    を有する
    ことを特徴とする画像読取装置。
  13. 欠落画素のある入力画像における前記欠落画素の周辺画素を参照画素として前記欠落画素の画素値を求め、該画素値の画素を前記入力画像内の前記欠落画素の位置に挿入した一次補間画像信号を生成する工程と、
    前記一次補間画像信号を複数の周波数領域の周波数成分に分解する工程と、
    分解により得た複数の周波数成分のうちの高周波成分を用いて、前記欠落画素の近傍領域が網点領域である度合いを示す網点度を求める工程と、
    前記複数の周波数成分のうちの低周波成分を用いて前記画素値の補正値を算出する工程と、
    前記一次補間画像信号のうちの前記欠落画素の画素値に前記補正値を前記網点度に応じて加算した信号を補間結果として出力する工程と
    を有する
    ことを特徴とする画素補間方法。
  14. 欠落画素のある入力画像における前記欠落画素の周辺画素を参照画素として第１補間方法によって前記欠落画素の画素値を求め、該画素値の画素を前記入力画像内の前記欠落画素の位置に挿入した一次補間画像信号を生成する工程と、
    前記欠落画素の周辺画素を参照画素とすると共に前記第１補間方法に比べて参照画素の参照範囲が狭い第２補間方法によって前記欠落画素の第２画素値を求め、該第２画素値の画素を前記入力画像内の前記欠落画素の位置に挿入した第２の一次補間画像信号を生成する工程と、
    前記一次補間画像信号を複数の周波数領域の周波数成分に分解する工程と、
    前記分解により得た複数の周波数成分のうちの高周波成分を用いて、前記欠落画素の近傍領域が網点領域である度合いを示す網点度を求める工程と、
    前記複数の周波数成分のうちの低周波成分を用いて前記画素値の補正値を算出する工程と、
    前記第２の一次補間画像信号のうちの前記欠落画素の部分を、前記画素値に前記補正値を加算した値と前記第２画素値とを前記網点度に応じた割合で合成した値に置き換えた信号を補間結果として出力する工程と、
    を有する
    ことを特徴とする画素補間方法。
JP2009187419A 2009-08-12 2009-08-12 画素補間装置、画素補間方法および画像読取装置 Active JP4803288B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009187419A JP4803288B2 (ja) 2009-08-12 2009-08-12 画素補間装置、画素補間方法および画像読取装置
US12/843,978 US8405886B2 (en) 2009-08-12 2010-07-27 Pixel interpolation apparatus, method for pixel interpolation, and image reading apparatus using the same
CN2010102511662A CN101998025B (zh) 2009-08-12 2010-08-09 像素插补装置、像素插补方法以及图像读取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009187419A JP4803288B2 (ja) 2009-08-12 2009-08-12 画素補間装置、画素補間方法および画像読取装置

Publications (2)

Publication Number Publication Date
JP2011041065A JP2011041065A (ja) 2011-02-24
JP4803288B2 true JP4803288B2 (ja) 2011-10-26

Family

ID=43588440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009187419A Active JP4803288B2 (ja) 2009-08-12 2009-08-12 画素補間装置、画素補間方法および画像読取装置

Country Status (3)

Country Link
US (1) US8405886B2 (ja)
JP (1) JP4803288B2 (ja)
CN (1) CN101998025B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041576A (ja) * 2008-08-07 2010-02-18 Fuji Xerox Co Ltd 検出装置、画像読取制御装置、検出装置の誤差補正プログラム
JP5741011B2 (ja) * 2011-01-26 2015-07-01 株式会社リコー 画像処理装置、画素補間方法およびプログラム
JP2013137418A (ja) * 2011-12-28 2013-07-11 Panasonic Liquid Crystal Display Co Ltd 液晶表示装置
CN102572283B (zh) * 2012-01-09 2014-07-09 北京凌云光视数字图像技术有限公司 线阵相机外同步信号卡及线阵相机的图像采集系统
US9998974B2 (en) * 2013-11-28 2018-06-12 Nec Corporation Wireless communication terminal, storage medium, and cell selection method
KR102125775B1 (ko) 2014-02-24 2020-06-23 삼성전자주식회사 배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치
JP2015222895A (ja) * 2014-05-23 2015-12-10 株式会社沖データ 画像補間装置、画像補間プログラム及び画像読取装置
US20160238374A1 (en) * 2015-02-18 2016-08-18 Fedex Corporate Services, Inc. Systems, apparatus, and methods for quantifying space within a container using a removable scanning sensor node
JP7081200B2 (ja) * 2018-02-22 2022-06-07 セイコーエプソン株式会社 画像表示装置、及び画像表示装置の制御方法
CN115486864B (zh) * 2022-10-26 2023-04-18 赛诺威盛科技(北京)股份有限公司 Ct用硅基探测器模块的组装结构及死区数据补全方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288821A (en) * 1980-06-02 1981-09-08 Xerox Corporation Multi-resolution image signal processing apparatus and method
JP3503372B2 (ja) * 1996-11-26 2004-03-02 ミノルタ株式会社 画素補間装置及びその画素補間方法
JP3208762B2 (ja) * 1998-11-18 2001-09-17 ソニー株式会社 画像処理装置及び画像処理方法
KR100506086B1 (ko) * 2002-12-26 2005-08-03 삼성전자주식회사 영상의 재현 품질 향상 장치 및 그 방법
JP3710452B2 (ja) * 2003-03-11 2005-10-26 キヤノン株式会社 画像読み取り装置、データ補間方法及び制御プログラム
JP3810404B2 (ja) * 2003-11-10 2006-08-16 三菱電機株式会社 画素補間回路、及び画素補間方法
JP2008136988A (ja) 2006-11-09 2008-06-19 Nakabayashi Co Ltd シュレッダー
JP4850040B2 (ja) * 2006-11-28 2012-01-11 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム、画像形成装置、画像形成方法およびコンピュータに読み取り可能な記録媒体
JP5094601B2 (ja) * 2008-07-09 2012-12-12 キヤノン株式会社 画像処理装置及び画像処理方法ならびにプログラム

Also Published As

Publication number Publication date
US20110038018A1 (en) 2011-02-17
US8405886B2 (en) 2013-03-26
CN101998025B (zh) 2013-06-05
JP2011041065A (ja) 2011-02-24
CN101998025A (zh) 2011-03-30

Similar Documents

Publication Publication Date Title
JP4803288B2 (ja) 画素補間装置、画素補間方法および画像読取装置
JP4912270B2 (ja) 画像処理装置及びその制御方法
JP6338469B2 (ja) 画像処理装置および画像処理方法
JP2010061565A (ja) 画素補間装置、画素補間方法および画像読取装置
JP6331817B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2002232654A (ja) 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5515552B2 (ja) 画素補間装置、画素補間方法および画像読取装置
JP6343956B2 (ja) 読取画像処理装置、画像読取装置、画像形成装置、読取画像処理プログラム及び読取画像処理方法
JP5480102B2 (ja) 画像処理装置、画像形成装置、および画像処理方法
JP2006287623A (ja) 入力画像補正装置、画像処理装置、画像形成装置、入力画像補正方法、入力画像補正プログラムおよび記録媒体
JP2010273393A (ja) 画像処理装置およびその制御方法
JP6015698B2 (ja) 画像処理装置及び画像処理装置が実行するプログラム
JP2006155572A (ja) 画像処理装置、画像形成装置、画像処理方法、及びコンピュータプログラム
US9076235B2 (en) Image processing method, image processing apparatus, and non-transitory computer-readable medium
JP2011109318A (ja) 画像読取装置および画像読取プログラム
JP5453215B2 (ja) 画像処理装置、画像形成装置、および画像処理方法
JP4334498B2 (ja) 画像処理装置、画像形成装置、画像処理方法及びコンピュータプログラム
JP2008048147A (ja) ２値画像の階調補正処理方法
JP4522812B2 (ja) 画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム、およびコンピュータ読み取り可能な記録媒体
US20110122462A1 (en) Image reading apparatus, control method for the same, and image forming apparatus
JP4324532B2 (ja) 画像処理装置および記憶媒体
JP4862747B2 (ja) データ補間方法及び画像変倍方法画像処理装置
JP2008092323A (ja) 画像処理装置、並びにこれを備えた画像読取装置及び画像形成装置
JP2018011129A (ja) 画像処理装置、画像処理方法およびプログラム
JP2006270656A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110725

R150 Certificate of patent or registration of utility model

Ref document number: 4803288

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350