JP3760531B2 - Image interpolation apparatus and image interpolation method - Google Patents
Image interpolation apparatus and image interpolation method Download PDFInfo
- Publication number
- JP3760531B2 JP3760531B2 JP31229796A JP31229796A JP3760531B2 JP 3760531 B2 JP3760531 B2 JP 3760531B2 JP 31229796 A JP31229796 A JP 31229796A JP 31229796 A JP31229796 A JP 31229796A JP 3760531 B2 JP3760531 B2 JP 3760531B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- detected
- edge direction
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、例えば、ビデオプリンターにおける画素の補間処理に適用して好適な画像補間装置、画像補間方法に関する。
【0002】
【従来の技術】
近年、昇華式カラープリンターの高精細化が進んでいるが、入力画像はビデオ信号程度の解像度が主流であり、高解像度のものは余り普及していない。つまり、プリンター側では高解像度のプリントが可能であるにもかかわらず、これに比べて入力画像データの解像度が低い。そこで、高解像度のプリントを行う場合には、プリンター内部で画像データに所定の補間処理を施して、疑似的に高解像度の画像データにする必要がある。しかし、画像データの補間処理の方法によってプリント出力の画質が大きく左右されるため、より高画質な補間処理方法が求められていた。
【0003】
昇華式カラープリンターでは、サーマルヘッドの移動方向、つまり副走査方向についてはアナログ的に階調を変化させることにより解像度を制御できるので、主に1ライン分のプリントを行うように配列されたサーマルヘッドの発熱素子の方向、つまり主走査方向の画像補間が必要とされる。すなわち、画像に対して主走査方向の画素を2倍に補間する処理が求められていた。このような、画像補間方法として、第1に同じ画素を2画素ずつ並べて単純に2倍に拡大する単純拡大方式、第2に上下方向の平均値を補間画素に用いる平均値補間方式などが主に用いられていたが、第3に近傍画素の情報を用いた高度な補間処理として近傍画素の大小関係のパターンによって、斜め方向の平均値を補間画素に用いるパターン認識平均値補間方式があった。
【0004】
【発明が解決しようとする課題】
ところが、従来の画像補間方式では、以下に述べるような問題点があった。つまり、第1の単純拡大方式では、画像のエッジの画素が保存されるため画像のボケはないが、斜め方向のエッジがギザギザになり、画像の品質が低下するという不都合があった。また、第2の平均値補間方式では、平均値を補間画素とするため画像がボケてしまい、斜め方向のエッジのギザギザが少し残るという不都合があった。また、第3のパターン認識平均値補間方式では、斜め方向のエッジは滑らかに補間されるが、平均値を補間画素とするため画像がボケてしまい、さらに、文字などの人工画像においては直角コーナーが斜めに補間されるため、文字が変形してしまうという不都合があった。
【0005】
この発明は、かかる点に鑑みてなされたものであり、画像のボケを無くすと共に、文字などの変形を無くすことができる画像補間装置および画像補間方法の提供を目的とする。
【0006】
【課題を解決するための手段】
この発明の画像補間装置は、画像を単純に2倍に拡大する単純拡大手段と、画像の局所的なエッジ方向を検出するエッジ検出手段と、上記エッジ検出手段により検出されたエッジ方向により係数を選択して選択された上記係数の有する周波数特性により所定周波数帯域に対して所定ゲインでフィルターをかけるフィルター手段と、備え、上記単純拡大手段により主走査方向に2倍に拡大した上記画像の画素に対して上記エッジ検出手段によりエッジ方向を検出し、検出されたエッジ方向に上記フィルター手段によりフィルターをかけるようにした画像補間装置において、エッジ検出手段は、画像の局所的な最大傾き方向を検出する最大傾き方向検出手段と、最大傾き検出手段により検出された最大傾き方向と垂直方向をエッジ方向として検出する垂直方向検出手段と、垂直方向検出手段により検出されたエッジ方向を複数の領域に仮想的に分割し、エッジ方向が属する領域を指定するエッジ方向領域指定手段と、エッジ方向領域指定手段によりエッジ方向が斜め方向であると検出された場合であって、補間すべき画素が画像のうちの直角の角部であることを検出したとき、エッジ方向領域指定手段によるエッジ方向を主走査方向に対して水平方向に選択する直角コーナーパターン検出手段と、を有するものである。
【0007】
また、この発明の画像補間方法は、画像を単純に2倍に拡大し、画像の局所的なエッジ方向を検出し、検出された上記エッジ方向により係数を選択して選択された上記係数の有する周波数特性により所定周波数帯域に対して所定ゲインでフィルターをかけ、上記単純拡大する際に主走査方向に2倍に拡大した上記画像の画素に対してエッジ方向を検出し、検出されたエッジ方向にフィルターをかけるようにした画像補間方法において、エッジ検出は、上記画像の局所的な最大傾き方向を検出し、検出された最大傾き方向に対して垂直方向をエッジ方向として検出し、検出されたエッジ方向を少なくとも水平方向、垂直方向、斜め方向を有する複数の領域に仮想的に分割し、エッジ方向が属する領域を指定し、エッジ方向が斜め方向に属する場合であって、補間すべき画素が画像のうちの直角の角部であることを検出したとき、エッジ方向は主走査方向に対して水平方向を選択する、ものである。
【0009】
この発明の画像補間装置および画像補間方法によれば以下の作用をする。
まず、エッジ検出手段の作用を説明する。最大傾き方向検出手段により画像の局所的な最大傾き方向が検出される。そして、垂直方向検出手段により最大傾き方向に垂直な方向をエッジ方向として検出するようにする。以下に、局所的な傾き情報によるエッジ検出方法を説明する。一般に、滑らかなアナログ画像の関数に対して、その局所的な最大傾き方向は、空間1次微分により表すことができる。
【0010】
この空間1次微分で表すベクトルに垂直な方向がエッジ方向に相当する。同様に、ディジタル画像データに対して、その局所的な最大傾き方向は、一般にベクトルで表すことができる。
【0011】
このベクトルに垂直なベクトルを求める。つまり、補間対象画素を囲む画像ブロックにおいて、画像データの値がゼロの画素、画像データの値が中間値の画素、画像データの値が最大値の画素、がある。このとき、ベクトルは、画像データの値がゼロ、中間値の画素から最大値の画素の方向を示す。そして、このベクトルに垂直なベクトルの方向がエッジ方向に相当する。
【0012】
このようにして得られたエッジ方向の傾きの値によって、エッジ方向領域指定手段によって画像のエッジ方向を少なくとも水平方向、垂直方向、斜め方向を含む8つの領域に分割する。
【0013】
次に、エッジ検出手段により、斜め方向が検出された場合に、直角コーナーパターン検出手段により文字などの直角コーナーパターンの検出が行われる。補間対象画素を囲む画像ブロックにおいて、画像データの値がゼロの画素、画像データの値が中間値の画素、画像データの値が最大値の画素がある。このとき、ベクトルは、画像データの値がゼロ、中間値の画素から最大値の画素の方向を示す。そして、このベクトルに垂直なベクトルは、補間対象画素を含む中間値の画素の方向にもかかわらず、周辺のゼロの画素の影響により決める方向のベクトルとして検出される。そして、このベクトルの方向がエッジ方向に相当する。
【0014】
ところが、直角コーナーパターンは、自然画像ではなく、文字などの人工画像に多く含まれるため、ベクトルの方向がエッジ方向として検出されると、文字の形が歪んでしまう。そこで、この直角コーナーパターンを検出するために周辺画素の傾きを計算する。
【0015】
このとき、周辺画素の傾きの絶対値が小さく、かつ同符号ならば、直角コーナーパターンとみなし、水平方向が選択される。この直角コーナーパターンの検出処理によって文字などの人工画像の変形を抑えることができる。このようにして、画像の局所的なエッジ方向が検出される。
【0016】
次に、フィルター手段の作用を説明する。エッジ検出手段において検出されたエッジ方向に応じて、2次元適応フィルターのエッジ方向対応係数選択手段は係数を切り換える。これらのフィルター係数は方向性を持ったものであり、2次元ローパスフィルターを構成し、これにより、エッジ方向のギザギザ成分をカットし、これに垂直な方向のエッジの急峻さを保存するような特性を持っているので、斜め方向のエッジがギザギザにならずに滑らかに補間される。
【0017】
また、画素の平均値を用いる方法に比べて特性の良いローパスフィルターを構成することができるので、画像のボケを抑えることができる。さらに、これらのフィルターは、単純2倍拡大画像に対して施されるため、画素の平均値を用いる方法に比べて水平方向のエッジがボケずに保存される。
このように、斜めエッジが滑らかに補間され、画像のボケが少なく、文字などの変形も少ない、高画質の補間画像を得ることができる。
【0018】
【発明の実施の形態】
以下に、本実施の形態を説明する。本実施の形態の画像補間装置は、ディジタル画像に対して、画像を単純に2倍に拡大した後に、局所的なエッジ方向を検出して、その方向のギザギザの周波数成分をカットするような方向性を持った2次元適応ディジタルフィルターによって画像補間を行うことにより、斜め方向のエッジを滑らかに補間して、画像のボケを少なくすると共に、文字などの変形の少ない、高画質な補間画像を得ることができるものである。
【0019】
まず、本実施の形態の画像補間装置を適用するカラービデオプリンターについて説明する。このカラービデオプリンターは、ビデオ信号を入力するビデオ入力部1と、ビデオ入力部1から入力されたアナログのビデオ信号を量子化してディジタル信号に変換するA/D変換器2と、ディジタルビデオ信号を1フレーム分のディジタルビデオ信号のデータを記憶して保持するフレームメモリとしての画像メモリ4と、画像メモリ4に対するディジタルビデオ信号の書き込み及び読み出しを制御するメモリ制御部3と、各種設定を行うスイッチ部5と、スイッチ部5における設定に基づいてメモリ制御部の動作を制御するシステム制御部6と、システム制御部6からの制御によりメカ機構の動作を制御する機構制御部7と、機構制御部7により動作される印画用紙送りモーター等のメカ機構8と、メカ機構8の印画用紙送りモーターによる印画用紙の送り出しに同期して画像メモリ4から1ラインずつのディジタルビデオ信号のデータを受け取り、各種画像処理を施す画像処理部9と、印画用紙に画像処理を施されたディジタルビデオ信号のデータをプリントするサーマルヘッド11とを有する。
【0020】
ここで、特に、本実施の形態では、画像処理部9において、ディジタル画像に対して、画像を単純に2倍に拡大した後に、局所的なエッジ方向を検出して、その方向のギザギザの周波数成分をカットするような方向性を持った2次元適応ディジタルフィルターによって画像補間を行うことにより、斜め方向のエッジに対して滑らかに画像補間を行うノンリニア補間ブロック10を有する。
【0021】
このように構成されたカラービデオプリンターは以下のような動作をする。ビデオ入力部1からA/D変換器2にビデオ信号が供給され、A/D変換器2においてビデオ入力部1から供給されたアナログのビデオ信号が量子化されてディジタル信号に変換される。A/D変換器2において変換されたディジタルビデオ信号はメモリ制御部3に供給される。メモリ制御部3から画像メモリ4に1フレーム分のディジタルビデオ信号のデータが記憶されるように書き込み動作が行われる。
【0022】
スイッチ部5において設定された各種設定に基づいてシステム制御部6からメモリ制御部に対してデータの書き込みまたは読み出しの動作が制御される。また、システム制御部6から機構制御部7に対してメカ機構の動作指令が供給されると、機構制御部7により印画用紙送りモーター等のメカ機構8が動作される。そこで、システム制御部6からメモリ制御部に対して画像メモリ4からデータの読み出しの動作指令が供給される。すると、メカ機構8の印画用紙送りモーターによる印画用紙の送り出しに同期して画像メモリ4から1ラインずつのディジタルビデオ信号のデータが読み出されて画像処理部9に供給される。画像処理部9において1ラインずつのディジタルビデオ信号のデータに対して各種画像処理が施される。画像処理を施されたディジタルビデオ信号のデータはサーマルヘッド11に供給される。サーマルヘッド11において、この画像データの階調に応じた発熱量で印画用紙にディジタルビデオ信号のデータがプリントされる。
【0023】
ここで、特に、本実施の形態では、画像処理部9のノンリニア補間ブロック10において、ディジタル画像に対して、画像を単純に2倍に拡大した後に、局所的なエッジ方向を検出して、その方向のギザギザの周波数成分をカットするような方向性を持った2次元適応ディジタルフィルターによって画像補間を行うことにより、斜め方向のエッジを滑らかに補間して、画像のボケを少なくすると共に、文字などの変形の少ない、高画質な補間画像を得ることができるように画像補間が行われる。
【0024】
次に、図2を用いて画像処理部について説明する。図2に示す画像処理部は図1に示した画像処理部9に対応する。この画像処理部は、図1に示したシステム制御部6からのコントルールデータDcを格納するレジスタ12と、コントルールデータDcおよびレジスタ12からのデータに基づいて画像処理部の主走査方向の動作を制御する主走査方向コントローラ13と、コントルールデータDcおよびレジスタ12からのデータに基づいて画像処理部の副走査方向の動作を制御する副走査方向コントローラ14とを有する。
【0025】
また、この画像処理部は、図1に示したメモリ制御部3を介して画像メモリから供給される1ライン分の入力画像データDiを順次1ライン毎に一時的に保持するラインバッファ15a,15b,15cと、ラインバッファ15a,15b,15cに一時的に保持された1ライン毎の入力画像データDiを副走査方向に補間する副走査方向補間ブロック16と、フィールドデータに対して補間を行うリニア補間ブロック17とを有する。ここで、特に、本実施の形態では、副走査方向の補間が施された画像データのフィールドデータおよびフレームデータのそれぞれに対して、画像を単純に2倍に拡大した後に、局所的なエッジ方向を検出して、その方向のギザギザの周波数成分をカットするような方向性を持った2次元適応ディジタルフィルターによって画像補間を行うことにより、斜め方向のエッジを滑らかに画像補間を行うフィールド/フレーム補間ブロック10(図1に示したノンリニア補間ブロック10に対応する。)を有する。
【0026】
また、この画像処理部は、例えばPAL方式の走査線数をNTSC方式の走査線数に変換するリサイズブロック18と、リサイズブロックにより走査線数が変換された画像データの1ライン分を一時的に保持するラインバッファ19と、画像データに対して各種編集機能を付加する編集機能ブロック20と、1ライン分のシャープネス補正用の画像データを一時的に保持するラインバッファ21と、強調処理を行うシャープネスブロック22と、サーマルヘッドにおける蓄熱補正を行う蓄熱補正ブロック25と、短時定数の応答系の蓄熱補正データを記憶する蓄熱補正メモリ23と、長時定数の応答系の蓄熱補正データを記憶する蓄熱補正メモリ24と、入力信号を2値化したときの一定しきい値で落とされた濃淡に相当する雑音(ディザ)を原信号に加えるディザブロック26とを有する。
【0027】
このように構成された画像処理部は以下のような動作をする。図1に示したシステム制御部6からのコントルールデータDcがレジスタ12、主走査方向コントローラ13及び副走査方向コントローラ14に供給される。レジスタ12に格納されたコントルールデータDcは主走査方向コントローラ13及び副走査方向コントローラ14に供給される。主走査方向コントローラ13においてコントルールデータDcおよびレジスタ12からのデータに基づいて画像処理部の主走査方向の動作が制御され、副走査方向コントローラ14においてコントルールデータDcおよびレジスタ12からのデータに基づいて画像処理部の副走査方向の動作が制御される。具体的には、主走査方向コントローラ13及び副走査方向コントローラ14から、画像補間処理用のラインバッファ15a,15b,15c、リサイズおよび編集機能用のラインバッファ19、シャープネス用のラインバッファ21、蓄熱補正用の蓄熱補正メモリ23、24のそれぞれに対して制御信号が供給される。
【0028】
また、図1に示したメモリ制御部3を介して画像メモリからラインバッファ15a,15b,15cに1ライン分の入力画像データDiが順次供給される。つまり、ラインバッファ15aには1ライン後の画像データDi+1が一時的に保持され,ラインバッファ15bには現在のラインの画像データDiが一時的に保持され,ラインバッファ15cには1ライン前の画像データDi−1が一時的に保持される。ラインバッファ15a,15b,15cに一時的に保持された1ライン毎の入力画像データDi+1、Di、Di−1が副走査方向補間ブロック16に供給される。副走査方向補間ブロック16において、入力画像データDi+1、Di、Di−1は副走査方向に補間される。例えば、副走査方向補間ブロック16において、フィールドデータが補間されて、画像データが90度回転されて、副走査方向に2枚のプリント出力を得るようにして、副走査方向の補間が行われる。副走査方向の補間が行われた画像データまたは副走査方向の補間が行われずにスルーした画像データはフィールド/フレーム補間ブロック10に供給される。なお、副走査補間が行われたときは、後段のフィールド/フレーム補間ブロック10においてフィールド/フレーム補間は行われず、フィールド/フレーム補間が行われるのは副走査補間が行われずにスルーしたときにのみ行うように処理を分けている。
【0029】
ここで、特に、本実施の形態では、フィールド/フレーム補間ブロック10において、副走査方向の補間が施されずにスルーした画像データのフィールドデータおよびフレームデータのそれぞれに対して、画像を単純に2倍に拡大した後に、局所的なエッジ方向を検出して、その方向のギザギザの周波数成分をカットするような方向性を持った2次元適応ディジタルフィルターによって画像補間を行うことにより、斜め方向のエッジを滑らかにする画像補間が行われる。具体的には、フィールド/フレーム補間ブロック10において、フィールドデータまたはフレームデータが2倍に補間される。また、ここでフィールド/フレーム補間ブロック10をノンリニア補間ブロックと呼んでいるのは、ここで用いる後述する適応フィルターが(一般的に)非線形なフィルターであるからである。フィールドデータとフレームデータとでそれぞれ2倍に補間された画像データはリニア補間ブロック17に供給される。リニア補間ブロック17において、フレームデータはスルーして、フィールドデータに対してのみ2倍に補間が行われる。つまり、ノンリニア補間およびリニア補間のそれぞれの処理において、フレームデータは2倍補間およびスルーで計2倍補間され、フィールドデータは2倍補間および2倍補間で計4倍補間される。ここでリニア補間ブロック17と呼ぶのは、ここで用いるフィルターが線形なフィルターであるからである。
【0030】
このように補間された画像データはリサイズブロック18に供給される。リサイズブロック18において、例えばPAL方式の走査線数がNTSC方式の走査線数に変換される。走査線数が変換された画像データはラインバッファ19に供給される。ここで、入力画像データDiが入力されたから、ラインバッファ19に現ラインの画像データが供給される時点までで、1ライン分の画像データの書き込み読み出し処理時間を要する。つまり、ラインバッファ15、副走査補間ブロック16、フィールド/フレーム補間ブロック10、リニア補間ブロック17、リサイズブロック18、ラインバッファ19への書き込み処理までは同期して行われる。
【0031】
そして、ラインバッファ19からリサイズブロックにより走査線数が変換された画像データの1ライン分が読み出されて編集機能ブロック20に供給される。編集機能ブロック20において、画像データに対して各種編集機能が付加される。各種編集機能が付加された画像データはシャープネスブロック22に供給される。シャープネスブロック22において強調処理が行われる。このとき、ラインバッファ21において1ライン分のシャープネス補正用の画像データが一時的に保持される。シャープネス補正された画像データは蓄熱補正ブロック25に供給される。
【0032】
蓄熱補正ブロック25において、サーマルヘッドにおける蓄熱補正が行われる。このとき、蓄熱補正メモリ23から短時定数の応答系の蓄熱補正データが蓄熱補正ブロック25に供給され、蓄熱補正メモリ24から長時定数の応答系の蓄熱補正データが蓄熱補正ブロック25に供給され、2つの応答系は異なる処理で補正される。
【0033】
蓄熱補正された画像データはディザブロック26に供給される。ディザブロック26において、入力信号を2値化したときの一定しきい値で落とされた濃淡に相当する雑音(ディザ)が原信号に加えられる。このようにして、ディザブロック26から出力画像データDoが出力される。
【0034】
ここで、画像データがラインバッファ19から読み出されてから、ディザブロック26から出力画像データDoが出力される時点までで、1ライン分の画像データの書き込み読み出し処理時間を要する。つまり、ラインバッファ19からの読み出し、編集機能ブロック20、シャープネスブロック22、蓄熱補正ブロック25、ディザブロック26の処理までは同期して行われる。
【0035】
次に、本実施の形態の画像補間装置の具体的構成及び動作について説明する。図3にフィールド/フレーム補間ブロック10の構成を示す。図3に示す構成は図2に示したフィールド/フレーム補間ブロック10に対応する。図3において、フィールド/フレーム補間ブロック10は、画像を単純に2倍に拡大する単純拡大部30と、画像の局所的なエッジ方向を検出するエッジ検出部33と、エッジ検出方向のギザギザの周波数成分をカットするような方向性を持った2次元適応フィルター34とを有する。ここで、Gi,j,G’i,j はディジタル画像データを表し、iは副走査方向(ラインインクリメント)、jは主走査方向(ライン方向)を表す。
【0036】
単純拡大部30は、2倍アップサンプリング回路31と、ゼロ次ホールド回路32とを有する。2倍アップサンプリング回路31は、ディジタル画像データGi-1,j を2倍のサンプリング周波数でサンプリングする2倍アップサンプリング回路31aと,ディジタル画像データGi,j を2倍のサンプリング周波数でサンプリングする2倍アップサンプリング回路31b,ディジタル画像データGi+1,j を2倍のサンプリング周波数でサンプリングする2倍アップサンプリング回路31cとを有する。また、ゼロ次ホールド回路32は、2倍のサンプリング周波数でサンプリングされたディジタル画像データGi-1,j に1サンプリング時点前のデータを加算するゼロ次ホールド回路32aと,2倍のサンプリング周波数でサンプリングされたディジタル画像データGi,j に1サンプリング時点前のデータを加算するゼロ次ホールド回路32b,2倍のサンプリング周波数でサンプリングされたディジタル画像データGi+1,j に1サンプリング時点前のデータを加算するゼロ次ホールド回路32cとを有する。
【0037】
図4にエッジ検出部の機能ブロックを示す。図4に示す機能ブロックは図3に示したエッジ検出部33に相当する。このエッジ検出部は、画像の局所的な最大傾きを検出する最大傾き検出手段40と、最大傾きに対して垂直な方向をエッジ方向として検出する垂直方向検出手段41と、検出されたエッジ方向を少なくとも水平方向43、垂直方向44、斜め方向45の所定の領域に分割し、エッジ方向領域を指定するエッジ方向領域指定手段42と、文字などの直角コーナーパターンを検出する直角コーナーパターン検出手段46とを有する。
【0038】
図5に2次元適応フィルターの機能ブロックを示す。図5に示す機能ブロックは図3に示す2次元適応フィルター34に対応する。この2次元適応フィルターは、エッジ方向対応係数選択手段50と、方向性を有する周波数特性を持つ係数51(H1 〜H8 )とを有する。
【0039】
このように構成されたフィールド/フレーム補間ブロック10の動作を以下に説明する。
まず、単純拡大部30の動作を説明する。2倍アップサンプリング回路31aにおいて、ディジタル画像データGi-1,j が2倍のサンプリング周波数でサンプリングされ,2倍アップサンプリング回路31bにおいてディジタル画像データGi,j が2倍のサンプリング周波数でサンプリングされ,2倍アップサンプリング回路31cにおいてディジタル画像データGi+1,j が2倍のサンプリング周波数でサンプリングされる。すると、2倍アップサンプリング回路31a、31b、31cからそれぞれ原サンプリング時点での値と、2倍サンプリング時点での0(ゼロ)の値とが出力される。
【0040】
2倍アップサンプリング回路31a、31b、31cからそれぞれ原サンプリング時点での値と、2倍サンプリング時点での0(ゼロ)の値とがゼロ次ホールド回路32a、32b、32cに供給される。ゼロ次ホールド回路32a、32b、32cにおいて、それぞれ原サンプリング時点での値と、2倍サンプリング時点での1サンプリング時点前の値とが加算される。このようにして、単純拡大部30から主走査方向に2倍に拡大した画像データが得られる。
【0041】
次に、エッジ検出部の動作を説明する。まず、最大傾き方向検出手段40により画像の局所的な最大傾き方向が検出される。そして、垂直方向検出手段41により最大傾き方向に垂直な方向をエッジ方向として検出するようにする。以下に、局所的な傾き情報によるエッジ検出方法を説明する。一般に、滑らかなアナログ画像を関数f(x,y)とをくと、その局所的な最大傾き方向は、空間1次微分により数1式のベクトルで表すことができる。
【0042】
【数1】
grad f(x,y)=(∂f(x,y)/∂x,∂f(x,y)/∂y)
【0043】
この数1式で表すベクトルに垂直な方向がエッジ方向に相当する。同様に、ディジタル画像データをGi,j とおくと、その局所的な最大傾き方向は、一般に次のような数2式のベクトル(pi,j ,qi,j )で表すことができる。
【0044】
【数2】
(pi,j ,qi,j )=(Gi+1,j −Gi,j ,Gi,j+1 −Gi,j )
【0045】
また、位相を合わせるため大きなエリアで計算する場合には数3式のベクトルで表すことができる。
【0046】
【数3】
(pi,j ,qi,j )=((Gi+1,j+1 +Gi+1,j +Gi+1,j-1 )−(Gi-1,j+1 +Gi-1,j +Gi-1,j-1 ),(Gi+1,j+1 +Gi,j+1 +Gi-1,j+1 )−(Gi+1,j-1 +Gi,j-1 +Gi-1,j-1 ))
【0047】
このベクトル(pi,j ,qi,j )に垂直なベクトルは、図6に示すように求められる。つまり、補間対象画素を囲む3×3の画像ブロックにおいて、狭い斜線で示す画素は画像データの値がゼロであり、広い斜線で示す画素は画像データの値が中間値であり、空白の画素は画像データの値が最大値である。このとき、ベクトル(pi,j ,qi,j )は、画像データの値がゼロ、中間値の画素から最大値の画素の方向を示す。この場合、図6において、左下の3つの画素がゼロであり、左斜め上から右斜め下への補間対象画素を含む3つの画素が中間値であり、右上の3つの画素が最大値であるので、補間対象画素のベクトルは右斜め上方向である。そして、このベクトルに垂直なベクトルは、左斜め上または右斜め下への補間対象画素を含む中間値の3つの画素の方向である、ベクトル(−qi,j ,pi,j )またはベクトル(qi,j ,−pi,j )である。そして、このベクトル(−qi,j ,pi,j )またはベクトル(qi,j ,−pi,j )の方向がエッジ方向に相当する。
【0048】
次に、単純拡大部30により画像をj主走査方向(ライン方向)に単純に2倍に拡大した場合、ベクトル(pi,j ,qi,j )はベクトル(2pi,j ,qi,j )となり、ベクトル(2pi,j ,qi,j )に垂直なベクトルは、図7に示すようにに求められる。つまり、j主走査方向に2倍された補間対象画素を囲む3×6の画像ブロックにおいて、狭い斜線で示す画素は画像データの値がゼロであり、広い斜線で示す画素は画像データの値が中間値であり、空白の画素は画像データの値が最大値である。このとき、図6に示したそれぞれの画素がj主走査方向に2倍される。ベクトル(2pi,j ,qi,j )は、画像データの値がゼロ、中間値の画素から最大値の画素の方向を示す。この場合、図7において、左下の6つの画素がゼロであり、左斜め上から右斜め下へのj主走査方向に2倍された補間対象画素を含む6つの画素が中間値であり、右上の6つの画素が最大値であるので、補間対象画素のベクトルは右斜め上方向である。そして、このベクトルに垂直なベクトルは、左斜め上または右斜め下へのj主走査方向に2倍された補間対象画素を含む中間値の6つの画素の方向である、ベクトル(−qi,j ,2pi,j )またはベクトル(qi,j ,−2pi,j )である。そして、このベクトル(−qi,j ,2pi,j )またはベクトル(qi,j ,−2pi,j )の方向がエッジ方向に相当する。このベクトルをこの方向の直線の傾きai,j で表すと数4式のようになる。
【0049】
【数4】
ai,j =tanθi,j =−2pi,j /qi,j
このai,j の値によって画像の局所的なエッジ方向を表すことができる。
【0050】
次に、このようなエッジ方向検出の詳細を説明する。画像データGi,j をj主走査方向に2倍に拡大した画像データをgi,k とおくと、数5式のようになる。
【0051】
【数5】
【0052】
先に説明した空間1次微分(pi,j ,qi,j )に相当する量は、2倍拡大後の画像データgi,k に対して(ri,k ,si,k )として数6式で得られる。
【0053】
【数6】
【0054】
ここで、max[*,*]は絶対値の大きい方を表す。このように、(ri,k ,si,k )は2倍拡大画像における位相を考慮したものになっていることが分かる。
【0055】
さらに、i,k方向の2次微分値を計算し、その絶対値が小さい場合は、画像曲面の曲がりが少ないと判断し、数7式を採用する。
【0056】
【数7】
【0057】
このように、i,k方向の2次微分値が小さいときは、大きなエリアで傾きベクトルを算出することによって、誤検出を防ぐことができる。ベクトル(ri,k ,si,k )から、先に画像の局所的なエッジ方向を数4式で表わした傾きai,j に相当する量は、傾きbi,k として数8式で表される。
【0058】
【数8】
bi,k =−2ri,k /si,k
【0059】
このようにして得られた傾きbi,k の値によって、エッジ方向領域指定手段42によって画像のエッジ方向を少なくとも水平方向43、垂直方向44、斜め方向45を含む図8に示すような8つの領域に分割する。先に求めた傾きai,j の値によって画像のエッジ方向を分割しても同様であるので、図8において、8分割に領域を分割する例を示す。領域▲1▼は傾きai,j の値が正であって3/4以下のときである。領域▲2▼は傾きai,j の値が3/4より大であって3/2以下のときである。領域▲3▼は傾きai,j の値が3/2より大であって4以下のときである。領域▲4▼は傾きai,j の絶対値が4より大のときである。領域▲5▼は傾きai,j の値が負であって−3/4以上のときである。領域▲6▼は傾きai,j の値が−3/4より小であって−3/2以上のときである。領域▲7▼は傾きai,j の値が−3/2より小であって−4以上のときである。領域▲8▼はpi,j の絶対値が定数以下のときである。つまり、領域▲8▼が水平方向43、領域▲4▼が垂直方向44、領域▲1▼、領域▲2▼、領域▲3▼、領域▲5▼、領域▲6▼、領域▲7▼が斜め方向45である。
【0060】
次に、図8において、エッジ方向指定手段42により、領域▲1▼、領域▲2▼、領域▲3▼、領域▲5▼、領域▲6▼、領域▲7▼などの斜め方向45が検出された場合に、直角コーナーパターン検出手段46により図9に示す文字などの直角コーナーパターンの検出が行われる。図9において、補間対象画素を囲む3×3の画像ブロックにおいて、狭い斜線で示す画素は画像データの値がゼロであり、広い斜線で示す画素は画像データの値が中間値であり、空白の画素は画像データの値が最大値である。このとき、ベクトル(pi,j ,qi,j )は、画像データの値がゼロ、中間値の画素から最大値の画素の方向を示す。この場合、図9において、左下の2つの画素がゼロであり、補間対象画素を含む2つの画素が中間値であり、残りの上から右に延びる5つの画素が最大値であるので、補間対象画素のベクトルは右斜め上方向として検出される。そして、このベクトルに垂直なベクトルは、補間対象画素を含む中間値の画素がj方向であるにもかかわらず、左斜め上または右斜め下への2つの方向である、ベクトル(−qi,j ,pi,j )またはベクトル(qi,j ,−pi,j )として検出される。そして、このベクトル(−qi,j ,pi,j )またはベクトル(qi,j ,−pi,j )の方向がエッジ方向に相当する。
【0061】
ところが、図9に示すような直角コーナーパターンは、自然画像ではなく、文字などの人工画像に多く含まれるため、図9に示すように、ベクトル(−qi,j ,pi,j )またはベクトル(qi,j ,−pi,j )の方向がエッジ方向として検出されると、文字の形が歪んでしまう。そこで、この直角コーナーパターンを検出するために、数9式のように周辺画素の傾きを計算する。これは、k:奇数(odd)で図8において領域▲5▼、領域▲6▼、領域▲7▼の斜め方向45が選択された場合である。
【0062】
【数9】
dmi,j =gi+2,k −gi+2,k-2
dni,k =gi,k+2 −gi-2,k-2
dh1i,k =gi,k −gi+2,k
dh2i,k =gi,k-2 −gi+2,k-2
【0063】
このとき、dmi,k とdni,k の絶対値が小さく、かつdh1i,k とdh2i,k が同符号ならば、直角コーナーパターンとみなし、図8において、領域▲8▼の水平方向43が選択される。他の場合も同様の処理が行われ、この直角コーナーパターンの検出処理によって文字などの人工画像の変形を抑えることができる。このようにして、画像の局所的なエッジ方向が検出される。
【0064】
次に、2次元適応フィルターの動作を説明する。エッジ検出部において検出された図8に示す領域▲1▼〜領域▲8▼のエッジ方向に応じて、2次元適応フィルターのエッジ方向対応係数選択手段50は係数51を、図10及び図11に示すH1 (Zi ,Zj )〜H8 (Zi ,Zj )に切り換える。図10において、H1 (Zi ,Zj )は、i副走査方向の第1ラインに対して、j主走査方向に0,0,0,+5/16,+5/16,−3/32,−1/32であり、第2ラインに対して、j主走査方向に0,0,0,0,0,0,0であり、第3ラインに対して、j主走査方向に−1/32,−3/32,+5/16,+5/16,0,0,0である。H2 (Zi ,Zj )は、i副走査方向の第1ラインに対して、j主走査方向に0,0,0,0,+5/16,−3/32,−1/32であり、第2ラインに対して、j主走査方向に0,0,0,+5/8,0,0,0であり、第3ラインに対して、j主走査方向に−1/32,−3/32,+5/16,0,0,0,0である。H3 (Zi ,Zj )は、i副走査方向の第1ラインに対して、j主走査方向に0,0,0,0,+5/32,−3/32,−1/32であり、第2ラインに対して、j主走査方向に0,0,+5/32,+5/8,+5/32,0,0であり、第3ラインに対して、j主走査方向に−1/32,−3/32,+5/32,0,0,0,0である。H4 (Zi ,Zj )は、i副走査方向の第1ラインに対して、j主走査方向に0,0,0,0,0,0,0であり、第2ラインに対して、j主走査方向に−1/32,−3/32,+5/16,+5/8,+5/16,−3/32,−1/32であり、第3ラインに対して、j主走査方向に0,0,0,0,0,0,0である。
【0065】
また、図11において、H5 (Zi ,Zj )は、i副走査方向の第1ラインに対して、j主走査方向に−1/32,−3/32,+5/16,+5/16,0,0,0,であり、第2ラインに対して、j主走査方向に0,0,0,0,0,0,0であり、第3ラインに対して、j主走査方向に0,0,0,+5/16,+5/16,−3/32,−1/32である。H6 (Zi ,Zj )は、i副走査方向の第1ラインに対して、j主走査方向に−1/32,−3/32,+5/16,0,0,0,0,であり、第2ラインに対して、j主走査方向に0,0,0,+5/8,0,0,0であり、第3ラインに対して、j主走査方向に0,0,0,0,+5/16,−3/32,−1/32である。H7 (Zi ,Zj )は、i副走査方向の第1ラインに対して、j主走査方向に−1/32,−3/32,+5/32,0,0,0,0,であり、第2ラインに対して、j主走査方向に0,0,+5/32,+5/8,+5/32,0,0であり、第3ラインに対して、j主走査方向に0,0,0,0,+5/32,−3/32,−1/32である。H8 (Zi ,Zj )は、i副走査方向の第1ラインに対して、j主走査方向に0,0,0,+5/32,0,0,0であり、第2ラインに対して、j主走査方向に−1/32,−3/32,+5/32,+5/8,+5/32,−3/32,−1/32であり、第3ラインに対して、j主走査方向に0,0,0,+5/32,0,0,0である。
【0066】
これらの係数による各フィルター動作はj主走査方向に施されるので、3ライン程度の画像メモリを内部に有すれば良い。また、フィルター係数が2の倍数なので、比較的安価にハードウエア化することができる。
【0067】
このような2次元適応フィルターの係数H1 (Zi ,Zj )〜H8 (Zi ,Zj )の周波数特性を図12〜図16に示す。この周波数特性は、それぞれX周波数およびY周波数の2次元に対するゲインを示す。図12にH5 (Zi ,Zj )の周波数特性を示す。ここで、H1 (Zi ,Zj )の周波数特性はX=0で左右反転したものである。図13にH6 (Zi ,Zj )の周波数特性を示す。ここで、H2 (Zi ,Zj )の周波数特性はX=0で左右反転したものである。図14にH7 (Zi ,Zj )の周波数特性を示す。ここで、H3 (Zi ,Zj )の周波数特性はX=0で左右反転したものである。このように、H1 (Zi ,Zj )、H2 (Zi ,Zj )、H3 (Zi ,Zj )の周波数特性は、それぞれH5 (Zi ,Zj )、H6 (Zi ,Zj )、H7 (Zi ,Zj )の周波数特性をi副走査方向に反転したものである。図15にH4 (Zi ,Zj )の周波数特性を示す。図16にH8 (Zi ,Zj )の周波数特性を示す。
【0068】
これらのフィルター係数は方向性を持ったものであり、2次元ローパスフィルターを構成し、これにより、エッジ方向のギザギザ成分をカットし、これに垂直な方向のエッジの急峻さを保存するような特性を持っているので、斜め方向のエッジがギザギザにならずに滑らかに補間される。
【0069】
また、画素の平均値を用いる方法に比べて特性の良いローパスフィルターを構成することができるので、画像のボケを抑えることができる。さらに、これらのフィルターは、単純2倍拡大画像に対して施されるため、画素の平均値を用いる方法に比べて水平方向のエッジがボケずに保存されるという利点がある。
【0070】
このように、本実施の形態により、斜めエッジが滑らかに補間され、画像のボケが少なく、文字などの変形も少ない、高画質の補間画像を得ることができる。
【0071】
また、上例に限らず、ディジタルカラープリンターにおいて低解像度画像を高解像度で印画する場合や、コンピュータ上で画像を高解像度化するソフトウエアにより構成しても良い。
【0072】
また、本実施の形態を用いて2倍の画素に補間した後に、自由倍率の解像度変換手段により解像度変換を施すようにしてもよく、この場合、単独で自由倍率の解像度変換手段により解像度変換を施した場合に比べて、より高画質の出力画像を得ることができる。
【0073】
【発明の効果】
この発明の画像補間装置は、画像の局所的なエッジ方向を検出するエッジ検出手段と、上記エッジ検出手段により検出されたエッジ方向により係数を選択して選択された上記係数の有する周波数特性により所定周波数帯域に対して所定ゲインでフィルターをかけるフィルター手段とを備え、上記画像の特定の画素を1方向に2倍に補間するようにしたので、エッジ方向のギザギザ成分をカットし、これに垂直な方向のエッジの急峻さを保存することにより、斜めエッジが滑らかに補間され、画像のボケが少なく、文字などの変形も少ない、高画質の補間画像を得ることができるという効果を奏する。
【0074】
また、この発明の画像補間装置は、上述において、上記エッジ検出手段は、上記画像の局所的な最大傾き方向を検出する最大傾き方向検出手段と、上記最大傾き検出手段により検出された最大傾き方向に対して垂直方向をエッジ方向として検出する垂直方向検出手段と、上記垂直方向検出手段により検出されたエッジ方向を複数の領域に分割し、上記エッジ方向が属する領域を指定するエッジ方向領域指定手段と、を有するようにしたので、画像の局所的なエッジ方向を検出して、このエッジ方向に応じて係数を変えてフィルターをかけることができるという効果を奏する。
【0075】
また、この発明の画像補間装置は、上述において、上記フィルター手段は、2次元ディジタルフィルターであって、方向性を有する周波数特性を持った係数と、上記係数のうち上記エッジ検出手段により検出されたエッジ方向に対応した係数を選択するエッジ方向対応係数選択手段とを有するので、エッジ方向に応じて係数を変えて異なる周波数特性によるフィルターをかけることができるという効果を奏する。
【0076】
また、この発明の画像補間装置は、上記エッジ検出手段は、上記画像の局所的な最大傾き方向を検出する最大傾き方向検出手段と、上記最大傾き検出手段により検出された最大傾き方向と垂直方向をエッジ方向として検出する垂直方向検出手段と、上記垂直方向検出手段により検出されたエッジ方向を複数の領域に分割し、上記エッジ方向が属する領域を指定するエッジ方向領域指定手段と、上記エッジ方向領域指定手段によりエッジ方向が斜め方向であると検出された場合であって、補間すべき画素が画像のうちの直角の角部であることを検出したとき、上記エッジ方向領域指定手段によるエッジ方向を水平方向に選択する直角コーナーパターン検出手段とを有するので、直角コーナーパターンを有する文字などの画像の変形を抑えることができるという効果を奏する。
【0077】
また、この発明の画像補間方法は、画像の局所的なエッジ方向を検出し、検出された上記エッジ方向により係数を選択して選択された上記係数の有する周波数特性により所定周波数帯域に対して所定ゲインでフィルターをかけ、上記画像の特定の画素を1方向に2倍に補間するようにしたので、エッジ方向のギザギザ成分をカットし、これに垂直な方向のエッジの急峻さを保存することにより、斜めエッジが滑らかに補間され、画像のボケが少なく、文字などの変形も少ない、高画質の補間画像を得ることができるという効果を奏する。
【0078】
また、この発明の画像補間方法は、上述において、上記エッジ検出は、上記画像の局所的な最大傾き方向を検出し、検出された上記最大傾き方向に対する垂直方向をエッジ方向として検出し、検出された上記エッジ方向を複数の領域に分割し、上記エッジ方向が属する領域を指定するようにしたので、画像の局所的なエッジ方向を検出することにより、このエッジ方向に応じて係数を変えてフィルターをかけることができるという効果を奏する。
【0079】
また、この発明の画像補間方法は、上述において、上記フィルターは、2次元ディジタルフィルターであって、方向性を有する周波数特性を持った係数のうち上記エッジ検出により検出されたエッジ方向に対応した係数を選択するようにしたので、エッジ方向に応じて係数を変えて異なる周波数特性によるフィルターをかけることができるという効果を奏する。
【0080】
また、この発明の画像補間方法は、上述において、上記エッジ検出は、上記画像の局所的な最大傾き方向を検出し、検出された上記最大傾き方向に対して垂直方向をエッジ方向として検出し、検出された上記エッジ方向を少なくとも水平方向、垂直方向、斜め方向を有する複数の領域に分割し、上記エッジ方向が属する領域を指定し、上記エッジ方向が斜め方向に属する場合であって、補間すべき画素が画像のうちの直角の角部であることを検出したとき、上記エッジ方向は水平方向を選択するようにしたので、直角コーナーパターンを有する文字などの画像の変形を抑えることができるという効果を奏する。
【0081】
また、この発明のビデオプリンターは、ビデオ画像の画像データに所定の補間処理を施して、補間された画像データを用いてプリントヘッドによりプリントするビデオプリンターにおいて、画像の局所的なエッジ方向を検出するエッジ検出手段と、上記エッジ検出手段により検出されたエッジ方向により係数を選択して選択された上記係数の有する周波数特性により所定周波数帯域に対して所定ゲインでフィルターをかけるフィルター手段とを備え、上記画像の特定の画素を1方向に2倍に補間してプリントするようにしたので、エッジ方向のギザギザ成分をカットし、これに垂直な方向のエッジの急峻さを保存することにより、斜めエッジが滑らかに補間され、画像のボケが少なく、文字などの変形も少ない、高画質の補間画像のプリント出力を得ることができるという効果を奏する。
【図面の簡単な説明】
【図1】本実施の形態の画像補間装置を適用するビデオプリンターの構成を示すブロック図である。
【図2】本実施の形態の画像処理部ブロック図である。
【図3】本実施の形態のフィールド/フレーム補間ブロックの構成を示すブロック図である。
【図4】本実施の形態のエッジ検出部の機能ブロック図である。
【図5】本実施の形態の2次元適応フィルターの機能ブロック図である。
【図6】本実施の形態の画像の傾きベクトルを示す図である。
【図7】本実施の形態の補間画像の傾きベクトルを示す図である。
【図8】本実施の形態の画像のエッジ方向の領域を示す図である。
【図9】本実施の形態の直角コーナーパターンを示す図である。
【図10】本実施の形態の2次元適応フィルターの係数を示す図である。
【図11】本実施の形態の2次元適応フィルターの係数を示す図である。
【図12】本実施の形態の係数H5 (Zi ,Zj )の周波数特性(H1 (Zi ,Zj )の周波数特性はX=0で左右反転したもの)を示す図である。
【図13】本実施の形態の係数H6 (Zi ,Zj )の周波数特性(H2 (Zi ,Zj )の周波数特性はX=0で左右反転したもの)を示す図である。
【図14】本実施の形態の係数H7 (Zi ,Zj )の周波数特性(H3 (Zi ,Zj )の周波数特性はX=0で左右反転したもの)を示す図である。
【図15】本実施の形態の係数H4 (Zi ,Zj )の周波数特性を示す図である。
【図16】本実施の形態の係数H8 (Zi ,Zj )の周波数特性を示す図である。
【符号の説明】
1 ビデオ入力部、2 A/D変換器、3 メモリ制御部、4 画像メモリ、5スイッチ部、6 システム制御部、7 機構制御部、8 機構、9 画像処理部、10 ノンリニア補間ブロック(フィールド/フレーム補間ブロック)、11 サーマルヘッド、12 レジスタ、13 主走査方向コントローラ、14 副走査方向コントローラ、15 ラインバッファ、16 副走査補間ブロック、17 リニア補間ブロック、18 リサイズブロック、19 ラインバッファ、20 編集機能ブロック、21 ラインバッファ、22 シャープネスブロック、23 蓄熱補正メモリ(短時定数)、24 蓄熱補正メモリ(長時定数)、25 蓄熱補正ブロック、26 ディザブロック、Dc システム制御部コントロールデータ、Di 入力画像データ、Do 出力画像データ、30 単純拡大部、31 2倍アップサンプリング回路、32 ゼロ次ホールド回路、33 エッジ検出部、34 2次元適応フィルター、40 最大傾き方向検出手段、41 垂直方向検出手段、42 エッジ方向領域指定手段、43 水平方向領域、44垂直方向領域、45 斜め方向領域、46 直角コーナーパターン検出手段、50 エッジ方向対応係数選択手段、51 係数(方向性を有する周波数特性を持つ)[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image interpolation apparatus and an image interpolation method suitable for application to pixel interpolation processing in a video printer, for example.
[0002]
[Prior art]
In recent years, sublimation color printers have been improved in definition, but the resolution of video signals is the mainstream for input images, and those with high resolution are not so popular. In other words, the resolution of the input image data is lower than that although high-resolution printing is possible on the printer side. Therefore, when high-resolution printing is performed, it is necessary to perform predetermined interpolation processing on the image data inside the printer to make pseudo high-resolution image data. However, since the image quality of the print output is greatly affected by the image data interpolation processing method, a higher image quality interpolation processing method has been demanded.
[0003]
In the sublimation color printer, the resolution can be controlled by changing the gradation in an analog manner in the moving direction of the thermal head, that is, in the sub-scanning direction. Therefore, the thermal head arranged mainly to print one line. Image interpolation in the direction of the heating element, that is, the main scanning direction is required. That is, a process for interpolating pixels in the main scanning direction twice with respect to an image has been demanded. As such an image interpolation method, firstly, a simple enlargement method in which the same pixels are arranged two by two and simply doubled, and an average value interpolation method in which an average value in the vertical direction is used as an interpolation pixel are mainly used. Third, there is a pattern recognition average value interpolation method that uses an average value in an oblique direction as an interpolation pixel according to a pattern of the size relationship of neighboring pixels as advanced interpolation processing using information on neighboring pixels. .
[0004]
[Problems to be solved by the invention]
However, the conventional image interpolation method has the following problems. That is, in the first simple enlargement method, pixels at the edge of the image are stored, so there is no blur in the image, but there is a disadvantage that the edge in the oblique direction becomes jagged and the quality of the image is lowered. Further, the second average value interpolation method has an inconvenience that an image is blurred because the average value is used as an interpolation pixel, and a slight jagged edge in an oblique direction remains. Further, in the third pattern recognition average value interpolation method, the edge in the oblique direction is smoothly interpolated, but the image is blurred because the average value is used as an interpolation pixel. Further, in an artificial image such as a character, a right-angled corner is used. Has a disadvantage that the character is deformed.
[0005]
The present invention has been made in view of the above points, and is an image interpolation device capable of eliminating blurring of an image and eliminating deformation of characters and the like.andThe object is to provide an image interpolation method.
[0006]
[Means for Solving the Problems]
The image interpolation device of the present invention is:A simple enlargement means that simply enlarges the image by a factor of two;Edge detection means for detecting the local edge direction of the image, and a predetermined gain for a predetermined frequency band based on the frequency characteristics of the selected coefficient by selecting a coefficient based on the edge direction detected by the edge detection means. A filter means for applying a filter;In the main scanning direction by the simple enlargement meansIn the image interpolating apparatus in which an edge direction is detected by the edge detection unit with respect to the pixel of the image enlarged twice, and the detected edge direction is filtered by the filter unit, the edge detection unit includes: A maximum inclination direction detecting means for detecting a local maximum inclination direction, a vertical direction detecting means for detecting the maximum inclination direction and the vertical direction detected by the maximum inclination detecting means as an edge direction, and a vertical direction detecting means. The edge direction is virtually divided into a plurality of areas, the edge direction area specifying means for specifying the area to which the edge direction belongs, and the edge direction area specifying means detects that the edge direction is an oblique direction. When detecting that the pixel to be interpolated is a right-angled corner of the image, the edge direction by the edge direction region specifying meansFor main scanning directionRight angle corner pattern detecting means for selecting in the horizontal direction.
[0007]
The image interpolation method of the present invention isSimply double the image,Detect a local edge direction of an image, select a coefficient according to the detected edge direction, and apply a filter with a predetermined gain to a predetermined frequency band according to the frequency characteristic of the selected coefficient,When performing the above simple enlargement in the main scanning directionIn the image interpolation method in which the edge direction is detected for the pixel of the image enlarged twice, and the detected edge direction is filtered, the edge detection detects the local maximum inclination direction of the image. The detected vertical direction is detected as the edge direction, and the detected edge direction is virtually divided into a plurality of regions having at least a horizontal direction, a vertical direction, and an oblique direction. When the region to which the image belongs is specified and the edge direction belongs to the diagonal direction and the pixel to be interpolated is detected to be a right-angled corner of the image, the edge direction isFor main scanning directionSelect the horizontal direction.
[0009]
Image interpolating apparatus of the present inventionandAccording to the image interpolation method, the following operations are performed.
First, the operation of the edge detection means will be described. The local maximum inclination direction of the image is detected by the maximum inclination direction detecting means. The direction perpendicular to the maximum tilt direction is detected as the edge direction by the vertical direction detecting means. Hereinafter, an edge detection method based on local inclination information will be described. In general, for a smooth analog image function, the local maximum tilt direction can be represented by a spatial first derivative.
[0010]
The direction perpendicular to the vector represented by the spatial first derivative corresponds to the edge direction. Similarly, for digital image data, the local maximum tilt direction can generally be represented by a vector.
[0011]
Find a vector perpendicular to this vector. That is, in the image block surrounding the interpolation target pixel, there are a pixel whose image data value is zero, a pixel whose image data value is an intermediate value, and a pixel whose image data value is a maximum value. At this time, the vector indicates the direction from the intermediate value pixel to the maximum value pixel value of the image data is zero. The direction of the vector perpendicular to this vector corresponds to the edge direction.
[0012]
The edge direction of the image is divided into eight regions including at least a horizontal direction, a vertical direction, and an oblique direction by the edge direction region designation means based on the value of the inclination in the edge direction obtained in this way.
[0013]
Next, when an oblique direction is detected by the edge detection means, a right-angle corner pattern such as a character is detected by the right-angle corner pattern detection means. In the image block surrounding the interpolation target pixel, there are a pixel whose image data value is zero, a pixel whose image data value is an intermediate value, and a pixel whose image data value is a maximum value. At this time, the vector indicates the direction from the intermediate value pixel to the maximum value pixel value of the image data is zero. A vector perpendicular to this vector is detected as a vector having a direction determined by the influence of surrounding zero pixels, regardless of the direction of the intermediate pixel including the interpolation target pixel. The direction of this vector corresponds to the edge direction.
[0014]
However, since the right-angled corner pattern is not a natural image but is included in many artificial images such as characters, the shape of the character is distorted when the vector direction is detected as the edge direction. Therefore, in order to detect this right-angled corner pattern, the inclination of surrounding pixels is calculated.
[0015]
At this time, if the absolute value of the inclination of the surrounding pixels is small and has the same sign, it is regarded as a right-angle corner pattern and the horizontal direction is selected. Deformation of an artificial image such as a character can be suppressed by this right-angled corner pattern detection process. In this way, the local edge direction of the image is detected.
[0016]
Next, the operation of the filter means will be described. In accordance with the edge direction detected by the edge detection means, the edge direction corresponding coefficient selection means of the two-dimensional adaptive filter switches the coefficients. These filter coefficients have directionality and constitute a two-dimensional low-pass filter, which cuts the jagged component in the edge direction and preserves the sharpness of the edge in the direction perpendicular to it. Therefore, the edges in the diagonal direction are smoothly interpolated without becoming jagged.
[0017]
In addition, since a low-pass filter having better characteristics than a method using an average value of pixels can be configured, blurring of an image can be suppressed. Furthermore, since these filters are applied to a simple double-enlarged image, the horizontal edges are preserved without blurring compared to a method using an average value of pixels.
In this manner, a high-quality interpolated image can be obtained in which oblique edges are smoothly interpolated, the image is less blurred, and there is less deformation of characters and the like.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
This embodiment will be described below. The image interpolating apparatus according to the present embodiment detects a local edge direction after simply magnifying the image twice with respect to the digital image, and cuts a jagged frequency component in that direction. By interpolating images using a two-dimensional adaptive digital filter that has good characteristics, the edges in the diagonal direction are smoothly interpolated to reduce image blurring and obtain high-quality interpolated images with less deformation of characters and the like It is something that can be done.
[0019]
First, a color video printer to which the image interpolation apparatus of this embodiment is applied will be described. This color video printer includes a
[0020]
Here, in particular, in the present embodiment, the
[0021]
The color video printer configured as described above operates as follows. A video signal is supplied from the
[0022]
Based on various settings set in the
[0023]
Here, in particular, in the present embodiment, in the
[0024]
Next, the image processing unit will be described with reference to FIG. The image processing unit shown in FIG. 2 corresponds to the
[0025]
The image processing unit also includes line buffers 15a and 15b that temporarily hold the input image data Di for one line supplied from the image memory via the
[0026]
The image processing unit temporarily stores, for example, a resizing block 18 that converts the number of scanning lines of the PAL system into the number of scanning lines of the NTSC system, and one line of image data in which the number of scanning lines is converted by the resizing block. A
[0027]
The image processing unit configured as described above operates as follows. The control data Dc from the
[0028]
Further, the input image data Di for one line is sequentially supplied from the image memory to the line buffers 15a, 15b, and 15c via the
[0029]
Here, in particular, in the present embodiment, in the field /
[0030]
The interpolated image data is supplied to the resize block 18. In the resize block 18, for example, the number of PAL scanning lines is converted to the number of NTSC scanning lines. The image data in which the number of scanning lines is converted is supplied to the
[0031]
Then, one line of image data in which the number of scanning lines is converted by the resizing block is read from the
[0032]
In the heat
[0033]
The heat-corrected image data is supplied to the
[0034]
Here, from the time when the image data is read from the
[0035]
Next, a specific configuration and operation of the image interpolation apparatus according to the present embodiment will be described. FIG. 3 shows the configuration of the field /
[0036]
The simple enlargement unit 30 includes a double upsampling circuit 31 and a zero-order hold circuit 32. The double upsampling circuit 31 is used for the digital image data Gi-1, jA double upsampling circuit 31a for sampling the digital image data Gi, j
[0037]
FIG. 4 shows functional blocks of the edge detection unit. The functional block shown in FIG. 4 corresponds to the edge detection unit 33 shown in FIG. The edge detection unit includes a maximum
[0038]
FIG. 5 shows functional blocks of the two-dimensional adaptive filter. The functional blocks shown in FIG. 5 correspond to the two-dimensional adaptive filter 34 shown in FIG. This two-dimensional adaptive filter includes an edge direction correspondence coefficient selection means 50 and a coefficient 51 (H1~ H8).
[0039]
The operation of the field /
First, the operation of the simple enlargement unit 30 will be described. In the double upsampling circuit 31a, the digital image data Gi-1, jAre sampled at twice the sampling frequency, and the digital up-
[0040]
A value at the original sampling time and a value of 0 (zero) at the double sampling time are supplied to the zero-
[0041]
Next, the operation of the edge detector will be described. First, the local maximum inclination direction of the image is detected by the maximum inclination
[0042]
[Expression 1]
grad f (x, y) = (∂f (x, y) / ∂x, ∂f (x, y) / ∂y)
[0043]
The direction perpendicular to the vector expressed by
[0044]
[Expression 2]
(Pi, j, Qi, j) = (Gi + 1, j-Gi, j, Gi, j + 1-Gi, j)
[0045]
Further, when calculating in a large area in order to match the phase, it can be expressed by a vector of
[0046]
[Equation 3]
(Pi, j, Qi, j) = ((Gi + 1, j + 1+ Gi + 1, j+ Gi + 1, j-1)-(Gi-1, j + 1+ Gi-1, j+ Gi-1, j-1), (Gi + 1, j + 1+ Gi, j + 1+ Gi-1, j + 1)-(Gi + 1, j-1+ Gi, j-1+ Gi-1, j-1))
[0047]
This vector (pi, j, Qi, jA vector perpendicular to) is obtained as shown in FIG. That is, in the 3 × 3 image block surrounding the interpolation target pixel, the pixel indicated by the narrow diagonal line has the image data value of zero, the pixel indicated by the wide diagonal line has the intermediate value of the image data, and the blank pixel is The value of the image data is the maximum value. At this time, the vector (pi, j, Qi, j) Indicates the direction from the pixel having the image data value of zero and the intermediate value to the pixel having the maximum value. In this case, in FIG. 6, the three pixels at the lower left are zero, the three pixels including the interpolation target pixel from the upper left to the lower right are intermediate values, and the three upper right pixels are the maximum values. Therefore, the vector of the pixel to be interpolated is in the upper right direction. A vector perpendicular to this vector is a vector (−q) that is the direction of three intermediate pixels including the pixel to be interpolated diagonally up or down to the left.i, j, Pi, j) Or vector (qi, j, -Pi, j). And this vector (−qi, j, Pi, j) Or vector (qi, j, -Pi, j) Corresponds to the edge direction.
[0048]
Next, when the image is simply doubled in the j main scanning direction (line direction) by the simple enlargement unit 30, the vector (pi, j, Qi, j) Is a vector (2p)i, j, Qi, j) And vector (2p)i, j, Qi, jA vector perpendicular to) is obtained as shown in FIG. That is, in the 3 × 6 image block surrounding the interpolation target pixel doubled in the j main scanning direction, the pixel indicated by the narrow diagonal line has the value of the image data zero, and the pixel indicated by the wide diagonal line has the value of the image data. It is an intermediate value, and a blank pixel has a maximum value of image data. At this time, each pixel shown in FIG. 6 is doubled in the j main scanning direction. Vector (2pi, j, Qi, j) Indicates the direction from the pixel having the image data value of zero and the intermediate value to the pixel having the maximum value. In this case, in FIG. 7, the six pixels at the lower left are zero, the six pixels including the interpolation target pixel doubled in the j main scanning direction from the upper left to the lower right are intermediate values, and the upper right Since these six pixels are the maximum values, the vector of the interpolation target pixel is diagonally upward to the right. The vector perpendicular to this vector is the vector (−q), which is the direction of six intermediate pixels including the interpolation target pixel doubled in the j main scanning direction to the upper left or lower right.i, j, 2pi, j) Or vector (qi, j, -2pi, j). And this vector (−qi, j, 2pi, j) Or vector (qi, j, -2pi, j) Corresponds to the edge direction. This vector is the slope of the straight line in this direction ai, jIs expressed by
[0049]
[Expression 4]
ai, j= Tan θi, j= -2pi, j/ Qi, j
This ai, jThe local edge direction of the image can be expressed by the value of.
[0050]
Next, details of such edge direction detection will be described. Image data Gi, jImage data obtained by enlarging the image data twice in the main scanning directioni, kThen, it becomes like
[0051]
[Equation 5]
[0052]
Spatial first derivative (pi, j, Qi, j) Is the amount of image data g after double enlargementi, k(Ri, k, Si, k) Is obtained by the equation (6).
[0053]
[Formula 6]
[0054]
Here, max [*, *] represents the larger absolute value. Thus, (ri, k, Si, k) Shows that the phase in the double magnified image is taken into consideration.
[0055]
Further, the secondary differential values in the i and k directions are calculated, and when the absolute value is small, it is determined that the curvature of the image curved surface is small, and
[0056]
[Expression 7]
[0057]
Thus, when the secondary differential values in the i and k directions are small, erroneous detection can be prevented by calculating the inclination vector in a large area. Vector (ri, k, Si, k), The slope a representing the local edge direction of the image by the equation (4).i, jThe amount corresponding to is the slope bi, kIs expressed by the following equation (8).
[0058]
[Equation 8]
bi, k= -2ri, k/ Si, k
[0059]
The slope b obtained in this wayi, kThe edge direction of the image is divided into eight areas including at least a horizontal direction 43, a vertical direction 44, and an oblique direction 45 as shown in FIG. The slope a previously obtainedi, jThis is the same even if the edge direction of the image is divided by the value of, so FIG. 8 shows an example in which the region is divided into eight. Region (1) is tilt ai, jIs positive and less than or equal to 3/4. Region (2) is tilt ai, jIs greater than 3/4 and less than or equal to 3/2. Region (3) is tilt ai, jIs greater than 3/2 and 4 or less. Area (4) is tilt ai, jWhen the absolute value of is greater than 4. Area (5) is tilt ai, jIs negative and is -3/4 or more. Region (6) is tilt ai, jIs less than −3/4 and −3/2 or more. Area (7) is tilt ai, jIs less than −3/2 and equal to or greater than −4. Area (8) is pi, jThis is when the absolute value of is less than or equal to a constant. That is, the area (8) is the horizontal direction 43, the area (4) is the vertical direction 44, the area (1), the area (2), the area (3), the area (5), the area (6), and the area (7) are An oblique direction 45.
[0060]
Next, in FIG. 8, the edge direction designation means 42 detects the oblique directions 45 such as the region (1), the region (2), the region (3), the region (5), the region (6), and the region (7). In such a case, the right-angle corner pattern detection means 46 detects a right-angle corner pattern such as a character shown in FIG. In FIG. 9, in a 3 × 3 image block surrounding a pixel to be interpolated, a pixel indicated by a narrow diagonal line has an image data value of zero, and a pixel indicated by a wide diagonal line has an intermediate value of the image data and is blank. The pixel has the maximum value of the image data. At this time, the vector (pi, j, Qi, j) Indicates the direction from the pixel having the image data value of zero and the intermediate value to the pixel having the maximum value. In this case, in FIG. 9, the two pixels at the lower left are zero, the two pixels including the interpolation target pixel are intermediate values, and the remaining five pixels extending from the top to the right are the maximum values. The pixel vector is detected as an upper right diagonal direction. The vector perpendicular to this vector is a vector (−q that is two directions to the upper left or the lower right even though the intermediate pixel including the interpolation target pixel is in the j direction.i, j, Pi, j) Or vector (qi, j, -Pi, j) Is detected. And this vector (−qi, j, Pi, j) Or vector (qi, j, -Pi, j) Corresponds to the edge direction.
[0061]
However, since the right-angle corner pattern as shown in FIG. 9 is not a natural image but is included in many artificial images such as characters, the vector (−qi, j, Pi, j) Or vector (qi, j, -Pi, j) Is detected as the edge direction, the character shape is distorted. Therefore, in order to detect this right-angled corner pattern, the inclination of surrounding pixels is calculated as shown in
[0062]
[Equation 9]
dmi, j= Gi + 2, k-Gi + 2, k-2
dni, k= Gi, k + 2-Gi-2, k-2
dh1i, k= Gi, k-Gi + 2, k
dh2i, k= Gi, k-2-Gi + 2, k-2
[0063]
At this time, dmi, kAnd dni, kThe absolute value of dh1 is small and dh1i, kAnd dh2i, kIs regarded as a right-angle corner pattern, the horizontal direction 43 of the region (8) is selected in FIG. In other cases, similar processing is performed, and deformation of artificial images such as characters can be suppressed by the detection processing of the right-angled corner pattern. In this way, the local edge direction of the image is detected.
[0064]
Next, the operation of the two-dimensional adaptive filter will be described. In accordance with the edge directions of the areas {circle around (1)} to {circle around (8)} shown in FIG. 8 detected by the edge detection unit, the edge direction corresponding coefficient selection means 50 of the two-dimensional adaptive filter gives the coefficient 51 to FIG. 10 and FIG. H1(Zi, Zj) ~ H8(Zi, Zj). In FIG. 10, H1(Zi, Zj) Are 0, 0, 0, +5/16, +5/16, -3/32, and -1/32 in the j main scanning direction with respect to the first line in the i sub-scanning direction, On the other hand, it is 0, 0, 0, 0, 0, 0, 0 in the j main scanning direction, and −1/32, −3/32, +5/16, + 5 / 16,0,0,0. H2(Zi, Zj) Is 0, 0, 0, 0, +5/16, −3/32, −1/32 in the j main scanning direction with respect to the first line in the i sub scanning direction, and with respect to the second line. , 0, 0, 0, +5/8, 0, 0, 0 in the j main scanning direction, and -1/32, -3/32, +5/16, in the j main scanning direction with respect to the third line. 0, 0, 0, 0. HThree(Zi, Zj) Is 0, 0, 0, 0, +5/32, -3/32, -1/32 in the j main scanning direction with respect to the first line in the i sub scanning direction, and with respect to the second line. , 0, 0, +5/32, +5/8, +5/32, 0, 0 in the j main scanning direction, and −1/32, −3/32 in the j main scanning direction with respect to the third line. +5/32, 0, 0, 0, 0. HFour(Zi, Zj) Is 0, 0, 0, 0, 0, 0, 0 in the j main scanning direction with respect to the first line in the i sub-scanning direction, and -1 in the j main scanning direction with respect to the second line. / 32, -3/32, +5/16, +5/8, +5/16, -3/32, -1/32, and 0, 0, 0, 0, 0, 0, 0.
[0065]
Further, in FIG.Five(Zi, Zj) Are -1/32, -3/32, +5/16, +5/16, 0, 0, 0 in the j main scanning direction with respect to the first line in the i sub scanning direction, and the second line Is 0, 0, 0, 0, 0, 0, 0 in the j main scanning direction, and 0, 0, 0, +5/16, +5/16 in the j main scanning direction with respect to the third line. , −3/32, and −1/32. H6(Zi, Zj) Is -1/32, -3/32, +5/16, 0, 0, 0, 0 in the j main scanning direction with respect to the first line in the i sub scanning direction, and with respect to the second line. 0, 0, 0, +5/8, 0, 0, 0 in the j main scanning direction, and 0, 0, 0, 0, +5/16, − in the j main scanning direction with respect to the third line. 3/32 and -1/32. H7(Zi, Zj) Is −1/32, −3/32, +5/32, 0, 0, 0, 0 in the j main scanning direction with respect to the first line in the i sub scanning direction, and Thus, 0, 0, +5/32, +5/8, +5/32, 0, 0 in the j main scanning direction, and 0, 0, 0, 0, +5 in the j main scanning direction with respect to the third line. / 32, -3/32, and -1/32. H8(Zi, Zj) Is 0, 0, 0, +5/32, 0, 0, 0 in the j main scanning direction with respect to the first line in the i sub-scanning direction, and in the j main scanning direction with respect to the second line. -1/32, -3/32, +5/32, +5/8, +5/32, -3/32, -1/32, and 0, 0, 0 in the j main scanning direction with respect to the third line. 0, +5/32, 0, 0, 0.
[0066]
Since each filter operation using these coefficients is performed in the j main scanning direction, it is sufficient to have an image memory of about 3 lines inside. Further, since the filter coefficient is a multiple of 2, it can be realized as hardware relatively inexpensively.
[0067]
The coefficient H of such a two-dimensional adaptive filter1(Zi, Zj) ~ H8(Zi, Zj) Frequency characteristics are shown in FIGS. This frequency characteristic indicates a gain for two dimensions of the X frequency and the Y frequency, respectively. H in FIG.Five(Zi, Zj) Frequency characteristics. Where H1(Zi, Zj) Frequency characteristics are reversed left and right when X = 0. H in FIG.6(Zi, Zj) Frequency characteristics. Where H2(Zi, Zj) Frequency characteristics are reversed left and right when X = 0. H in FIG.7(Zi, Zj) Frequency characteristics. Where HThree(Zi, Zj) Frequency characteristics are reversed left and right when X = 0. Thus, H1(Zi, Zj), H2(Zi, Zj), HThree(Zi, Zj) Frequency characteristics are HFive(Zi, Zj), H6(Zi, Zj), H7(Zi, Zj) Is inverted in the i sub-scanning direction. H in FIG.Four(Zi, Zj) Frequency characteristics. In FIG.8(Zi, Zj) Frequency characteristics.
[0068]
These filter coefficients have directionality and constitute a two-dimensional low-pass filter, which cuts the jagged component in the edge direction and preserves the sharpness of the edge in the direction perpendicular to it. Therefore, the edges in the diagonal direction are smoothly interpolated without becoming jagged.
[0069]
In addition, since a low-pass filter having better characteristics than a method using an average value of pixels can be configured, blurring of an image can be suppressed. Furthermore, since these filters are applied to a simple double-enlarged image, there is an advantage that the horizontal edges are preserved without blurring compared to a method using an average value of pixels.
[0070]
As described above, according to this embodiment, it is possible to obtain a high-quality interpolated image in which oblique edges are smoothly interpolated, the image is less blurred, and characters and the like are less deformed.
[0071]
In addition, the present invention is not limited to the above example, and a low-resolution image may be printed at a high resolution in a digital color printer, or may be configured by software for increasing the resolution of an image on a computer.
[0072]
In addition, after interpolation into a doubled pixel using this embodiment, resolution conversion may be performed by a resolution conversion unit having a free magnification. In this case, the resolution conversion is performed by a resolution conversion unit having a free magnification alone. Compared to the case of applying, an output image with higher image quality can be obtained.
[0073]
【The invention's effect】
The image interpolating apparatus according to the present invention has an edge detection unit that detects a local edge direction of an image, and a frequency characteristic of the selected coefficient by selecting a coefficient based on the edge direction detected by the edge detection unit. Filter means for filtering the frequency band with a predetermined gain and interpolating a specific pixel of the image twice in one direction, so that the jagged component in the edge direction is cut and perpendicular to this By preserving the sharpness of the edge in the direction, it is possible to obtain a high-quality interpolated image in which oblique edges are smoothly interpolated, the image is less blurred, and there is little deformation of characters and the like.
[0074]
In the image interpolating apparatus according to the present invention, in the above description, the edge detecting unit includes a maximum tilt direction detecting unit that detects a local maximum tilt direction of the image, and a maximum tilt direction detected by the maximum tilt detecting unit. Vertical direction detecting means for detecting the vertical direction as an edge direction, and edge direction area specifying means for dividing the edge direction detected by the vertical direction detecting means into a plurality of areas and specifying the area to which the edge direction belongs Thus, there is an effect that a local edge direction of an image can be detected and a filter can be applied by changing a coefficient according to the edge direction.
[0075]
In the image interpolating apparatus according to the present invention, in the above description, the filter means is a two-dimensional digital filter, and a coefficient having a frequency characteristic having directionality is detected by the edge detecting means among the coefficients. Since there is an edge direction corresponding coefficient selecting means for selecting a coefficient corresponding to the edge direction, there is an effect that it is possible to apply a filter with different frequency characteristics by changing the coefficient according to the edge direction.
[0076]
In the image interpolating apparatus according to the present invention, the edge detecting means includes a maximum inclination direction detecting means for detecting a local maximum inclination direction of the image, and a direction perpendicular to the maximum inclination direction detected by the maximum inclination detecting means. Vertical direction detection means for detecting the edge direction as an edge direction, edge direction detection means for dividing the edge direction detected by the vertical direction detection means into a plurality of areas, and specifying the area to which the edge direction belongs, and the edge direction When the edge direction is detected as an oblique direction by the area designating means and when it is detected that the pixel to be interpolated is a right-angled corner of the image, the edge direction by the edge direction area designating means Since it has a right-angled corner pattern detection means for selecting a horizontal direction, it is possible to suppress deformation of images such as characters having a right-angled corner pattern. An effect that can be.
[0077]
Further, the image interpolation method of the present invention detects a local edge direction of an image, selects a coefficient based on the detected edge direction, and determines a predetermined frequency band according to a frequency characteristic of the selected coefficient. Filtering by gain and interpolating specific pixels in the above image twice in one direction. By cutting the jagged component in the edge direction and preserving the sharpness of the edge in the direction perpendicular to this. As a result, it is possible to obtain a high-quality interpolated image in which oblique edges are smoothly interpolated, the image is less blurred, and there is little deformation of characters and the like.
[0078]
In the image interpolation method of the present invention, the edge detection is detected by detecting a local maximum inclination direction of the image and detecting a vertical direction with respect to the detected maximum inclination direction as an edge direction. Since the edge direction is divided into a plurality of regions and the region to which the edge direction belongs is specified, the local edge direction of the image is detected, and the filter is changed by changing the coefficient according to the edge direction. There is an effect that can be applied.
[0079]
In the image interpolation method of the present invention, in the above description, the filter is a two-dimensional digital filter, and is a coefficient corresponding to the edge direction detected by the edge detection among coefficients having frequency characteristics having directionality. Thus, there is an effect that it is possible to apply a filter with different frequency characteristics by changing the coefficient according to the edge direction.
[0080]
Further, in the image interpolation method of the present invention, in the above description, the edge detection detects a local maximum inclination direction of the image, detects a direction perpendicular to the detected maximum inclination direction as an edge direction, The detected edge direction is divided into a plurality of regions having at least a horizontal direction, a vertical direction, and an oblique direction, the region to which the edge direction belongs is specified, and the edge direction belongs to the oblique direction and is interpolated. When the right pixel of the image is detected as a right-angled corner, the horizontal direction is selected as the edge direction, so that it is possible to suppress deformation of the image such as characters having a right-angled corner pattern. There is an effect.
[0081]
According to another aspect of the present invention, there is provided a video printer that performs predetermined interpolation processing on image data of a video image, and detects a local edge direction of the image in a video printer that prints with the print head using the interpolated image data. Edge detecting means, and filter means for selecting a coefficient according to the edge direction detected by the edge detecting means and filtering the predetermined frequency band with a predetermined gain according to the frequency characteristic of the selected coefficient, Since the specific pixel of the image is printed by interpolating twice in one direction, by cutting the jagged component in the edge direction and preserving the sharpness of the edge in the direction perpendicular thereto, the oblique edge is Prints high-quality interpolated images that are smoothly interpolated, with less blurring of the image, and less deformation of characters, etc. An effect that can be obtained force.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a video printer to which an image interpolation apparatus according to an embodiment is applied.
FIG. 2 is a block diagram of an image processing unit according to the present embodiment.
FIG. 3 is a block diagram showing a configuration of a field / frame interpolation block according to the present embodiment.
FIG. 4 is a functional block diagram of an edge detection unit according to the present embodiment.
FIG. 5 is a functional block diagram of a two-dimensional adaptive filter according to the present embodiment.
FIG. 6 is a diagram illustrating an inclination vector of an image according to the present embodiment.
FIG. 7 is a diagram illustrating an inclination vector of an interpolation image according to the present embodiment.
FIG. 8 is a diagram illustrating a region in an edge direction of an image according to the present embodiment.
FIG. 9 is a diagram showing a right-angled corner pattern according to the present embodiment.
FIG. 10 is a diagram illustrating coefficients of a two-dimensional adaptive filter according to the present embodiment.
FIG. 11 is a diagram illustrating coefficients of a two-dimensional adaptive filter according to the present embodiment.
FIG. 12 is a coefficient H according to the present embodiment.Five(Zi, Zj) Frequency characteristics (H1(Zi, Zj) Is a diagram showing the frequency characteristics of the left and right inverted when X = 0).
FIG. 13 is a coefficient H according to the present embodiment.6(Zi, Zj) Frequency characteristics (H2(Zi, Zj) Is a diagram showing the frequency characteristics of the left and right inverted when X = 0).
FIG. 14 is a coefficient H according to the present embodiment.7(Zi, Zj) Frequency characteristics (HThree(Zi, Zj) Is a diagram showing the frequency characteristics of the left and right inverted when X = 0).
FIG. 15 shows a coefficient H according to the present embodiment.Four(Zi, ZjIt is a figure which shows the frequency characteristic of ().
FIG. 16 shows a coefficient H according to the present embodiment.8(Zi, ZjIt is a figure which shows the frequency characteristic of ().
[Explanation of symbols]
1 video input unit, 2 A / D converter, 3 memory control unit, 4 image memory, 5 switch unit, 6 system control unit, 7 mechanism control unit, 8 mechanism, 9 image processing unit, 10 non-linear interpolation block (field / Frame interpolation block), 11 thermal head, 12 registers, 13 main scanning direction controller, 14 sub scanning direction controller, 15 line buffer, 16 sub scanning interpolation block, 17 linear interpolation block, 18 resize block, 19 line buffer, 20 editing function Block, 21 Line buffer, 22 Sharpness block, 23 Thermal storage correction memory (short time constant), 24 Thermal storage correction memory (long time constant), 25 Thermal storage correction block, 26 Dither block, Dc System controller control data, Di input image data , Do Output image data, 30 Simple enlargement unit, 31 Double upsampling circuit, 32 Zero order hold circuit, 33 Edge detection unit, 34 Two-dimensional adaptive filter, 40 Maximum inclination direction detection unit, 41 Vertical direction detection unit, 42 Edge direction region Designating means, 43 horizontal direction area, 44 vertical direction area, 45 oblique direction area, 46 right angle corner pattern detection means, 50 edge direction corresponding coefficient selection means, 51 coefficient (having frequency characteristics with directionality)
Claims (2)
上記エッジ検出手段は、
上記画像の局所的な最大傾き方向を検出する最大傾き方向検出手段と、
上記最大傾き検出手段により検出された最大傾き方向と垂直方向をエッジ方向として検出する垂直方向検出手段と、
上記垂直方向検出手段により検出されたエッジ方向を複数の領域に仮想的に分割し、上記エッジ方向が属する領域を指定するエッジ方向領域指定手段と、
上記エッジ方向領域指定手段によりエッジ方向が斜め方向であると検出された場合であって、補間すべき画素が画像のうちの直角の角部であることを検出したとき、上記エッジ方向領域指定手段によるエッジ方向を主走査方向に対して水平方向に選択する直角コーナーパターン検出手段と、
を有することを特徴とする画像補間装置。 The simple enlargement means for simply magnifying the image twice, the edge detection means for detecting the local edge direction of the image, and the coefficient selected by selecting the coefficient according to the edge direction detected by the edge detection means Filter means for applying a filter with a predetermined gain to a predetermined frequency band according to the frequency characteristics possessed by the edge detection means by the edge detection means for the pixels of the image that have been doubled in the main scanning direction by the simple enlargement means. In the image interpolating apparatus that detects the edge direction and filters the detected edge direction by the filter means,
The edge detection means includes
Maximum inclination direction detecting means for detecting a local maximum inclination direction of the image;
Vertical direction detection means for detecting the maximum inclination direction and the vertical direction detected by the maximum inclination detection means as an edge direction;
An edge direction area specifying means for virtually dividing the edge direction detected by the vertical direction detecting means into a plurality of areas and specifying the area to which the edge direction belongs;
When the edge direction region designation means detects that the edge direction is an oblique direction, and detects that the pixel to be interpolated is a right-angled corner of the image, the edge direction region designation means A right-angled corner pattern detecting means for selecting the edge direction by the horizontal direction with respect to the main scanning direction ;
An image interpolation apparatus characterized by comprising:
上記エッジ検出は、上記画像の局所的な最大傾き方向を検出し、
検出された上記最大傾き方向に対して垂直方向をエッジ方向として検出し、
検出された上記エッジ方向を少なくとも水平方向、垂直方向、斜め方向を有する複数の領域に仮想的に分割し、上記エッジ方向が属する領域を指定し、
上記エッジ方向が斜め方向に属する場合であって、
補間すべき画素が画像のうちの直角の角部であることを検出したとき、上記エッジ方向は主走査方向に対して水平方向を選択する、
ようにしたことを特徴とする画像補間方法。 The image is simply magnified twice, the local edge direction of the image is detected, the coefficient is selected based on the detected edge direction, and the frequency characteristic of the selected coefficient is used to determine the predetermined frequency band. In an image interpolation method in which the edge direction is detected with respect to the pixel of the image that has been doubled in the main scanning direction when filtering is performed by the gain, and the detected edge direction is filtered. ,
The edge detection detects the local maximum tilt direction of the image,
Detecting the vertical direction as the edge direction with respect to the detected maximum inclination direction,
The detected edge direction is virtually divided into a plurality of areas having at least a horizontal direction, a vertical direction, and an oblique direction, and an area to which the edge direction belongs is designated.
The edge direction belongs to a diagonal direction,
When it is detected that the pixel to be interpolated is a right-angled corner of the image, the edge direction selects a horizontal direction with respect to the main scanning direction .
An image interpolation method characterized by the above.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31229796A JP3760531B2 (en) | 1996-11-22 | 1996-11-22 | Image interpolation apparatus and image interpolation method |
US08/975,411 US6339479B1 (en) | 1996-11-22 | 1997-11-20 | Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied |
KR1019970063136A KR100543350B1 (en) | 1996-11-22 | 1997-11-22 | Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied |
US09/878,073 US6570673B2 (en) | 1996-11-22 | 2001-06-08 | Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied |
US09/878,010 US6608699B2 (en) | 1996-11-22 | 2001-06-08 | Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31229796A JP3760531B2 (en) | 1996-11-22 | 1996-11-22 | Image interpolation apparatus and image interpolation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10155128A JPH10155128A (en) | 1998-06-09 |
JP3760531B2 true JP3760531B2 (en) | 2006-03-29 |
Family
ID=18027563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31229796A Expired - Fee Related JP3760531B2 (en) | 1996-11-22 | 1996-11-22 | Image interpolation apparatus and image interpolation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3760531B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3075269B2 (en) * | 1998-10-13 | 2000-08-14 | セイコーエプソン株式会社 | Image data interpolation method, image data interpolation device, and medium recording image data interpolation program |
US7088474B2 (en) * | 2001-09-13 | 2006-08-08 | Hewlett-Packard Development Company, Lp. | Method and system for enhancing images using edge orientation |
JP3767513B2 (en) | 2002-04-26 | 2006-04-19 | 三菱電機株式会社 | Pixel interpolation circuit, scanning line interpolation circuit, pixel interpolation method, scanning line interpolation method, and application apparatus |
CN101822037B (en) | 2007-08-15 | 2013-06-19 | 独立行政法人科学技术振兴机构 | Image processing device, method, and program |
KR100952667B1 (en) * | 2008-03-20 | 2010-04-13 | 중앙대학교 산학협력단 | Apparatus and method for image interpolation based on low-pass filtering |
JP6018468B2 (en) * | 2012-09-21 | 2016-11-02 | 日本放送協会 | Depth range calculation device and program thereof |
-
1996
- 1996-11-22 JP JP31229796A patent/JP3760531B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10155128A (en) | 1998-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100543350B1 (en) | Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied | |
EP0262801B1 (en) | Method or system for processing image data | |
EP0874330B1 (en) | Area based interpolation for image enhancement | |
AU761896B2 (en) | Image reconstruction architecture | |
EP0949585B1 (en) | Apparatus and method for image data interpolation | |
JP2577748B2 (en) | Image signal interpolation method and image signal processing apparatus for implementing the method | |
US20080266580A1 (en) | Scaling methods for binary image data | |
JP2000339449A (en) | Picture processor and picture processing method | |
JP3760531B2 (en) | Image interpolation apparatus and image interpolation method | |
JP4065462B2 (en) | Image processing apparatus and image processing method | |
JP2000341505A (en) | Image processor | |
US6181834B1 (en) | Hybrid image reduction method and apparatus with moir{acute over (e)} suppression | |
JP3310744B2 (en) | Resolution converter | |
JP2006221221A (en) | Generation of high resolution image using two or more low resolution image | |
EP0814429A2 (en) | An image processing system | |
JP2777202B2 (en) | Image processing device | |
JP4730525B2 (en) | Image processing apparatus and program thereof | |
JPH07221976A (en) | Smoothing magnification processing method for binary image data | |
JP3503136B2 (en) | Pixel interpolation device and pixel interpolation method | |
JPH10164468A (en) | Image resolution converter, image resolution converting method and video printer | |
JP3462423B2 (en) | Medium recording print control program, print control device, and print control method | |
JPH0662230A (en) | Image forming device | |
JP2807231B2 (en) | Pixel density conversion method and device | |
JP2962310B1 (en) | Image processing apparatus, image processing method, and medium recording image processing program | |
JPH10191058A (en) | Image processing method and image processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050214 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050329 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050527 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051006 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060102 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |