JP3760531B2

JP3760531B2 - Image interpolation apparatus and image interpolation method

Info

Publication number: JP3760531B2
Application number: JP31229796A
Authority: JP
Inventors: 正樹岸本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-11-22
Filing date: 1996-11-22
Publication date: 2006-03-29
Anticipated expiration: 2016-11-22
Also published as: JPH10155128A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば、ビデオプリンターにおける画素の補間処理に適用して好適な画像補間装置、画像補間方法に関する。
【０００２】
【従来の技術】
近年、昇華式カラープリンターの高精細化が進んでいるが、入力画像はビデオ信号程度の解像度が主流であり、高解像度のものは余り普及していない。つまり、プリンター側では高解像度のプリントが可能であるにもかかわらず、これに比べて入力画像データの解像度が低い。そこで、高解像度のプリントを行う場合には、プリンター内部で画像データに所定の補間処理を施して、疑似的に高解像度の画像データにする必要がある。しかし、画像データの補間処理の方法によってプリント出力の画質が大きく左右されるため、より高画質な補間処理方法が求められていた。
【０００３】
昇華式カラープリンターでは、サーマルヘッドの移動方向、つまり副走査方向についてはアナログ的に階調を変化させることにより解像度を制御できるので、主に１ライン分のプリントを行うように配列されたサーマルヘッドの発熱素子の方向、つまり主走査方向の画像補間が必要とされる。すなわち、画像に対して主走査方向の画素を２倍に補間する処理が求められていた。このような、画像補間方法として、第１に同じ画素を２画素ずつ並べて単純に２倍に拡大する単純拡大方式、第２に上下方向の平均値を補間画素に用いる平均値補間方式などが主に用いられていたが、第３に近傍画素の情報を用いた高度な補間処理として近傍画素の大小関係のパターンによって、斜め方向の平均値を補間画素に用いるパターン認識平均値補間方式があった。
【０００４】
【発明が解決しようとする課題】
ところが、従来の画像補間方式では、以下に述べるような問題点があった。つまり、第１の単純拡大方式では、画像のエッジの画素が保存されるため画像のボケはないが、斜め方向のエッジがギザギザになり、画像の品質が低下するという不都合があった。また、第２の平均値補間方式では、平均値を補間画素とするため画像がボケてしまい、斜め方向のエッジのギザギザが少し残るという不都合があった。また、第３のパターン認識平均値補間方式では、斜め方向のエッジは滑らかに補間されるが、平均値を補間画素とするため画像がボケてしまい、さらに、文字などの人工画像においては直角コーナーが斜めに補間されるため、文字が変形してしまうという不都合があった。
【０００５】
この発明は、かかる点に鑑みてなされたものであり、画像のボケを無くすと共に、文字などの変形を無くすことができる画像補間装置および画像補間方法の提供を目的とする。
【０００６】
【課題を解決するための手段】
この発明の画像補間装置は、画像を単純に２倍に拡大する単純拡大手段と、画像の局所的なエッジ方向を検出するエッジ検出手段と、上記エッジ検出手段により検出されたエッジ方向により係数を選択して選択された上記係数の有する周波数特性により所定周波数帯域に対して所定ゲインでフィルターをかけるフィルター手段と、備え、上記単純拡大手段により主走査方向に２倍に拡大した上記画像の画素に対して上記エッジ検出手段によりエッジ方向を検出し、検出されたエッジ方向に上記フィルター手段によりフィルターをかけるようにした画像補間装置において、エッジ検出手段は、画像の局所的な最大傾き方向を検出する最大傾き方向検出手段と、最大傾き検出手段により検出された最大傾き方向と垂直方向をエッジ方向として検出する垂直方向検出手段と、垂直方向検出手段により検出されたエッジ方向を複数の領域に仮想的に分割し、エッジ方向が属する領域を指定するエッジ方向領域指定手段と、エッジ方向領域指定手段によりエッジ方向が斜め方向であると検出された場合であって、補間すべき画素が画像のうちの直角の角部であることを検出したとき、エッジ方向領域指定手段によるエッジ方向を主走査方向に対して水平方向に選択する直角コーナーパターン検出手段と、を有するものである。
【０００７】
また、この発明の画像補間方法は、画像を単純に２倍に拡大し、画像の局所的なエッジ方向を検出し、検出された上記エッジ方向により係数を選択して選択された上記係数の有する周波数特性により所定周波数帯域に対して所定ゲインでフィルターをかけ、上記単純拡大する際に主走査方向に２倍に拡大した上記画像の画素に対してエッジ方向を検出し、検出されたエッジ方向にフィルターをかけるようにした画像補間方法において、エッジ検出は、上記画像の局所的な最大傾き方向を検出し、検出された最大傾き方向に対して垂直方向をエッジ方向として検出し、検出されたエッジ方向を少なくとも水平方向、垂直方向、斜め方向を有する複数の領域に仮想的に分割し、エッジ方向が属する領域を指定し、エッジ方向が斜め方向に属する場合であって、補間すべき画素が画像のうちの直角の角部であることを検出したとき、エッジ方向は主走査方向に対して水平方向を選択する、ものである。
【０００９】
この発明の画像補間装置および画像補間方法によれば以下の作用をする。
まず、エッジ検出手段の作用を説明する。最大傾き方向検出手段により画像の局所的な最大傾き方向が検出される。そして、垂直方向検出手段により最大傾き方向に垂直な方向をエッジ方向として検出するようにする。以下に、局所的な傾き情報によるエッジ検出方法を説明する。一般に、滑らかなアナログ画像の関数に対して、その局所的な最大傾き方向は、空間１次微分により表すことができる。
【００１０】
この空間１次微分で表すベクトルに垂直な方向がエッジ方向に相当する。同様に、ディジタル画像データに対して、その局所的な最大傾き方向は、一般にベクトルで表すことができる。
【００１１】
このベクトルに垂直なベクトルを求める。つまり、補間対象画素を囲む画像ブロックにおいて、画像データの値がゼロの画素、画像データの値が中間値の画素、画像データの値が最大値の画素、がある。このとき、ベクトルは、画像データの値がゼロ、中間値の画素から最大値の画素の方向を示す。そして、このベクトルに垂直なベクトルの方向がエッジ方向に相当する。
【００１２】
このようにして得られたエッジ方向の傾きの値によって、エッジ方向領域指定手段によって画像のエッジ方向を少なくとも水平方向、垂直方向、斜め方向を含む８つの領域に分割する。
【００１３】
次に、エッジ検出手段により、斜め方向が検出された場合に、直角コーナーパターン検出手段により文字などの直角コーナーパターンの検出が行われる。補間対象画素を囲む画像ブロックにおいて、画像データの値がゼロの画素、画像データの値が中間値の画素、画像データの値が最大値の画素がある。このとき、ベクトルは、画像データの値がゼロ、中間値の画素から最大値の画素の方向を示す。そして、このベクトルに垂直なベクトルは、補間対象画素を含む中間値の画素の方向にもかかわらず、周辺のゼロの画素の影響により決める方向のベクトルとして検出される。そして、このベクトルの方向がエッジ方向に相当する。
【００１４】
ところが、直角コーナーパターンは、自然画像ではなく、文字などの人工画像に多く含まれるため、ベクトルの方向がエッジ方向として検出されると、文字の形が歪んでしまう。そこで、この直角コーナーパターンを検出するために周辺画素の傾きを計算する。
【００１５】
このとき、周辺画素の傾きの絶対値が小さく、かつ同符号ならば、直角コーナーパターンとみなし、水平方向が選択される。この直角コーナーパターンの検出処理によって文字などの人工画像の変形を抑えることができる。このようにして、画像の局所的なエッジ方向が検出される。
【００１６】
次に、フィルター手段の作用を説明する。エッジ検出手段において検出されたエッジ方向に応じて、２次元適応フィルターのエッジ方向対応係数選択手段は係数を切り換える。これらのフィルター係数は方向性を持ったものであり、２次元ローパスフィルターを構成し、これにより、エッジ方向のギザギザ成分をカットし、これに垂直な方向のエッジの急峻さを保存するような特性を持っているので、斜め方向のエッジがギザギザにならずに滑らかに補間される。
【００１７】
また、画素の平均値を用いる方法に比べて特性の良いローパスフィルターを構成することができるので、画像のボケを抑えることができる。さらに、これらのフィルターは、単純２倍拡大画像に対して施されるため、画素の平均値を用いる方法に比べて水平方向のエッジがボケずに保存される。
このように、斜めエッジが滑らかに補間され、画像のボケが少なく、文字などの変形も少ない、高画質の補間画像を得ることができる。
【００１８】
【発明の実施の形態】
以下に、本実施の形態を説明する。本実施の形態の画像補間装置は、ディジタル画像に対して、画像を単純に２倍に拡大した後に、局所的なエッジ方向を検出して、その方向のギザギザの周波数成分をカットするような方向性を持った２次元適応ディジタルフィルターによって画像補間を行うことにより、斜め方向のエッジを滑らかに補間して、画像のボケを少なくすると共に、文字などの変形の少ない、高画質な補間画像を得ることができるものである。
【００１９】
まず、本実施の形態の画像補間装置を適用するカラービデオプリンターについて説明する。このカラービデオプリンターは、ビデオ信号を入力するビデオ入力部１と、ビデオ入力部１から入力されたアナログのビデオ信号を量子化してディジタル信号に変換するＡ／Ｄ変換器２と、ディジタルビデオ信号を１フレーム分のディジタルビデオ信号のデータを記憶して保持するフレームメモリとしての画像メモリ４と、画像メモリ４に対するディジタルビデオ信号の書き込み及び読み出しを制御するメモリ制御部３と、各種設定を行うスイッチ部５と、スイッチ部５における設定に基づいてメモリ制御部の動作を制御するシステム制御部６と、システム制御部６からの制御によりメカ機構の動作を制御する機構制御部７と、機構制御部７により動作される印画用紙送りモーター等のメカ機構８と、メカ機構８の印画用紙送りモーターによる印画用紙の送り出しに同期して画像メモリ４から１ラインずつのディジタルビデオ信号のデータを受け取り、各種画像処理を施す画像処理部９と、印画用紙に画像処理を施されたディジタルビデオ信号のデータをプリントするサーマルヘッド１１とを有する。
【００２０】
ここで、特に、本実施の形態では、画像処理部９において、ディジタル画像に対して、画像を単純に２倍に拡大した後に、局所的なエッジ方向を検出して、その方向のギザギザの周波数成分をカットするような方向性を持った２次元適応ディジタルフィルターによって画像補間を行うことにより、斜め方向のエッジに対して滑らかに画像補間を行うノンリニア補間ブロック１０を有する。
【００２１】
このように構成されたカラービデオプリンターは以下のような動作をする。ビデオ入力部１からＡ／Ｄ変換器２にビデオ信号が供給され、Ａ／Ｄ変換器２においてビデオ入力部１から供給されたアナログのビデオ信号が量子化されてディジタル信号に変換される。Ａ／Ｄ変換器２において変換されたディジタルビデオ信号はメモリ制御部３に供給される。メモリ制御部３から画像メモリ４に１フレーム分のディジタルビデオ信号のデータが記憶されるように書き込み動作が行われる。
【００２２】
スイッチ部５において設定された各種設定に基づいてシステム制御部６からメモリ制御部に対してデータの書き込みまたは読み出しの動作が制御される。また、システム制御部６から機構制御部７に対してメカ機構の動作指令が供給されると、機構制御部７により印画用紙送りモーター等のメカ機構８が動作される。そこで、システム制御部６からメモリ制御部に対して画像メモリ４からデータの読み出しの動作指令が供給される。すると、メカ機構８の印画用紙送りモーターによる印画用紙の送り出しに同期して画像メモリ４から１ラインずつのディジタルビデオ信号のデータが読み出されて画像処理部９に供給される。画像処理部９において１ラインずつのディジタルビデオ信号のデータに対して各種画像処理が施される。画像処理を施されたディジタルビデオ信号のデータはサーマルヘッド１１に供給される。サーマルヘッド１１において、この画像データの階調に応じた発熱量で印画用紙にディジタルビデオ信号のデータがプリントされる。
【００２３】
ここで、特に、本実施の形態では、画像処理部９のノンリニア補間ブロック１０において、ディジタル画像に対して、画像を単純に２倍に拡大した後に、局所的なエッジ方向を検出して、その方向のギザギザの周波数成分をカットするような方向性を持った２次元適応ディジタルフィルターによって画像補間を行うことにより、斜め方向のエッジを滑らかに補間して、画像のボケを少なくすると共に、文字などの変形の少ない、高画質な補間画像を得ることができるように画像補間が行われる。
【００２４】
次に、図２を用いて画像処理部について説明する。図２に示す画像処理部は図１に示した画像処理部９に対応する。この画像処理部は、図１に示したシステム制御部６からのコントルールデータＤｃを格納するレジスタ１２と、コントルールデータＤｃおよびレジスタ１２からのデータに基づいて画像処理部の主走査方向の動作を制御する主走査方向コントローラ１３と、コントルールデータＤｃおよびレジスタ１２からのデータに基づいて画像処理部の副走査方向の動作を制御する副走査方向コントローラ１４とを有する。
【００２５】
また、この画像処理部は、図１に示したメモリ制御部３を介して画像メモリから供給される１ライン分の入力画像データＤｉを順次１ライン毎に一時的に保持するラインバッファ１５ａ，１５ｂ，１５ｃと、ラインバッファ１５ａ，１５ｂ，１５ｃに一時的に保持された１ライン毎の入力画像データＤｉを副走査方向に補間する副走査方向補間ブロック１６と、フィールドデータに対して補間を行うリニア補間ブロック１７とを有する。ここで、特に、本実施の形態では、副走査方向の補間が施された画像データのフィールドデータおよびフレームデータのそれぞれに対して、画像を単純に２倍に拡大した後に、局所的なエッジ方向を検出して、その方向のギザギザの周波数成分をカットするような方向性を持った２次元適応ディジタルフィルターによって画像補間を行うことにより、斜め方向のエッジを滑らかに画像補間を行うフィールド／フレーム補間ブロック１０（図１に示したノンリニア補間ブロック１０に対応する。）を有する。
【００２６】
また、この画像処理部は、例えばＰＡＬ方式の走査線数をＮＴＳＣ方式の走査線数に変換するリサイズブロック１８と、リサイズブロックにより走査線数が変換された画像データの１ライン分を一時的に保持するラインバッファ１９と、画像データに対して各種編集機能を付加する編集機能ブロック２０と、１ライン分のシャープネス補正用の画像データを一時的に保持するラインバッファ２１と、強調処理を行うシャープネスブロック２２と、サーマルヘッドにおける蓄熱補正を行う蓄熱補正ブロック２５と、短時定数の応答系の蓄熱補正データを記憶する蓄熱補正メモリ２３と、長時定数の応答系の蓄熱補正データを記憶する蓄熱補正メモリ２４と、入力信号を２値化したときの一定しきい値で落とされた濃淡に相当する雑音（ディザ）を原信号に加えるディザブロック２６とを有する。
【００２７】
このように構成された画像処理部は以下のような動作をする。図１に示したシステム制御部６からのコントルールデータＤｃがレジスタ１２、主走査方向コントローラ１３及び副走査方向コントローラ１４に供給される。レジスタ１２に格納されたコントルールデータＤｃは主走査方向コントローラ１３及び副走査方向コントローラ１４に供給される。主走査方向コントローラ１３においてコントルールデータＤｃおよびレジスタ１２からのデータに基づいて画像処理部の主走査方向の動作が制御され、副走査方向コントローラ１４においてコントルールデータＤｃおよびレジスタ１２からのデータに基づいて画像処理部の副走査方向の動作が制御される。具体的には、主走査方向コントローラ１３及び副走査方向コントローラ１４から、画像補間処理用のラインバッファ１５ａ，１５ｂ，１５ｃ、リサイズおよび編集機能用のラインバッファ１９、シャープネス用のラインバッファ２１、蓄熱補正用の蓄熱補正メモリ２３、２４のそれぞれに対して制御信号が供給される。
【００２８】
また、図１に示したメモリ制御部３を介して画像メモリからラインバッファ１５ａ，１５ｂ，１５ｃに１ライン分の入力画像データＤｉが順次供給される。つまり、ラインバッファ１５ａには１ライン後の画像データＤｉ＋１が一時的に保持され，ラインバッファ１５ｂには現在のラインの画像データＤｉが一時的に保持され，ラインバッファ１５ｃには１ライン前の画像データＤｉ−１が一時的に保持される。ラインバッファ１５ａ，１５ｂ，１５ｃに一時的に保持された１ライン毎の入力画像データＤｉ＋１、Ｄｉ、Ｄｉ−１が副走査方向補間ブロック１６に供給される。副走査方向補間ブロック１６において、入力画像データＤｉ＋１、Ｄｉ、Ｄｉ−１は副走査方向に補間される。例えば、副走査方向補間ブロック１６において、フィールドデータが補間されて、画像データが９０度回転されて、副走査方向に２枚のプリント出力を得るようにして、副走査方向の補間が行われる。副走査方向の補間が行われた画像データまたは副走査方向の補間が行われずにスルーした画像データはフィールド／フレーム補間ブロック１０に供給される。なお、副走査補間が行われたときは、後段のフィールド／フレーム補間ブロック１０においてフィールド／フレーム補間は行われず、フィールド／フレーム補間が行われるのは副走査補間が行われずにスルーしたときにのみ行うように処理を分けている。
【００２９】
ここで、特に、本実施の形態では、フィールド／フレーム補間ブロック１０において、副走査方向の補間が施されずにスルーした画像データのフィールドデータおよびフレームデータのそれぞれに対して、画像を単純に２倍に拡大した後に、局所的なエッジ方向を検出して、その方向のギザギザの周波数成分をカットするような方向性を持った２次元適応ディジタルフィルターによって画像補間を行うことにより、斜め方向のエッジを滑らかにする画像補間が行われる。具体的には、フィールド／フレーム補間ブロック１０において、フィールドデータまたはフレームデータが２倍に補間される。また、ここでフィールド／フレーム補間ブロック１０をノンリニア補間ブロックと呼んでいるのは、ここで用いる後述する適応フィルターが（一般的に）非線形なフィルターであるからである。フィールドデータとフレームデータとでそれぞれ２倍に補間された画像データはリニア補間ブロック１７に供給される。リニア補間ブロック１７において、フレームデータはスルーして、フィールドデータに対してのみ２倍に補間が行われる。つまり、ノンリニア補間およびリニア補間のそれぞれの処理において、フレームデータは２倍補間およびスルーで計２倍補間され、フィールドデータは２倍補間および２倍補間で計４倍補間される。ここでリニア補間ブロック１７と呼ぶのは、ここで用いるフィルターが線形なフィルターであるからである。
【００３０】
このように補間された画像データはリサイズブロック１８に供給される。リサイズブロック１８において、例えばＰＡＬ方式の走査線数がＮＴＳＣ方式の走査線数に変換される。走査線数が変換された画像データはラインバッファ１９に供給される。ここで、入力画像データＤｉが入力されたから、ラインバッファ１９に現ラインの画像データが供給される時点までで、１ライン分の画像データの書き込み読み出し処理時間を要する。つまり、ラインバッファ１５、副走査補間ブロック１６、フィールド／フレーム補間ブロック１０、リニア補間ブロック１７、リサイズブロック１８、ラインバッファ１９への書き込み処理までは同期して行われる。
【００３１】
そして、ラインバッファ１９からリサイズブロックにより走査線数が変換された画像データの１ライン分が読み出されて編集機能ブロック２０に供給される。編集機能ブロック２０において、画像データに対して各種編集機能が付加される。各種編集機能が付加された画像データはシャープネスブロック２２に供給される。シャープネスブロック２２において強調処理が行われる。このとき、ラインバッファ２１において１ライン分のシャープネス補正用の画像データが一時的に保持される。シャープネス補正された画像データは蓄熱補正ブロック２５に供給される。
【００３２】
蓄熱補正ブロック２５において、サーマルヘッドにおける蓄熱補正が行われる。このとき、蓄熱補正メモリ２３から短時定数の応答系の蓄熱補正データが蓄熱補正ブロック２５に供給され、蓄熱補正メモリ２４から長時定数の応答系の蓄熱補正データが蓄熱補正ブロック２５に供給され、２つの応答系は異なる処理で補正される。
【００３３】
蓄熱補正された画像データはディザブロック２６に供給される。ディザブロック２６において、入力信号を２値化したときの一定しきい値で落とされた濃淡に相当する雑音（ディザ）が原信号に加えられる。このようにして、ディザブロック２６から出力画像データＤｏが出力される。
【００３４】
ここで、画像データがラインバッファ１９から読み出されてから、ディザブロック２６から出力画像データＤｏが出力される時点までで、１ライン分の画像データの書き込み読み出し処理時間を要する。つまり、ラインバッファ１９からの読み出し、編集機能ブロック２０、シャープネスブロック２２、蓄熱補正ブロック２５、ディザブロック２６の処理までは同期して行われる。
【００３５】
次に、本実施の形態の画像補間装置の具体的構成及び動作について説明する。図３にフィールド／フレーム補間ブロック１０の構成を示す。図３に示す構成は図２に示したフィールド／フレーム補間ブロック１０に対応する。図３において、フィールド／フレーム補間ブロック１０は、画像を単純に２倍に拡大する単純拡大部３０と、画像の局所的なエッジ方向を検出するエッジ検出部３３と、エッジ検出方向のギザギザの周波数成分をカットするような方向性を持った２次元適応フィルター３４とを有する。ここで、Ｇ_i,j,Ｇ’_i,jはディジタル画像データを表し、ｉは副走査方向（ラインインクリメント）、ｊは主走査方向（ライン方向）を表す。
【００３６】
単純拡大部３０は、２倍アップサンプリング回路３１と、ゼロ次ホールド回路３２とを有する。２倍アップサンプリング回路３１は、ディジタル画像データＧ_i-1,jを２倍のサンプリング周波数でサンプリングする２倍アップサンプリング回路３１ａと，ディジタル画像データＧ_i,jを２倍のサンプリング周波数でサンプリングする２倍アップサンプリング回路３１ｂ，ディジタル画像データＧ_i+1,jを２倍のサンプリング周波数でサンプリングする２倍アップサンプリング回路３１ｃとを有する。また、ゼロ次ホールド回路３２は、２倍のサンプリング周波数でサンプリングされたディジタル画像データＧ_i-1,jに１サンプリング時点前のデータを加算するゼロ次ホールド回路３２ａと，２倍のサンプリング周波数でサンプリングされたディジタル画像データＧ_i,jに１サンプリング時点前のデータを加算するゼロ次ホールド回路３２ｂ，２倍のサンプリング周波数でサンプリングされたディジタル画像データＧ_i+1,jに１サンプリング時点前のデータを加算するゼロ次ホールド回路３２ｃとを有する。
【００３７】
図４にエッジ検出部の機能ブロックを示す。図４に示す機能ブロックは図３に示したエッジ検出部３３に相当する。このエッジ検出部は、画像の局所的な最大傾きを検出する最大傾き検出手段４０と、最大傾きに対して垂直な方向をエッジ方向として検出する垂直方向検出手段４１と、検出されたエッジ方向を少なくとも水平方向４３、垂直方向４４、斜め方向４５の所定の領域に分割し、エッジ方向領域を指定するエッジ方向領域指定手段４２と、文字などの直角コーナーパターンを検出する直角コーナーパターン検出手段４６とを有する。
【００３８】
図５に２次元適応フィルターの機能ブロックを示す。図５に示す機能ブロックは図３に示す２次元適応フィルター３４に対応する。この２次元適応フィルターは、エッジ方向対応係数選択手段５０と、方向性を有する周波数特性を持つ係数５１（Ｈ₁〜Ｈ₈）とを有する。
【００３９】
このように構成されたフィールド／フレーム補間ブロック１０の動作を以下に説明する。
まず、単純拡大部３０の動作を説明する。２倍アップサンプリング回路３１ａにおいて、ディジタル画像データＧ_i-1,jが２倍のサンプリング周波数でサンプリングされ，２倍アップサンプリング回路３１ｂにおいてディジタル画像データＧ_i,jが２倍のサンプリング周波数でサンプリングされ，２倍アップサンプリング回路３１ｃにおいてディジタル画像データＧ_i+1,jが２倍のサンプリング周波数でサンプリングされる。すると、２倍アップサンプリング回路３１ａ、３１ｂ、３１ｃからそれぞれ原サンプリング時点での値と、２倍サンプリング時点での０（ゼロ）の値とが出力される。
【００４０】
２倍アップサンプリング回路３１ａ、３１ｂ、３１ｃからそれぞれ原サンプリング時点での値と、２倍サンプリング時点での０（ゼロ）の値とがゼロ次ホールド回路３２ａ、３２ｂ、３２ｃに供給される。ゼロ次ホールド回路３２ａ、３２ｂ、３２ｃにおいて、それぞれ原サンプリング時点での値と、２倍サンプリング時点での１サンプリング時点前の値とが加算される。このようにして、単純拡大部３０から主走査方向に２倍に拡大した画像データが得られる。
【００４１】
次に、エッジ検出部の動作を説明する。まず、最大傾き方向検出手段４０により画像の局所的な最大傾き方向が検出される。そして、垂直方向検出手段４１により最大傾き方向に垂直な方向をエッジ方向として検出するようにする。以下に、局所的な傾き情報によるエッジ検出方法を説明する。一般に、滑らかなアナログ画像を関数ｆ（ｘ，ｙ）とをくと、その局所的な最大傾き方向は、空間１次微分により数１式のベクトルで表すことができる。
【００４２】
【数１】
ｇｒａｄｆ（ｘ，ｙ）＝（∂ｆ（ｘ，ｙ）／∂ｘ，∂ｆ（ｘ，ｙ）／∂ｙ）
【００４３】
この数１式で表すベクトルに垂直な方向がエッジ方向に相当する。同様に、ディジタル画像データをＧ_i,jとおくと、その局所的な最大傾き方向は、一般に次のような数２式のベクトル（ｐ_i,j，ｑ_i,j）で表すことができる。
【００４４】
【数２】
（ｐ_i,j，ｑ_i,j）＝（Ｇ_i+1,j−Ｇ_i,j，Ｇ_i,j+1−Ｇ_i,j）
【００４５】
また、位相を合わせるため大きなエリアで計算する場合には数３式のベクトルで表すことができる。
【００４６】
【数３】
（ｐ_i,j，ｑ_i,j）＝（（Ｇ_i+1,j+1＋Ｇ_i+1,j＋Ｇ_i+1,j-1）−（Ｇ_i-1,j+1＋Ｇ_i-1,j＋Ｇ_i-1,j-1），（Ｇ_i+1,j+1＋Ｇ_i,j+1＋Ｇ_i-1,j+1）−（Ｇ_i+1,j-1＋Ｇ_i,j-1＋Ｇ_i-1,j-1））
【００４７】
このベクトル（ｐ_i,j，ｑ_i,j）に垂直なベクトルは、図６に示すように求められる。つまり、補間対象画素を囲む３×３の画像ブロックにおいて、狭い斜線で示す画素は画像データの値がゼロであり、広い斜線で示す画素は画像データの値が中間値であり、空白の画素は画像データの値が最大値である。このとき、ベクトル（ｐ_i,j，ｑ_i,j）は、画像データの値がゼロ、中間値の画素から最大値の画素の方向を示す。この場合、図６において、左下の３つの画素がゼロであり、左斜め上から右斜め下への補間対象画素を含む３つの画素が中間値であり、右上の３つの画素が最大値であるので、補間対象画素のベクトルは右斜め上方向である。そして、このベクトルに垂直なベクトルは、左斜め上または右斜め下への補間対象画素を含む中間値の３つの画素の方向である、ベクトル（−ｑ_i,j，ｐ_i,j）またはベクトル（ｑ_i,j，−ｐ_i,j）である。そして、このベクトル（−ｑ_i,j，ｐ_i,j）またはベクトル（ｑ_i,j，−ｐ_i,j）の方向がエッジ方向に相当する。
【００４８】
次に、単純拡大部３０により画像をｊ主走査方向（ライン方向）に単純に２倍に拡大した場合、ベクトル（ｐ_i,j，ｑ_i,j）はベクトル（２ｐ_i,j，ｑ_i,j）となり、ベクトル（２ｐ_i,j，ｑ_i,j）に垂直なベクトルは、図７に示すようにに求められる。つまり、ｊ主走査方向に２倍された補間対象画素を囲む３×６の画像ブロックにおいて、狭い斜線で示す画素は画像データの値がゼロであり、広い斜線で示す画素は画像データの値が中間値であり、空白の画素は画像データの値が最大値である。このとき、図６に示したそれぞれの画素がｊ主走査方向に２倍される。ベクトル（２ｐ_i,j，ｑ_i,j）は、画像データの値がゼロ、中間値の画素から最大値の画素の方向を示す。この場合、図７において、左下の６つの画素がゼロであり、左斜め上から右斜め下へのｊ主走査方向に２倍された補間対象画素を含む６つの画素が中間値であり、右上の６つの画素が最大値であるので、補間対象画素のベクトルは右斜め上方向である。そして、このベクトルに垂直なベクトルは、左斜め上または右斜め下へのｊ主走査方向に２倍された補間対象画素を含む中間値の６つの画素の方向である、ベクトル（−ｑ_i,j，２ｐ_i,j）またはベクトル（ｑ_i,j，−２ｐ_i,j）である。そして、このベクトル（−ｑ_i,j，２ｐ_i,j）またはベクトル（ｑ_i,j，−２ｐ_i,j）の方向がエッジ方向に相当する。このベクトルをこの方向の直線の傾きａ_i,jで表すと数４式のようになる。
【００４９】
【数４】
ａ_i,j＝ｔａｎθ_i,j＝−２ｐ_i,j／ｑ_i,j
このａ_i,jの値によって画像の局所的なエッジ方向を表すことができる。
【００５０】
次に、このようなエッジ方向検出の詳細を説明する。画像データＧ_i,jをｊ主走査方向に２倍に拡大した画像データをｇ_i,kとおくと、数５式のようになる。
【００５１】
【数５】

【００５２】
先に説明した空間１次微分（ｐ_i,j，ｑ_i,j）に相当する量は、２倍拡大後の画像データｇ_i,kに対して（ｒ_i,k，ｓ_i,k）として数６式で得られる。
【００５３】
【数６】

【００５４】
ここで、ｍａｘ［＊，＊］は絶対値の大きい方を表す。このように、（ｒ_i,k，ｓ_i,k）は２倍拡大画像における位相を考慮したものになっていることが分かる。
【００５５】
さらに、ｉ，ｋ方向の２次微分値を計算し、その絶対値が小さい場合は、画像曲面の曲がりが少ないと判断し、数７式を採用する。
【００５６】
【数７】

【００５７】
このように、ｉ，ｋ方向の２次微分値が小さいときは、大きなエリアで傾きベクトルを算出することによって、誤検出を防ぐことができる。ベクトル（ｒ_i,k，ｓ_i,k）から、先に画像の局所的なエッジ方向を数４式で表わした傾きａ_i,jに相当する量は、傾きｂ_i,kとして数８式で表される。
【００５８】
【数８】
ｂ_i,k＝−２ｒ_i,k／ｓ_i,k
【００５９】
このようにして得られた傾きｂ_i,kの値によって、エッジ方向領域指定手段４２によって画像のエッジ方向を少なくとも水平方向４３、垂直方向４４、斜め方向４５を含む図８に示すような８つの領域に分割する。先に求めた傾きａ_i,jの値によって画像のエッジ方向を分割しても同様であるので、図８において、８分割に領域を分割する例を示す。領域▲１▼は傾きａ_i,jの値が正であって３／４以下のときである。領域▲２▼は傾きａ_i,jの値が３／４より大であって３／２以下のときである。領域▲３▼は傾きａ_i,jの値が３／２より大であって４以下のときである。領域▲４▼は傾きａ_i,jの絶対値が４より大のときである。領域▲５▼は傾きａ_i,jの値が負であって−３／４以上のときである。領域▲６▼は傾きａ_i,jの値が−３／４より小であって−３／２以上のときである。領域▲７▼は傾きａ_i,jの値が−３／２より小であって−４以上のときである。領域▲８▼はｐ_i,jの絶対値が定数以下のときである。つまり、領域▲８▼が水平方向４３、領域▲４▼が垂直方向４４、領域▲１▼、領域▲２▼、領域▲３▼、領域▲５▼、領域▲６▼、領域▲７▼が斜め方向４５である。
【００６０】
次に、図８において、エッジ方向指定手段４２により、領域▲１▼、領域▲２▼、領域▲３▼、領域▲５▼、領域▲６▼、領域▲７▼などの斜め方向４５が検出された場合に、直角コーナーパターン検出手段４６により図９に示す文字などの直角コーナーパターンの検出が行われる。図９において、補間対象画素を囲む３×３の画像ブロックにおいて、狭い斜線で示す画素は画像データの値がゼロであり、広い斜線で示す画素は画像データの値が中間値であり、空白の画素は画像データの値が最大値である。このとき、ベクトル（ｐ_i,j，ｑ_i,j）は、画像データの値がゼロ、中間値の画素から最大値の画素の方向を示す。この場合、図９において、左下の２つの画素がゼロであり、補間対象画素を含む２つの画素が中間値であり、残りの上から右に延びる５つの画素が最大値であるので、補間対象画素のベクトルは右斜め上方向として検出される。そして、このベクトルに垂直なベクトルは、補間対象画素を含む中間値の画素がｊ方向であるにもかかわらず、左斜め上または右斜め下への２つの方向である、ベクトル（−ｑ_i,j，ｐ_i,j）またはベクトル（ｑ_i,j，−ｐ_i,j）として検出される。そして、このベクトル（−ｑ_i,j，ｐ_i,j）またはベクトル（ｑ_i,j，−ｐ_i,j）の方向がエッジ方向に相当する。
【００６１】
ところが、図９に示すような直角コーナーパターンは、自然画像ではなく、文字などの人工画像に多く含まれるため、図９に示すように、ベクトル（−ｑ_i,j，ｐ_i,j）またはベクトル（ｑ_i,j，−ｐ_i,j）の方向がエッジ方向として検出されると、文字の形が歪んでしまう。そこで、この直角コーナーパターンを検出するために、数９式のように周辺画素の傾きを計算する。これは、ｋ：奇数（ｏｄｄ）で図８において領域▲５▼、領域▲６▼、領域▲７▼の斜め方向４５が選択された場合である。
【００６２】
【数９】
ｄｍ_i,j＝ｇ_i+2,k−ｇ_i+2,k-2
ｄｎ_i,k＝ｇ_i,k+2−ｇ_i-2,k-2
ｄｈ１_i,k＝ｇ_i,k−ｇ_i+2,k
ｄｈ２_i,k＝ｇ_i,k-2−ｇ_i+2,k-2
【００６３】
このとき、ｄｍ_i,kとｄｎ_i,kの絶対値が小さく、かつｄｈ１_i,kとｄｈ２_i,kが同符号ならば、直角コーナーパターンとみなし、図８において、領域▲８▼の水平方向４３が選択される。他の場合も同様の処理が行われ、この直角コーナーパターンの検出処理によって文字などの人工画像の変形を抑えることができる。このようにして、画像の局所的なエッジ方向が検出される。
【００６４】
次に、２次元適応フィルターの動作を説明する。エッジ検出部において検出された図８に示す領域▲１▼〜領域▲８▼のエッジ方向に応じて、２次元適応フィルターのエッジ方向対応係数選択手段５０は係数５１を、図１０及び図１１に示すＨ₁（Ｚ_i，Ｚ_j）〜Ｈ₈（Ｚ_i，Ｚ_j）に切り換える。図１０において、Ｈ₁（Ｚ_i，Ｚ_j）は、ｉ副走査方向の第１ラインに対して、ｊ主走査方向に０，０，０，＋５／１６，＋５／１６，−３／３２，−１／３２であり、第２ラインに対して、ｊ主走査方向に０，０，０，０，０，０，０であり、第３ラインに対して、ｊ主走査方向に−１／３２，−３／３２，＋５／１６，＋５／１６，０，０，０である。Ｈ₂（Ｚ_i，Ｚ_j）は、ｉ副走査方向の第１ラインに対して、ｊ主走査方向に０，０，０，０，＋５／１６，−３／３２，−１／３２であり、第２ラインに対して、ｊ主走査方向に０，０，０，＋５／８，０，０，０であり、第３ラインに対して、ｊ主走査方向に−１／３２，−３／３２，＋５／１６，０，０，０，０である。Ｈ₃（Ｚ_i，Ｚ_j）は、ｉ副走査方向の第１ラインに対して、ｊ主走査方向に０，０，０，０，＋５／３２，−３／３２，−１／３２であり、第２ラインに対して、ｊ主走査方向に０，０，＋５／３２，＋５／８，＋５／３２，０，０であり、第３ラインに対して、ｊ主走査方向に−１／３２，−３／３２，＋５／３２，０，０，０，０である。Ｈ₄（Ｚ_i，Ｚ_j）は、ｉ副走査方向の第１ラインに対して、ｊ主走査方向に０，０，０，０，０，０，０であり、第２ラインに対して、ｊ主走査方向に−１／３２，−３／３２，＋５／１６，＋５／８，＋５／１６，−３／３２，−１／３２であり、第３ラインに対して、ｊ主走査方向に０，０，０，０，０，０，０である。
【００６５】
また、図１１において、Ｈ₅（Ｚ_i，Ｚ_j）は、ｉ副走査方向の第１ラインに対して、ｊ主走査方向に−１／３２，−３／３２，＋５／１６，＋５／１６，０，０，０，であり、第２ラインに対して、ｊ主走査方向に０，０，０，０，０，０，０であり、第３ラインに対して、ｊ主走査方向に０，０，０，＋５／１６，＋５／１６，−３／３２，−１／３２である。Ｈ₆（Ｚ_i，Ｚ_j）は、ｉ副走査方向の第１ラインに対して、ｊ主走査方向に−１／３２，−３／３２，＋５／１６，０，０，０，０，であり、第２ラインに対して、ｊ主走査方向に０，０，０，＋５／８，０，０，０であり、第３ラインに対して、ｊ主走査方向に０，０，０，０，＋５／１６，−３／３２，−１／３２である。Ｈ₇（Ｚ_i，Ｚ_j）は、ｉ副走査方向の第１ラインに対して、ｊ主走査方向に−１／３２，−３／３２，＋５／３２，０，０，０，０，であり、第２ラインに対して、ｊ主走査方向に０，０，＋５／３２，＋５／８，＋５／３２，０，０であり、第３ラインに対して、ｊ主走査方向に０，０，０，０，＋５／３２，−３／３２，−１／３２である。Ｈ₈（Ｚ_i，Ｚ_j）は、ｉ副走査方向の第１ラインに対して、ｊ主走査方向に０，０，０，＋５／３２，０，０，０であり、第２ラインに対して、ｊ主走査方向に−１／３２，−３／３２，＋５／３２，＋５／８，＋５／３２，−３／３２，−１／３２であり、第３ラインに対して、ｊ主走査方向に０，０，０，＋５／３２，０，０，０である。
【００６６】
これらの係数による各フィルター動作はｊ主走査方向に施されるので、３ライン程度の画像メモリを内部に有すれば良い。また、フィルター係数が２の倍数なので、比較的安価にハードウエア化することができる。
【００６７】
このような２次元適応フィルターの係数Ｈ₁（Ｚ_i，Ｚ_j）〜Ｈ₈（Ｚ_i，Ｚ_j）の周波数特性を図１２〜図１６に示す。この周波数特性は、それぞれＸ周波数およびＹ周波数の２次元に対するゲインを示す。図１２にＨ₅（Ｚ_i，Ｚ_j）の周波数特性を示す。ここで、Ｈ₁（Ｚ_i，Ｚ_j）の周波数特性はＸ＝０で左右反転したものである。図１３にＨ₆（Ｚ_i，Ｚ_j）の周波数特性を示す。ここで、Ｈ₂（Ｚ_i，Ｚ_j）の周波数特性はＸ＝０で左右反転したものである。図１４にＨ₇（Ｚ_i，Ｚ_j）の周波数特性を示す。ここで、Ｈ₃（Ｚ_i，Ｚ_j）の周波数特性はＸ＝０で左右反転したものである。このように、Ｈ₁（Ｚ_i，Ｚ_j）、Ｈ₂（Ｚ_i，Ｚ_j）、Ｈ₃（Ｚ_i，Ｚ_j）の周波数特性は、それぞれＨ₅（Ｚ_i，Ｚ_j）、Ｈ₆（Ｚ_i，Ｚ_j）、Ｈ₇（Ｚ_i，Ｚ_j）の周波数特性をｉ副走査方向に反転したものである。図１５にＨ₄（Ｚ_i，Ｚ_j）の周波数特性を示す。図１６にＨ₈（Ｚ_i，Ｚ_j）の周波数特性を示す。
【００６８】
これらのフィルター係数は方向性を持ったものであり、２次元ローパスフィルターを構成し、これにより、エッジ方向のギザギザ成分をカットし、これに垂直な方向のエッジの急峻さを保存するような特性を持っているので、斜め方向のエッジがギザギザにならずに滑らかに補間される。
【００６９】
また、画素の平均値を用いる方法に比べて特性の良いローパスフィルターを構成することができるので、画像のボケを抑えることができる。さらに、これらのフィルターは、単純２倍拡大画像に対して施されるため、画素の平均値を用いる方法に比べて水平方向のエッジがボケずに保存されるという利点がある。
【００７０】
このように、本実施の形態により、斜めエッジが滑らかに補間され、画像のボケが少なく、文字などの変形も少ない、高画質の補間画像を得ることができる。
【００７１】
また、上例に限らず、ディジタルカラープリンターにおいて低解像度画像を高解像度で印画する場合や、コンピュータ上で画像を高解像度化するソフトウエアにより構成しても良い。
【００７２】
また、本実施の形態を用いて２倍の画素に補間した後に、自由倍率の解像度変換手段により解像度変換を施すようにしてもよく、この場合、単独で自由倍率の解像度変換手段により解像度変換を施した場合に比べて、より高画質の出力画像を得ることができる。
【００７３】
【発明の効果】
この発明の画像補間装置は、画像の局所的なエッジ方向を検出するエッジ検出手段と、上記エッジ検出手段により検出されたエッジ方向により係数を選択して選択された上記係数の有する周波数特性により所定周波数帯域に対して所定ゲインでフィルターをかけるフィルター手段とを備え、上記画像の特定の画素を１方向に２倍に補間するようにしたので、エッジ方向のギザギザ成分をカットし、これに垂直な方向のエッジの急峻さを保存することにより、斜めエッジが滑らかに補間され、画像のボケが少なく、文字などの変形も少ない、高画質の補間画像を得ることができるという効果を奏する。
【００７４】
また、この発明の画像補間装置は、上述において、上記エッジ検出手段は、上記画像の局所的な最大傾き方向を検出する最大傾き方向検出手段と、上記最大傾き検出手段により検出された最大傾き方向に対して垂直方向をエッジ方向として検出する垂直方向検出手段と、上記垂直方向検出手段により検出されたエッジ方向を複数の領域に分割し、上記エッジ方向が属する領域を指定するエッジ方向領域指定手段と、を有するようにしたので、画像の局所的なエッジ方向を検出して、このエッジ方向に応じて係数を変えてフィルターをかけることができるという効果を奏する。
【００７５】
また、この発明の画像補間装置は、上述において、上記フィルター手段は、２次元ディジタルフィルターであって、方向性を有する周波数特性を持った係数と、上記係数のうち上記エッジ検出手段により検出されたエッジ方向に対応した係数を選択するエッジ方向対応係数選択手段とを有するので、エッジ方向に応じて係数を変えて異なる周波数特性によるフィルターをかけることができるという効果を奏する。
【００７６】
また、この発明の画像補間装置は、上記エッジ検出手段は、上記画像の局所的な最大傾き方向を検出する最大傾き方向検出手段と、上記最大傾き検出手段により検出された最大傾き方向と垂直方向をエッジ方向として検出する垂直方向検出手段と、上記垂直方向検出手段により検出されたエッジ方向を複数の領域に分割し、上記エッジ方向が属する領域を指定するエッジ方向領域指定手段と、上記エッジ方向領域指定手段によりエッジ方向が斜め方向であると検出された場合であって、補間すべき画素が画像のうちの直角の角部であることを検出したとき、上記エッジ方向領域指定手段によるエッジ方向を水平方向に選択する直角コーナーパターン検出手段とを有するので、直角コーナーパターンを有する文字などの画像の変形を抑えることができるという効果を奏する。
【００７７】
また、この発明の画像補間方法は、画像の局所的なエッジ方向を検出し、検出された上記エッジ方向により係数を選択して選択された上記係数の有する周波数特性により所定周波数帯域に対して所定ゲインでフィルターをかけ、上記画像の特定の画素を１方向に２倍に補間するようにしたので、エッジ方向のギザギザ成分をカットし、これに垂直な方向のエッジの急峻さを保存することにより、斜めエッジが滑らかに補間され、画像のボケが少なく、文字などの変形も少ない、高画質の補間画像を得ることができるという効果を奏する。
【００７８】
また、この発明の画像補間方法は、上述において、上記エッジ検出は、上記画像の局所的な最大傾き方向を検出し、検出された上記最大傾き方向に対する垂直方向をエッジ方向として検出し、検出された上記エッジ方向を複数の領域に分割し、上記エッジ方向が属する領域を指定するようにしたので、画像の局所的なエッジ方向を検出することにより、このエッジ方向に応じて係数を変えてフィルターをかけることができるという効果を奏する。
【００７９】
また、この発明の画像補間方法は、上述において、上記フィルターは、２次元ディジタルフィルターであって、方向性を有する周波数特性を持った係数のうち上記エッジ検出により検出されたエッジ方向に対応した係数を選択するようにしたので、エッジ方向に応じて係数を変えて異なる周波数特性によるフィルターをかけることができるという効果を奏する。
【００８０】
また、この発明の画像補間方法は、上述において、上記エッジ検出は、上記画像の局所的な最大傾き方向を検出し、検出された上記最大傾き方向に対して垂直方向をエッジ方向として検出し、検出された上記エッジ方向を少なくとも水平方向、垂直方向、斜め方向を有する複数の領域に分割し、上記エッジ方向が属する領域を指定し、上記エッジ方向が斜め方向に属する場合であって、補間すべき画素が画像のうちの直角の角部であることを検出したとき、上記エッジ方向は水平方向を選択するようにしたので、直角コーナーパターンを有する文字などの画像の変形を抑えることができるという効果を奏する。
【００８１】
また、この発明のビデオプリンターは、ビデオ画像の画像データに所定の補間処理を施して、補間された画像データを用いてプリントヘッドによりプリントするビデオプリンターにおいて、画像の局所的なエッジ方向を検出するエッジ検出手段と、上記エッジ検出手段により検出されたエッジ方向により係数を選択して選択された上記係数の有する周波数特性により所定周波数帯域に対して所定ゲインでフィルターをかけるフィルター手段とを備え、上記画像の特定の画素を１方向に２倍に補間してプリントするようにしたので、エッジ方向のギザギザ成分をカットし、これに垂直な方向のエッジの急峻さを保存することにより、斜めエッジが滑らかに補間され、画像のボケが少なく、文字などの変形も少ない、高画質の補間画像のプリント出力を得ることができるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態の画像補間装置を適用するビデオプリンターの構成を示すブロック図である。
【図２】本実施の形態の画像処理部ブロック図である。
【図３】本実施の形態のフィールド／フレーム補間ブロックの構成を示すブロック図である。
【図４】本実施の形態のエッジ検出部の機能ブロック図である。
【図５】本実施の形態の２次元適応フィルターの機能ブロック図である。
【図６】本実施の形態の画像の傾きベクトルを示す図である。
【図７】本実施の形態の補間画像の傾きベクトルを示す図である。
【図８】本実施の形態の画像のエッジ方向の領域を示す図である。
【図９】本実施の形態の直角コーナーパターンを示す図である。
【図１０】本実施の形態の２次元適応フィルターの係数を示す図である。
【図１１】本実施の形態の２次元適応フィルターの係数を示す図である。
【図１２】本実施の形態の係数Ｈ₅（Ｚ_i，Ｚ_j）の周波数特性（Ｈ₁（Ｚ_i，Ｚ_j）の周波数特性はＸ＝０で左右反転したもの）を示す図である。
【図１３】本実施の形態の係数Ｈ₆（Ｚ_i，Ｚ_j）の周波数特性（Ｈ₂（Ｚ_i，Ｚ_j）の周波数特性はＸ＝０で左右反転したもの）を示す図である。
【図１４】本実施の形態の係数Ｈ₇（Ｚ_i，Ｚ_j）の周波数特性（Ｈ₃（Ｚ_i，Ｚ_j）の周波数特性はＸ＝０で左右反転したもの）を示す図である。
【図１５】本実施の形態の係数Ｈ₄（Ｚ_i，Ｚ_j）の周波数特性を示す図である。
【図１６】本実施の形態の係数Ｈ₈（Ｚ_i，Ｚ_j）の周波数特性を示す図である。
【符号の説明】
１ビデオ入力部、２Ａ／Ｄ変換器、３メモリ制御部、４画像メモリ、５スイッチ部、６システム制御部、７機構制御部、８機構、９画像処理部、１０ノンリニア補間ブロック（フィールド／フレーム補間ブロック）、１１サーマルヘッド、１２レジスタ、１３主走査方向コントローラ、１４副走査方向コントローラ、１５ラインバッファ、１６副走査補間ブロック、１７リニア補間ブロック、１８リサイズブロック、１９ラインバッファ、２０編集機能ブロック、２１ラインバッファ、２２シャープネスブロック、２３蓄熱補正メモリ（短時定数）、２４蓄熱補正メモリ（長時定数）、２５蓄熱補正ブロック、２６ディザブロック、Ｄｃシステム制御部コントロールデータ、Ｄｉ入力画像データ、Ｄｏ出力画像データ、３０単純拡大部、３１２倍アップサンプリング回路、３２ゼロ次ホールド回路、３３エッジ検出部、３４２次元適応フィルター、４０最大傾き方向検出手段、４１垂直方向検出手段、４２エッジ方向領域指定手段、４３水平方向領域、４４垂直方向領域、４５斜め方向領域、４６直角コーナーパターン検出手段、５０エッジ方向対応係数選択手段、５１係数（方向性を有する周波数特性を持つ）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image interpolation apparatus and an image interpolation method suitable for application to pixel interpolation processing in a video printer, for example.
[0002]
[Prior art]
In recent years, sublimation color printers have been improved in definition, but the resolution of video signals is the mainstream for input images, and those with high resolution are not so popular. In other words, the resolution of the input image data is lower than that although high-resolution printing is possible on the printer side. Therefore, when high-resolution printing is performed, it is necessary to perform predetermined interpolation processing on the image data inside the printer to make pseudo high-resolution image data. However, since the image quality of the print output is greatly affected by the image data interpolation processing method, a higher image quality interpolation processing method has been demanded.
[0003]
In the sublimation color printer, the resolution can be controlled by changing the gradation in an analog manner in the moving direction of the thermal head, that is, in the sub-scanning direction. Therefore, the thermal head arranged mainly to print one line. Image interpolation in the direction of the heating element, that is, the main scanning direction is required. That is, a process for interpolating pixels in the main scanning direction twice with respect to an image has been demanded. As such an image interpolation method, firstly, a simple enlargement method in which the same pixels are arranged two by two and simply doubled, and an average value interpolation method in which an average value in the vertical direction is used as an interpolation pixel are mainly used. Third, there is a pattern recognition average value interpolation method that uses an average value in an oblique direction as an interpolation pixel according to a pattern of the size relationship of neighboring pixels as advanced interpolation processing using information on neighboring pixels. .
[0004]
[Problems to be solved by the invention]
However, the conventional image interpolation method has the following problems. That is, in the first simple enlargement method, pixels at the edge of the image are stored, so there is no blur in the image, but there is a disadvantage that the edge in the oblique direction becomes jagged and the quality of the image is lowered. Further, the second average value interpolation method has an inconvenience that an image is blurred because the average value is used as an interpolation pixel, and a slight jagged edge in an oblique direction remains. Further, in the third pattern recognition average value interpolation method, the edge in the oblique direction is smoothly interpolated, but the image is blurred because the average value is used as an interpolation pixel. Further, in an artificial image such as a character, a right-angled corner is used. Has a disadvantage that the character is deformed.
[0005]
  The present invention has been made in view of the above points, and is an image interpolation device capable of eliminating blurring of an image and eliminating deformation of characters and the like.andThe object is to provide an image interpolation method.
[0006]
[Means for Solving the Problems]
  The image interpolation device of the present invention is:A simple enlargement means that simply enlarges the image by a factor of two;Edge detection means for detecting the local edge direction of the image, and a predetermined gain for a predetermined frequency band based on the frequency characteristics of the selected coefficient by selecting a coefficient based on the edge direction detected by the edge detection means. A filter means for applying a filter;In the main scanning direction by the simple enlargement meansIn the image interpolating apparatus in which an edge direction is detected by the edge detection unit with respect to the pixel of the image enlarged twice, and the detected edge direction is filtered by the filter unit, the edge detection unit includes: A maximum inclination direction detecting means for detecting a local maximum inclination direction, a vertical direction detecting means for detecting the maximum inclination direction and the vertical direction detected by the maximum inclination detecting means as an edge direction, and a vertical direction detecting means. The edge direction is virtually divided into a plurality of areas, the edge direction area specifying means for specifying the area to which the edge direction belongs, and the edge direction area specifying means detects that the edge direction is an oblique direction. When detecting that the pixel to be interpolated is a right-angled corner of the image, the edge direction by the edge direction region specifying meansFor main scanning directionRight angle corner pattern detecting means for selecting in the horizontal direction.
[0007]
  The image interpolation method of the present invention isSimply double the image,Detect a local edge direction of an image, select a coefficient according to the detected edge direction, and apply a filter with a predetermined gain to a predetermined frequency band according to the frequency characteristic of the selected coefficient,When performing the above simple enlargement in the main scanning directionIn the image interpolation method in which the edge direction is detected for the pixel of the image enlarged twice, and the detected edge direction is filtered, the edge detection detects the local maximum inclination direction of the image. The detected vertical direction is detected as the edge direction, and the detected edge direction is virtually divided into a plurality of regions having at least a horizontal direction, a vertical direction, and an oblique direction. When the region to which the image belongs is specified and the edge direction belongs to the diagonal direction and the pixel to be interpolated is detected to be a right-angled corner of the image, the edge direction isFor main scanning directionSelect the horizontal direction.
[0009]
  Image interpolating apparatus of the present inventionandAccording to the image interpolation method, the following operations are performed.
  First, the operation of the edge detection means will be described. The local maximum inclination direction of the image is detected by the maximum inclination direction detecting means. The direction perpendicular to the maximum tilt direction is detected as the edge direction by the vertical direction detecting means. Hereinafter, an edge detection method based on local inclination information will be described. In general, for a smooth analog image function, the local maximum tilt direction can be represented by a spatial first derivative.
[0010]
The direction perpendicular to the vector represented by the spatial first derivative corresponds to the edge direction. Similarly, for digital image data, the local maximum tilt direction can generally be represented by a vector.
[0011]
Find a vector perpendicular to this vector. That is, in the image block surrounding the interpolation target pixel, there are a pixel whose image data value is zero, a pixel whose image data value is an intermediate value, and a pixel whose image data value is a maximum value. At this time, the vector indicates the direction from the intermediate value pixel to the maximum value pixel value of the image data is zero. The direction of the vector perpendicular to this vector corresponds to the edge direction.
[0012]
The edge direction of the image is divided into eight regions including at least a horizontal direction, a vertical direction, and an oblique direction by the edge direction region designation means based on the value of the inclination in the edge direction obtained in this way.
[0013]
Next, when an oblique direction is detected by the edge detection means, a right-angle corner pattern such as a character is detected by the right-angle corner pattern detection means. In the image block surrounding the interpolation target pixel, there are a pixel whose image data value is zero, a pixel whose image data value is an intermediate value, and a pixel whose image data value is a maximum value. At this time, the vector indicates the direction from the intermediate value pixel to the maximum value pixel value of the image data is zero. A vector perpendicular to this vector is detected as a vector having a direction determined by the influence of surrounding zero pixels, regardless of the direction of the intermediate pixel including the interpolation target pixel. The direction of this vector corresponds to the edge direction.
[0014]
However, since the right-angled corner pattern is not a natural image but is included in many artificial images such as characters, the shape of the character is distorted when the vector direction is detected as the edge direction. Therefore, in order to detect this right-angled corner pattern, the inclination of surrounding pixels is calculated.
[0015]
At this time, if the absolute value of the inclination of the surrounding pixels is small and has the same sign, it is regarded as a right-angle corner pattern and the horizontal direction is selected. Deformation of an artificial image such as a character can be suppressed by this right-angled corner pattern detection process. In this way, the local edge direction of the image is detected.
[0016]
Next, the operation of the filter means will be described. In accordance with the edge direction detected by the edge detection means, the edge direction corresponding coefficient selection means of the two-dimensional adaptive filter switches the coefficients. These filter coefficients have directionality and constitute a two-dimensional low-pass filter, which cuts the jagged component in the edge direction and preserves the sharpness of the edge in the direction perpendicular to it. Therefore, the edges in the diagonal direction are smoothly interpolated without becoming jagged.
[0017]
In addition, since a low-pass filter having better characteristics than a method using an average value of pixels can be configured, blurring of an image can be suppressed. Furthermore, since these filters are applied to a simple double-enlarged image, the horizontal edges are preserved without blurring compared to a method using an average value of pixels.
In this manner, a high-quality interpolated image can be obtained in which oblique edges are smoothly interpolated, the image is less blurred, and there is less deformation of characters and the like.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
This embodiment will be described below. The image interpolating apparatus according to the present embodiment detects a local edge direction after simply magnifying the image twice with respect to the digital image, and cuts a jagged frequency component in that direction. By interpolating images using a two-dimensional adaptive digital filter that has good characteristics, the edges in the diagonal direction are smoothly interpolated to reduce image blurring and obtain high-quality interpolated images with less deformation of characters and the like It is something that can be done.
[0019]
First, a color video printer to which the image interpolation apparatus of this embodiment is applied will be described. This color video printer includes a video input unit 1 that inputs a video signal, an A / D converter 2 that quantizes an analog video signal input from the video input unit 1 and converts it into a digital signal, and a digital video signal. An image memory 4 serving as a frame memory for storing and holding digital video signal data for one frame, a memory control unit 3 for controlling writing and reading of the digital video signal to and from the image memory 4, and a switch unit for performing various settings 5, a system control unit 6 that controls the operation of the memory control unit based on settings in the switch unit 5, a mechanism control unit 7 that controls the operation of the mechanical mechanism by the control from the system control unit 6, and a mechanism control unit 7 By a mechanical mechanism 8 such as a printing paper feed motor operated by the printing mechanism and a printing paper feed motor of the mechanical mechanism 8. The digital video signal data for each line is received from the image memory 4 in synchronism with the sending of the printing paper, and the image processing section 9 for performing various image processing, and the digital video signal data for which the printing paper has been subjected to image processing. And a thermal head 11 for printing.
[0020]
Here, in particular, in the present embodiment, the image processing unit 9 simply doubles the image with respect to the digital image, then detects the local edge direction, and the jagged frequency in that direction. By performing image interpolation using a two-dimensional adaptive digital filter having directionality that cuts components, a nonlinear interpolation block 10 that smoothly performs image interpolation with respect to an edge in an oblique direction is provided.
[0021]
The color video printer configured as described above operates as follows. A video signal is supplied from the video input unit 1 to the A / D converter 2, and the analog video signal supplied from the video input unit 1 is quantized and converted into a digital signal by the A / D converter 2. The digital video signal converted by the A / D converter 2 is supplied to the memory control unit 3. A write operation is performed so that the digital video signal data for one frame is stored in the image memory 4 from the memory control unit 3.
[0022]
Based on various settings set in the switch unit 5, data writing or reading operation is controlled from the system control unit 6 to the memory control unit. When a mechanical mechanism operation command is supplied from the system control unit 6 to the mechanism control unit 7, the mechanism control unit 7 operates a mechanical mechanism 8 such as a printing paper feed motor. Therefore, an operation command for reading data from the image memory 4 is supplied from the system control unit 6 to the memory control unit. Then, digital video signal data for each line is read from the image memory 4 and supplied to the image processing unit 9 in synchronization with the feeding of the printing paper by the printing paper feed motor of the mechanical mechanism 8. The image processing unit 9 performs various image processing on the data of the digital video signal for each line. Data of the digital video signal subjected to image processing is supplied to the thermal head 11. In the thermal head 11, digital video signal data is printed on the printing paper with a heat generation amount corresponding to the gradation of the image data.
[0023]
Here, in particular, in the present embodiment, in the non-linear interpolation block 10 of the image processing unit 9, after the image is simply doubled with respect to the digital image, the local edge direction is detected, and By interpolating images with a two-dimensional adaptive digital filter that has directionality that cuts the jagged frequency components of the direction, the edges in the diagonal direction are smoothly interpolated, reducing blurring of the image, characters, etc. Image interpolation is performed so as to obtain a high-quality interpolated image with less deformation.
[0024]
Next, the image processing unit will be described with reference to FIG. The image processing unit shown in FIG. 2 corresponds to the image processing unit 9 shown in FIG. The image processing unit includes a register 12 that stores the control data Dc from the system control unit 6 shown in FIG. 1, and an operation in the main scanning direction of the image processing unit based on the control data Dc and the data from the register 12. And a sub-scanning direction controller 14 for controlling the operation of the image processing unit in the sub-scanning direction based on the control data Dc and the data from the register 12.
[0025]
The image processing unit also includes line buffers 15a and 15b that temporarily hold the input image data Di for one line supplied from the image memory via the memory control unit 3 shown in FIG. , 15c, the sub-scanning direction interpolation block 16 for interpolating the input image data Di for each line temporarily held in the line buffers 15a, 15b, and 15c in the sub-scanning direction, and linear for interpolating the field data. And an interpolation block 17. Here, in particular, in the present embodiment, after the image is simply magnified twice with respect to each of the field data and the frame data of the image data subjected to the interpolation in the sub-scanning direction, the local edge direction Field / frame interpolation that smoothly interpolates diagonal edges by performing image interpolation using a two-dimensional adaptive digital filter that has a directionality that detects jagged frequency components in that direction. A block 10 (corresponding to the non-linear interpolation block 10 shown in FIG. 1) is included.
[0026]
The image processing unit temporarily stores, for example, a resizing block 18 that converts the number of scanning lines of the PAL system into the number of scanning lines of the NTSC system, and one line of image data in which the number of scanning lines is converted by the resizing block. A line buffer 19 for holding, an editing function block 20 for adding various editing functions to image data, a line buffer 21 for temporarily holding image data for sharpness correction for one line, and a sharpness for emphasizing processing. A heat storage correction block 25 that performs heat storage correction in the thermal head, a heat storage correction memory 23 that stores heat storage correction data of a response system with a short time constant, and a heat storage that stores heat storage correction data of a response system with a long time constant Correction memory 24 and noise (dither) corresponding to shading dropped at a certain threshold when the input signal is binarized And a dither block 26 added to the original signal.
[0027]
The image processing unit configured as described above operates as follows. The control data Dc from the system control unit 6 shown in FIG. 1 is supplied to the register 12, the main scanning direction controller 13 and the sub scanning direction controller 14. The control data Dc stored in the register 12 is supplied to the main scanning direction controller 13 and the sub scanning direction controller 14. The main scanning direction controller 13 controls the operation of the image processing unit in the main scanning direction based on the control data Dc and the data from the register 12, and the sub-scanning direction controller 14 based on the control data Dc and the data from the register 12. Thus, the operation of the image processing unit in the sub-scanning direction is controlled. Specifically, from the main scanning direction controller 13 and the sub-scanning direction controller 14, line buffers 15a, 15b and 15c for image interpolation processing, a line buffer 19 for resizing and editing functions, a line buffer 21 for sharpness, and heat storage correction. A control signal is supplied to each of the heat storage correction memories 23 and 24 for use.
[0028]
Further, the input image data Di for one line is sequentially supplied from the image memory to the line buffers 15a, 15b, and 15c via the memory control unit 3 shown in FIG. That is, the image data Di + 1 after one line is temporarily held in the line buffer 15a, the image data Di of the current line is temporarily held in the line buffer 15b, and the image data before one line is stored in the line buffer 15c. Data Di-1 is temporarily held. The input image data Di + 1, Di, Di-1 for each line temporarily stored in the line buffers 15a, 15b, 15c is supplied to the sub-scanning direction interpolation block 16. In the sub-scanning direction interpolation block 16, the input image data Di + 1, Di, Di-1 are interpolated in the sub-scanning direction. For example, in the sub-scanning direction interpolation block 16, the field data is interpolated, the image data is rotated by 90 degrees, and interpolation is performed in the sub-scanning direction so as to obtain two print outputs in the sub-scanning direction. The image data that has been interpolated in the sub-scanning direction or the image data that has passed through without being interpolated in the sub-scanning direction is supplied to the field / frame interpolation block 10. When sub-scan interpolation is performed, field / frame interpolation is not performed in the subsequent field / frame interpolation block 10, and field / frame interpolation is performed only when the sub-scan interpolation is not performed and the field / frame interpolation is performed. The process is divided to do.
[0029]
Here, in particular, in the present embodiment, in the field / frame interpolation block 10, the image data is simply set to 2 for each of the field data and the frame data of the image data that is passed through without interpolation in the sub-scanning direction. After enlarging the image twice, by detecting the local edge direction and performing image interpolation with a two-dimensional adaptive digital filter with directionality that cuts the jagged frequency component in that direction, the edge in the diagonal direction Image interpolation is performed to smooth the image. Specifically, in the field / frame interpolation block 10, field data or frame data is interpolated twice. The reason why the field / frame interpolation block 10 is called a non-linear interpolation block is that an adaptive filter (to be described later) used here is a (generally) nonlinear filter. The image data interpolated twice with the field data and the frame data is supplied to the linear interpolation block 17. In the linear interpolation block 17, the frame data is passed through and interpolation is performed twice with respect to only the field data. That is, in each processing of the non-linear interpolation and the linear interpolation, the frame data is interpolated by a total of 2 times by double interpolation and through, and the field data is interpolated by a total of 4 times by double interpolation and double interpolation. The reason why the linear interpolation block 17 is called here is that the filter used here is a linear filter.
[0030]
The interpolated image data is supplied to the resize block 18. In the resize block 18, for example, the number of PAL scanning lines is converted to the number of NTSC scanning lines. The image data in which the number of scanning lines is converted is supplied to the line buffer 19. Here, it takes time to write and read image data for one line from when the input image data Di is input to when the current line image data is supplied to the line buffer 19. That is, the writing process to the line buffer 15, the sub-scan interpolation block 16, the field / frame interpolation block 10, the linear interpolation block 17, the resize block 18, and the line buffer 19 is performed in synchronization.
[0031]
Then, one line of image data in which the number of scanning lines is converted by the resizing block is read from the line buffer 19 and supplied to the editing function block 20. In the editing function block 20, various editing functions are added to the image data. Image data to which various editing functions are added is supplied to the sharpness block 22. Enhancement processing is performed in the sharpness block 22. At this time, the line buffer 21 temporarily holds image data for sharpness correction for one line. The sharpened image data is supplied to the heat storage correction block 25.
[0032]
In the heat storage correction block 25, heat storage correction in the thermal head is performed. At this time, the heat storage correction data of the short time constant response system is supplied from the heat storage correction memory 23 to the heat storage correction block 25, and the heat storage correction data of the response system of the long time constant is supplied from the heat storage correction memory 24 to the heat storage correction block 25. The two response systems are corrected by different processes.
[0033]
The heat-corrected image data is supplied to the dither block 26. In the dither block 26, noise (dither) corresponding to light and shade dropped with a constant threshold when the input signal is binarized is added to the original signal. In this way, the output image data Do is output from the dither block 26.
[0034]
Here, from the time when the image data is read from the line buffer 19 to the time when the output image data Do is output from the dither block 26, it takes time to write and read image data for one line. That is, reading from the line buffer 19, editing function block 20, sharpness block 22, heat storage correction block 25, and dither block 26 are performed in synchronization.
[0035]
Next, a specific configuration and operation of the image interpolation apparatus according to the present embodiment will be described. FIG. 3 shows the configuration of the field / frame interpolation block 10. The configuration shown in FIG. 3 corresponds to the field / frame interpolation block 10 shown in FIG. In FIG. 3, a field / frame interpolation block 10 includes a simple enlargement unit 30 that simply enlarges an image twice, an edge detection unit 33 that detects a local edge direction of the image, and a jagged frequency in the edge detection direction. And a two-dimensional adaptive filter 34 having a directionality that cuts components. Where G_{i, j,}G ’_{i, j}Represents digital image data, i represents a sub-scanning direction (line increment), and j represents a main scanning direction (line direction).
[0036]
The simple enlargement unit 30 includes a double upsampling circuit 31 and a zero-order hold circuit 32. The double upsampling circuit 31 is used for the digital image data G_{i-1, j}A double upsampling circuit 31a for sampling the digital image data G_{i, j}2x upsampling circuit 31b for sampling digital image data G at a sampling frequency twice,_{i + 1, j}And a double upsampling circuit 31c for sampling the signal at a sampling frequency twice. The zero-order hold circuit 32 is a digital image data G sampled at twice the sampling frequency._{i-1, j}And zero-order hold circuit 32a for adding the data before one sampling time, and digital image data G sampled at twice the sampling frequency_{i, j}Zero-order hold circuit 32b for adding data before one sampling time to digital image data G sampled at twice the sampling frequency_{i + 1, j}And a zero-order hold circuit 32c for adding data before one sampling point.
[0037]
FIG. 4 shows functional blocks of the edge detection unit. The functional block shown in FIG. 4 corresponds to the edge detection unit 33 shown in FIG. The edge detection unit includes a maximum inclination detection unit 40 that detects a local maximum inclination of an image, a vertical direction detection unit 41 that detects a direction perpendicular to the maximum inclination as an edge direction, and a detected edge direction. An edge direction area designating unit 42 that designates an edge direction area by dividing it into predetermined areas of at least a horizontal direction 43, a vertical direction 44, and an oblique direction 45; Have
[0038]
FIG. 5 shows functional blocks of the two-dimensional adaptive filter. The functional blocks shown in FIG. 5 correspond to the two-dimensional adaptive filter 34 shown in FIG. This two-dimensional adaptive filter includes an edge direction correspondence coefficient selection means 50 and a coefficient 51 (H₁~ H₈).
[0039]
The operation of the field / frame interpolation block 10 configured as described above will be described below.
First, the operation of the simple enlargement unit 30 will be described. In the double upsampling circuit 31a, the digital image data G_{i-1, j}Are sampled at twice the sampling frequency, and the digital up-sampling circuit 31b performs digital image data G_{i, j}Are sampled at twice the sampling frequency, and the digital image data G in the double upsampling circuit 31c._{i + 1, j}Are sampled at twice the sampling frequency. Then, the value at the original sampling time and the value of 0 (zero) at the time of double sampling are output from the

double upsampling circuits

31a, 31b, and 31c, respectively.
[0040]
A value at the original sampling time and a value of 0 (zero) at the double sampling time are supplied to the zero-

order hold circuits

32a, 32b, and 32c from the

double upsampling circuits

31a, 31b, and 31c, respectively. In the zero-

order hold circuits

32a, 32b, and 32c, the value at the original sampling time and the value before the one sampling time at the double sampling time are added. In this way, image data enlarged twice in the main scanning direction is obtained from the simple enlargement unit 30.
[0041]
Next, the operation of the edge detector will be described. First, the local maximum inclination direction of the image is detected by the maximum inclination direction detecting means 40. Then, the vertical direction detection means 41 detects the direction perpendicular to the maximum tilt direction as the edge direction. Hereinafter, an edge detection method based on local inclination information will be described. In general, when a smooth analog image is expressed by a function f (x, y), the local maximum inclination direction can be expressed by a vector of Formula 1 by spatial first-order differentiation.
[0042]
[Expression 1]
grad f (x, y) = (∂f (x, y) / ∂x, ∂f (x, y) / ∂y)
[0043]
The direction perpendicular to the vector expressed by Equation 1 corresponds to the edge direction. Similarly, digital image data is converted to G_{i, j}In particular, the local maximum inclination direction is generally expressed by the following vector (p_{i, j}, Q_{i, j}).
[0044]
[Expression 2]
(P_{i, j}, Q_{i, j}) = (G_{i + 1, j}-G_{i, j}, G_{i, j + 1}-G_{i, j})
[0045]
Further, when calculating in a large area in order to match the phase, it can be expressed by a vector of Formula 3.
[0046]
[Equation 3]
(P_{i, j}, Q_{i, j}) = ((G_{i + 1, j + 1}+ G_{i + 1, j}+ G_{i + 1, j-1})-(G_{i-1, j + 1}+ G_{i-1, j}+ G_{i-1, j-1}), (G_{i + 1, j + 1}+ G_{i, j + 1}+ G_{i-1, j + 1})-(G_{i + 1, j-1}+ G_{i, j-1}+ G_{i-1, j-1}))
[0047]
This vector (p_{i, j}, Q_{i, j}A vector perpendicular to) is obtained as shown in FIG. That is, in the 3 × 3 image block surrounding the interpolation target pixel, the pixel indicated by the narrow diagonal line has the image data value of zero, the pixel indicated by the wide diagonal line has the intermediate value of the image data, and the blank pixel is The value of the image data is the maximum value. At this time, the vector (p_{i, j}, Q_{i, j}) Indicates the direction from the pixel having the image data value of zero and the intermediate value to the pixel having the maximum value. In this case, in FIG. 6, the three pixels at the lower left are zero, the three pixels including the interpolation target pixel from the upper left to the lower right are intermediate values, and the three upper right pixels are the maximum values. Therefore, the vector of the pixel to be interpolated is in the upper right direction. A vector perpendicular to this vector is a vector (−q) that is the direction of three intermediate pixels including the pixel to be interpolated diagonally up or down to the left._{i, j}, P_{i, j}) Or vector (q_{i, j}, -P_{i, j}). And this vector (−q_{i, j}, P_{i, j}) Or vector (q_{i, j}, -P_{i, j}) Corresponds to the edge direction.
[0048]
Next, when the image is simply doubled in the j main scanning direction (line direction) by the simple enlargement unit 30, the vector (p_{i, j}, Q_{i, j}) Is a vector (2p)_{i, j}, Q_{i, j}) And vector (2p)_{i, j}, Q_{i, j}A vector perpendicular to) is obtained as shown in FIG. That is, in the 3 × 6 image block surrounding the interpolation target pixel doubled in the j main scanning direction, the pixel indicated by the narrow diagonal line has the value of the image data zero, and the pixel indicated by the wide diagonal line has the value of the image data. It is an intermediate value, and a blank pixel has a maximum value of image data. At this time, each pixel shown in FIG. 6 is doubled in the j main scanning direction. Vector (2p_{i, j}, Q_{i, j}) Indicates the direction from the pixel having the image data value of zero and the intermediate value to the pixel having the maximum value. In this case, in FIG. 7, the six pixels at the lower left are zero, the six pixels including the interpolation target pixel doubled in the j main scanning direction from the upper left to the lower right are intermediate values, and the upper right Since these six pixels are the maximum values, the vector of the interpolation target pixel is diagonally upward to the right. The vector perpendicular to this vector is the vector (−q), which is the direction of six intermediate pixels including the interpolation target pixel doubled in the j main scanning direction to the upper left or lower right._{i, j}, 2p_{i, j}) Or vector (q_{i, j}, -2p_{i, j}). And this vector (−q_{i, j}, 2p_{i, j}) Or vector (q_{i, j}, -2p_{i, j}) Corresponds to the edge direction. This vector is the slope of the straight line in this direction a_{i, j}Is expressed by Equation 4.
[0049]
[Expression 4]
a_{i, j}= Tan θ_{i, j}= -2p_{i, j}/ Q_{i, j}
This a_{i, j}The local edge direction of the image can be expressed by the value of.
[0050]
Next, details of such edge direction detection will be described. Image data G_{i, j}Image data obtained by enlarging the image data twice in the main scanning direction_{i, k}Then, it becomes like Formula 5.
[0051]
[Equation 5]

[0052]
Spatial first derivative (p_{i, j}, Q_{i, j}) Is the amount of image data g after double enlargement_{i, k}(R_{i, k}, S_{i, k}) Is obtained by the equation (6).
[0053]
[Formula 6]

[0054]
Here, max [*, *] represents the larger absolute value. Thus, (r_{i, k}, S_{i, k}) Shows that the phase in the double magnified image is taken into consideration.
[0055]
Further, the secondary differential values in the i and k directions are calculated, and when the absolute value is small, it is determined that the curvature of the image curved surface is small, and Expression 7 is adopted.
[0056]
[Expression 7]

[0057]
Thus, when the secondary differential values in the i and k directions are small, erroneous detection can be prevented by calculating the inclination vector in a large area. Vector (r_{i, k}, S_{i, k}), The slope a representing the local edge direction of the image by the equation (4)._{i, j}The amount corresponding to is the slope b_{i, k}Is expressed by the following equation (8).
[0058]
[Equation 8]
b_{i, k}= -2r_{i, k}/ S_{i, k}
[0059]
The slope b obtained in this way_{i, k}The edge direction of the image is divided into eight areas including at least a horizontal direction 43, a vertical direction 44, and an oblique direction 45 as shown in FIG. The slope a previously obtained_{i, j}This is the same even if the edge direction of the image is divided by the value of, so FIG. 8 shows an example in which the region is divided into eight. Region (1) is tilt a_{i, j}Is positive and less than or equal to 3/4. Region (2) is tilt a_{i, j}Is greater than 3/4 and less than or equal to 3/2. Region (3) is tilt a_{i, j}Is greater than 3/2 and 4 or less. Area (4) is tilt a_{i, j}When the absolute value of is greater than 4. Area (5) is tilt a_{i, j}Is negative and is -3/4 or more. Region (6) is tilt a_{i, j}Is less than −3/4 and −3/2 or more. Area (7) is tilt a_{i, j}Is less than −3/2 and equal to or greater than −4. Area (8) is p_{i, j}This is when the absolute value of is less than or equal to a constant. That is, the area (8) is the horizontal direction 43, the area (4) is the vertical direction 44, the area (1), the area (2), the area (3), the area (5), the area (6), and the area (7) are An oblique direction 45.
[0060]
Next, in FIG. 8, the edge direction designation means 42 detects the oblique directions 45 such as the region (1), the region (2), the region (3), the region (5), the region (6), and the region (7). In such a case, the right-angle corner pattern detection means 46 detects a right-angle corner pattern such as a character shown in FIG. In FIG. 9, in a 3 × 3 image block surrounding a pixel to be interpolated, a pixel indicated by a narrow diagonal line has an image data value of zero, and a pixel indicated by a wide diagonal line has an intermediate value of the image data and is blank. The pixel has the maximum value of the image data. At this time, the vector (p_{i, j}, Q_{i, j}) Indicates the direction from the pixel having the image data value of zero and the intermediate value to the pixel having the maximum value. In this case, in FIG. 9, the two pixels at the lower left are zero, the two pixels including the interpolation target pixel are intermediate values, and the remaining five pixels extending from the top to the right are the maximum values. The pixel vector is detected as an upper right diagonal direction. The vector perpendicular to this vector is a vector (−q that is two directions to the upper left or the lower right even though the intermediate pixel including the interpolation target pixel is in the j direction._{i, j}, P_{i, j}) Or vector (q_{i, j}, -P_{i, j}) Is detected. And this vector (−q_{i, j}, P_{i, j}) Or vector (q_{i, j}, -P_{i, j}) Corresponds to the edge direction.
[0061]
However, since the right-angle corner pattern as shown in FIG. 9 is not a natural image but is included in many artificial images such as characters, the vector (−q_{i, j}, P_{i, j}) Or vector (q_{i, j}, -P_{i, j}) Is detected as the edge direction, the character shape is distorted. Therefore, in order to detect this right-angled corner pattern, the inclination of surrounding pixels is calculated as shown in Equation 9. This is a case where k: odd (odd) and the diagonal direction 45 of the region (5), the region (6), and the region (7) in FIG. 8 is selected.
[0062]
[Equation 9]
dm_{i, j}= G_{i + 2, k}-G_{i + 2, k-2}
dn_{i, k}= G_{i, k + 2}-G_{i-2, k-2}
dh1_{i, k}= G_{i, k}-G_{i + 2, k}
dh2_{i, k}= G_{i, k-2}-G_{i + 2, k-2}
[0063]
At this time, dm_{i, k}And dn_{i, k}The absolute value of dh1 is small and dh1_{i, k}And dh2_{i, k}Is regarded as a right-angle corner pattern, the horizontal direction 43 of the region (8) is selected in FIG. In other cases, similar processing is performed, and deformation of artificial images such as characters can be suppressed by the detection processing of the right-angled corner pattern. In this way, the local edge direction of the image is detected.
[0064]
Next, the operation of the two-dimensional adaptive filter will be described. In accordance with the edge directions of the areas {circle around (1)} to {circle around (8)} shown in FIG. 8 detected by the edge detection unit, the edge direction corresponding coefficient selection means 50 of the two-dimensional adaptive filter gives the coefficient 51 to FIG. 10 and FIG. H₁(Z_i, Z_j) ~ H₈(Z_i, Z_j). In FIG. 10, H₁(Z_i, Z_j) Are 0, 0, 0, +5/16, +5/16, -3/32, and -1/32 in the j main scanning direction with respect to the first line in the i sub-scanning direction, On the other hand, it is 0, 0, 0, 0, 0, 0, 0 in the j main scanning direction, and −1/32, −3/32, +5/16, + 5 / 16,0,0,0. H₂(Z_i, Z_j) Is 0, 0, 0, 0, +5/16, −3/32, −1/32 in the j main scanning direction with respect to the first line in the i sub scanning direction, and with respect to the second line. , 0, 0, 0, +5/8, 0, 0, 0 in the j main scanning direction, and -1/32, -3/32, +5/16, in the j main scanning direction with respect to the third line. 0, 0, 0, 0. H_Three(Z_i, Z_j) Is 0, 0, 0, 0, +5/32, -3/32, -1/32 in the j main scanning direction with respect to the first line in the i sub scanning direction, and with respect to the second line. , 0, 0, +5/32, +5/8, +5/32, 0, 0 in the j main scanning direction, and −1/32, −3/32 in the j main scanning direction with respect to the third line. +5/32, 0, 0, 0, 0. H_Four(Z_i, Z_j) Is 0, 0, 0, 0, 0, 0, 0 in the j main scanning direction with respect to the first line in the i sub-scanning direction, and -1 in the j main scanning direction with respect to the second line. / 32, -3/32, +5/16, +5/8, +5/16, -3/32, -1/32, and 0, 0, 0, 0, 0, 0, 0.
[0065]
Further, in FIG._Five(Z_i, Z_j) Are -1/32, -3/32, +5/16, +5/16, 0, 0, 0 in the j main scanning direction with respect to the first line in the i sub scanning direction, and the second line Is 0, 0, 0, 0, 0, 0, 0 in the j main scanning direction, and 0, 0, 0, +5/16, +5/16 in the j main scanning direction with respect to the third line. , −3/32, and −1/32. H₆(Z_i, Z_j) Is -1/32, -3/32, +5/16, 0, 0, 0, 0 in the j main scanning direction with respect to the first line in the i sub scanning direction, and with respect to the second line. 0, 0, 0, +5/8, 0, 0, 0 in the j main scanning direction, and 0, 0, 0, 0, +5/16, − in the j main scanning direction with respect to the third line. 3/32 and -1/32. H₇(Z_i, Z_j) Is −1/32, −3/32, +5/32, 0, 0, 0, 0 in the j main scanning direction with respect to the first line in the i sub scanning direction, and Thus, 0, 0, +5/32, +5/8, +5/32, 0, 0 in the j main scanning direction, and 0, 0, 0, 0, +5 in the j main scanning direction with respect to the third line. / 32, -3/32, and -1/32. H₈(Z_i, Z_j) Is 0, 0, 0, +5/32, 0, 0, 0 in the j main scanning direction with respect to the first line in the i sub-scanning direction, and in the j main scanning direction with respect to the second line. -1/32, -3/32, +5/32, +5/8, +5/32, -3/32, -1/32, and 0, 0, 0 in the j main scanning direction with respect to the third line. 0, +5/32, 0, 0, 0.
[0066]
Since each filter operation using these coefficients is performed in the j main scanning direction, it is sufficient to have an image memory of about 3 lines inside. Further, since the filter coefficient is a multiple of 2, it can be realized as hardware relatively inexpensively.
[0067]
The coefficient H of such a two-dimensional adaptive filter₁(Z_i, Z_j) ~ H₈(Z_i, Z_j) Frequency characteristics are shown in FIGS. This frequency characteristic indicates a gain for two dimensions of the X frequency and the Y frequency, respectively. H in FIG._Five(Z_i, Z_j) Frequency characteristics. Where H₁(Z_i, Z_j) Frequency characteristics are reversed left and right when X = 0. H in FIG.₆(Z_i, Z_j) Frequency characteristics. Where H₂(Z_i, Z_j) Frequency characteristics are reversed left and right when X = 0. H in FIG.₇(Z_i, Z_j) Frequency characteristics. Where H_Three(Z_i, Z_j) Frequency characteristics are reversed left and right when X = 0. Thus, H₁(Z_i, Z_j), H₂(Z_i, Z_j), H_Three(Z_i, Z_j) Frequency characteristics are H_Five(Z_i, Z_j), H₆(Z_i, Z_j), H₇(Z_i, Z_j) Is inverted in the i sub-scanning direction. H in FIG._Four(Z_i, Z_j) Frequency characteristics. In FIG.₈(Z_i, Z_j) Frequency characteristics.
[0068]
These filter coefficients have directionality and constitute a two-dimensional low-pass filter, which cuts the jagged component in the edge direction and preserves the sharpness of the edge in the direction perpendicular to it. Therefore, the edges in the diagonal direction are smoothly interpolated without becoming jagged.
[0069]
In addition, since a low-pass filter having better characteristics than a method using an average value of pixels can be configured, blurring of an image can be suppressed. Furthermore, since these filters are applied to a simple double-enlarged image, there is an advantage that the horizontal edges are preserved without blurring compared to a method using an average value of pixels.
[0070]
As described above, according to this embodiment, it is possible to obtain a high-quality interpolated image in which oblique edges are smoothly interpolated, the image is less blurred, and characters and the like are less deformed.
[0071]
In addition, the present invention is not limited to the above example, and a low-resolution image may be printed at a high resolution in a digital color printer, or may be configured by software for increasing the resolution of an image on a computer.
[0072]
In addition, after interpolation into a doubled pixel using this embodiment, resolution conversion may be performed by a resolution conversion unit having a free magnification. In this case, the resolution conversion is performed by a resolution conversion unit having a free magnification alone. Compared to the case of applying, an output image with higher image quality can be obtained.
[0073]
【The invention's effect】
The image interpolating apparatus according to the present invention has an edge detection unit that detects a local edge direction of an image, and a frequency characteristic of the selected coefficient by selecting a coefficient based on the edge direction detected by the edge detection unit. Filter means for filtering the frequency band with a predetermined gain and interpolating a specific pixel of the image twice in one direction, so that the jagged component in the edge direction is cut and perpendicular to this By preserving the sharpness of the edge in the direction, it is possible to obtain a high-quality interpolated image in which oblique edges are smoothly interpolated, the image is less blurred, and there is little deformation of characters and the like.
[0074]
In the image interpolating apparatus according to the present invention, in the above description, the edge detecting unit includes a maximum tilt direction detecting unit that detects a local maximum tilt direction of the image, and a maximum tilt direction detected by the maximum tilt detecting unit. Vertical direction detecting means for detecting the vertical direction as an edge direction, and edge direction area specifying means for dividing the edge direction detected by the vertical direction detecting means into a plurality of areas and specifying the area to which the edge direction belongs Thus, there is an effect that a local edge direction of an image can be detected and a filter can be applied by changing a coefficient according to the edge direction.
[0075]
In the image interpolating apparatus according to the present invention, in the above description, the filter means is a two-dimensional digital filter, and a coefficient having a frequency characteristic having directionality is detected by the edge detecting means among the coefficients. Since there is an edge direction corresponding coefficient selecting means for selecting a coefficient corresponding to the edge direction, there is an effect that it is possible to apply a filter with different frequency characteristics by changing the coefficient according to the edge direction.
[0076]
In the image interpolating apparatus according to the present invention, the edge detecting means includes a maximum inclination direction detecting means for detecting a local maximum inclination direction of the image, and a direction perpendicular to the maximum inclination direction detected by the maximum inclination detecting means. Vertical direction detection means for detecting the edge direction as an edge direction, edge direction detection means for dividing the edge direction detected by the vertical direction detection means into a plurality of areas, and specifying the area to which the edge direction belongs, and the edge direction When the edge direction is detected as an oblique direction by the area designating means and when it is detected that the pixel to be interpolated is a right-angled corner of the image, the edge direction by the edge direction area designating means Since it has a right-angled corner pattern detection means for selecting a horizontal direction, it is possible to suppress deformation of images such as characters having a right-angled corner pattern. An effect that can be.
[0077]
Further, the image interpolation method of the present invention detects a local edge direction of an image, selects a coefficient based on the detected edge direction, and determines a predetermined frequency band according to a frequency characteristic of the selected coefficient. Filtering by gain and interpolating specific pixels in the above image twice in one direction. By cutting the jagged component in the edge direction and preserving the sharpness of the edge in the direction perpendicular to this. As a result, it is possible to obtain a high-quality interpolated image in which oblique edges are smoothly interpolated, the image is less blurred, and there is little deformation of characters and the like.
[0078]
In the image interpolation method of the present invention, the edge detection is detected by detecting a local maximum inclination direction of the image and detecting a vertical direction with respect to the detected maximum inclination direction as an edge direction. Since the edge direction is divided into a plurality of regions and the region to which the edge direction belongs is specified, the local edge direction of the image is detected, and the filter is changed by changing the coefficient according to the edge direction. There is an effect that can be applied.
[0079]
In the image interpolation method of the present invention, in the above description, the filter is a two-dimensional digital filter, and is a coefficient corresponding to the edge direction detected by the edge detection among coefficients having frequency characteristics having directionality. Thus, there is an effect that it is possible to apply a filter with different frequency characteristics by changing the coefficient according to the edge direction.
[0080]
Further, in the image interpolation method of the present invention, in the above description, the edge detection detects a local maximum inclination direction of the image, detects a direction perpendicular to the detected maximum inclination direction as an edge direction, The detected edge direction is divided into a plurality of regions having at least a horizontal direction, a vertical direction, and an oblique direction, the region to which the edge direction belongs is specified, and the edge direction belongs to the oblique direction and is interpolated. When the right pixel of the image is detected as a right-angled corner, the horizontal direction is selected as the edge direction, so that it is possible to suppress deformation of the image such as characters having a right-angled corner pattern. There is an effect.
[0081]
According to another aspect of the present invention, there is provided a video printer that performs predetermined interpolation processing on image data of a video image, and detects a local edge direction of the image in a video printer that prints with the print head using the interpolated image data. Edge detecting means, and filter means for selecting a coefficient according to the edge direction detected by the edge detecting means and filtering the predetermined frequency band with a predetermined gain according to the frequency characteristic of the selected coefficient, Since the specific pixel of the image is printed by interpolating twice in one direction, by cutting the jagged component in the edge direction and preserving the sharpness of the edge in the direction perpendicular thereto, the oblique edge is Prints high-quality interpolated images that are smoothly interpolated, with less blurring of the image, and less deformation of characters, etc. An effect that can be obtained force.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a video printer to which an image interpolation apparatus according to an embodiment is applied.
FIG. 2 is a block diagram of an image processing unit according to the present embodiment.
FIG. 3 is a block diagram showing a configuration of a field / frame interpolation block according to the present embodiment.
FIG. 4 is a functional block diagram of an edge detection unit according to the present embodiment.
FIG. 5 is a functional block diagram of a two-dimensional adaptive filter according to the present embodiment.
FIG. 6 is a diagram illustrating an inclination vector of an image according to the present embodiment.
FIG. 7 is a diagram illustrating an inclination vector of an interpolation image according to the present embodiment.
FIG. 8 is a diagram illustrating a region in an edge direction of an image according to the present embodiment.
FIG. 9 is a diagram showing a right-angled corner pattern according to the present embodiment.
FIG. 10 is a diagram illustrating coefficients of a two-dimensional adaptive filter according to the present embodiment.
FIG. 11 is a diagram illustrating coefficients of a two-dimensional adaptive filter according to the present embodiment.
FIG. 12 is a coefficient H according to the present embodiment._Five(Z_i, Z_j) Frequency characteristics (H₁(Z_i, Z_j) Is a diagram showing the frequency characteristics of the left and right inverted when X = 0).
FIG. 13 is a coefficient H according to the present embodiment.₆(Z_i, Z_j) Frequency characteristics (H₂(Z_i, Z_j) Is a diagram showing the frequency characteristics of the left and right inverted when X = 0).
FIG. 14 is a coefficient H according to the present embodiment.₇(Z_i, Z_j) Frequency characteristics (H_Three(Z_i, Z_j) Is a diagram showing the frequency characteristics of the left and right inverted when X = 0).
FIG. 15 shows a coefficient H according to the present embodiment._Four(Z_i, Z_jIt is a figure which shows the frequency characteristic of ().
FIG. 16 shows a coefficient H according to the present embodiment.₈(Z_i, Z_jIt is a figure which shows the frequency characteristic of ().
[Explanation of symbols]
1 video input unit, 2 A / D converter, 3 memory control unit, 4 image memory, 5 switch unit, 6 system control unit, 7 mechanism control unit, 8 mechanism, 9 image processing unit, 10 non-linear interpolation block (field / Frame interpolation block), 11 thermal head, 12 registers, 13 main scanning direction controller, 14 sub scanning direction controller, 15 line buffer, 16 sub scanning interpolation block, 17 linear interpolation block, 18 resize block, 19 line buffer, 20 editing function Block, 21 Line buffer, 22 Sharpness block, 23 Thermal storage correction memory (short time constant), 24 Thermal storage correction memory (long time constant), 25 Thermal storage correction block, 26 Dither block, Dc System controller control data, Di input image data , Do Output image data, 30 Simple enlargement unit, 31 Double upsampling circuit, 32 Zero order hold circuit, 33 Edge detection unit, 34 Two-dimensional adaptive filter, 40 Maximum inclination direction detection unit, 41 Vertical direction detection unit, 42 Edge direction region Designating means, 43 horizontal direction area, 44 vertical direction area, 45 oblique direction area, 46 right angle corner pattern detection means, 50 edge direction corresponding coefficient selection means, 51 coefficient (having frequency characteristics with directionality)

Claims

The simple enlargement means for simply magnifying the image twice, the edge detection means for detecting the local edge direction of the image, and the coefficient selected by selecting the coefficient according to the edge direction detected by the edge detection means Filter means for applying a filter with a predetermined gain to a predetermined frequency band according to the frequency characteristics possessed by the edge detection means by the edge detection means for the pixels of the image that have been doubled in the main scanning direction by the simple enlargement means. In the image interpolating apparatus that detects the edge direction and filters the detected edge direction by the filter means,
The edge detection means includes
Maximum inclination direction detecting means for detecting a local maximum inclination direction of the image;
Vertical direction detection means for detecting the maximum inclination direction and the vertical direction detected by the maximum inclination detection means as an edge direction;
An edge direction area specifying means for virtually dividing the edge direction detected by the vertical direction detecting means into a plurality of areas and specifying the area to which the edge direction belongs;
When the edge direction region designation means detects that the edge direction is an oblique direction, and detects that the pixel to be interpolated is a right-angled corner of the image, the edge direction region designation means A right-angled corner pattern detecting means for selecting the edge direction by the horizontal direction with respect to the main scanning direction ;
An image interpolation apparatus characterized by comprising:

The image is simply magnified twice, the local edge direction of the image is detected, the coefficient is selected based on the detected edge direction, and the frequency characteristic of the selected coefficient is used to determine the predetermined frequency band. In an image interpolation method in which the edge direction is detected with respect to the pixel of the image that has been doubled in the main scanning direction when filtering is performed by the gain, and the detected edge direction is filtered. ,
The edge detection detects the local maximum tilt direction of the image,
Detecting the vertical direction as the edge direction with respect to the detected maximum inclination direction,
The detected edge direction is virtually divided into a plurality of areas having at least a horizontal direction, a vertical direction, and an oblique direction, and an area to which the edge direction belongs is designated.
The edge direction belongs to a diagonal direction,
When it is detected that the pixel to be interpolated is a right-angled corner of the image, the edge direction selects a horizontal direction with respect to the main scanning direction .
An image interpolation method characterized by the above.