JP4144159B2 - Image processing apparatus and method, and recording medium - Google Patents

Image processing apparatus and method, and recording medium Download PDF

Info

Publication number
JP4144159B2
JP4144159B2 JP2000152971A JP2000152971A JP4144159B2 JP 4144159 B2 JP4144159 B2 JP 4144159B2 JP 2000152971 A JP2000152971 A JP 2000152971A JP 2000152971 A JP2000152971 A JP 2000152971A JP 4144159 B2 JP4144159 B2 JP 4144159B2
Authority
JP
Japan
Prior art keywords
pixel
value
correction amount
pixels
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000152971A
Other languages
Japanese (ja)
Other versions
JP2001333272A (en
Inventor
郁男 染谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000152971A priority Critical patent/JP4144159B2/en
Publication of JP2001333272A publication Critical patent/JP2001333272A/en
Application granted granted Critical
Publication of JP4144159B2 publication Critical patent/JP4144159B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、画素数を変換する際に、変換前の画素と変換後の画素の位置のずれに対応して、画素値を補正することにより、画像のムラの発生を抑制するようにした画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
画像の画素数を変換する技術が一般に普及しつつある。例えば、VGA（Video Graphics Array）信号の画像の垂直有効画素数は480個であり、SVGA（Super VGA）信号の画像の垂直有効画素数は600個である。従って、VGA信号の画像をSVGA信号に対応する表示器に表示させるには、走査線の数を5/4（＝600/480）倍に変換する必要がある。
【０００３】
また、同様にして、720P（Progressive）のテレビジョン信号をXGA（Extended Graphics Array）信号に対応する表示器に表示させるには、垂直有効走査線数720本からXGA信号に対応する垂直有効走査線数768本に変換する必要がある。すなわち、垂直有効走査線数は16/15（＝768/720）倍に変換される必要がある。
【０００４】
さらに、テレビジョン信号を液晶ディスプレイのような固定画素の表示器に表示させるため若干のオーバースキャン表示をさせる場合、1割程度の拡大を行う必要があり、また、パーソナルコンピュータの信号をCRT（Cathode Ray Tube）で表示させる場合、画像を画面外にはみ出させないようにするために、１割程度の縮小を行う必要がある。このため、垂直有効走査線数は、11/10倍、または、9/10倍に変換させる必要がある。
【０００５】
従来、これらの画素数の変換には、画質を重視する場合、双線形補間やsin(X)/Xといった補間関数を用いた補間フィルタによる補間処理を行ってきた。
【０００６】
図１は、画像の垂直有効走査線数を、双線形補間により9/8倍に変換するときに使用される、従来の画像処理装置１の構成を示している。ラインメモリ１１は、入力された画像の走査線のうちの1ライン分に相当する各画素値を記憶するメモリである。ラインメモリ１１は、画素値が入力されると、それを記憶し、さらに、新たな画素値が入力されると、それまでに記憶していた画素値を増幅器１３ａ乃至１３ｈに出力する。従って、ラインメモリ１１により増幅器１３ａ乃至１３ｈに入力される画素値は、増幅器１２ａ乃至１２ｈに入力される画素値より、1ライン分だけ前の画素値ということになる。
【０００７】
増幅器１２ａ乃至１２ｈおよび増幅器１３ａ乃至１３ｈは、入力された画像を、それぞれの倍率8/9乃至1/9、または、1/9乃至8/9で増幅し、各加算器１４ａ乃至１４ｈに出力する。すなわち、増幅器１２ａは、入力された画素値を8/9倍に増幅して加算器１４ａに出力する。増幅器１３ａは、入力された画素値を1/9倍して加算器１４ａに出力し、増幅器１２ｂは、7/9倍に増幅して加算器１４ｂに出力する。増幅器１３ｂは、入力された画素値を2/9倍して加算器１４ｂに出力する。以下、増幅器１２ｃ乃至１２ｈおよび１３ａ乃至１３ｈも同様の増幅処理を行った後、加算器１４ｃ乃至１４ｈに出力する。
【０００８】
加算器１４ａ乃至１４ｈは、増幅器１２ａ乃至１２ｈから入力された画素値と、増幅器１３ａ乃至１３ｈから入力された画素値とを加算し、端子１５ｂ乃至１５ｉに出力する。端子１５ａは、入力された画素値を、端子１５ｂ乃至１５ｉは、加算器１４ａ乃至１４ｈの加算結果となった画素値を、それぞれ出力する端子である。
【０００９】
９進ラインカウンタ１７は、0乃至８のカウント値をカウントする。また、９進ラインカウンタ１７は、カウント値に基づいて、切り替えスイッチ１６を制御し、対応する端子１５ａ乃至１５ｉに接続させる。すなわち、例えば、９進ラインカウンタ１７のカウント値が0である場合、９進ラインカウンタ１７は、切り替えスイッチ１６を端子１５ａに接続するように制御する。また、カウント値が１である場合、９進ラインカウンタ１７は、切り替えスイッチ１６を制御して、１５ｂに接続させる。以下、同様に、カウント値が、３乃至８である場合、９進ラインカウンタ１７は、切り替えスイッチ１６を制御して、端子１５ｃ乃至１５ｉに接続させる。
【００１０】
次に、画像の走査線数を変換する処理について説明する。例えば、図２（Ａ）に示す白のインパルス波形を示す画像の垂直有効走査線数を9/8倍に変換する場合、画像変換装置１は、図２（Ｂ）に示すように垂直有効走査線を9/8倍に変換する。尚、走査線Ｌ１乃至Ｌ１１は、入力された画像の走査線を表し、Ｌ'１乃至Ｌ'１２は、変換後の画像の走査線を表しており、図２においては、上の走査線から順に走査されるものとする。
【００１１】
図２に示すように、変換処理は、入力された画像の走査線の８本分の空間に、走査線数が変換された画像の９本の走査線が存在するように行われる。このとき、図２（Ｂ）の走査線Ｌ'１は、図２（Ａ）の走査線Ｌ１から生成され、同一の位置に配置される。続く、図２（Ｂ）の走査線Ｌ'２は、図２（Ａ）の走査線Ｌ２に対して、元の画像の走査線の間隔に対して1/9だけ走査線Ｌ'１寄りの位置にずれて、走査線Ｌ１，Ｌ２の画素値に基づいて補間生成される。さらに、図２（Ｂ）の走査線Ｌ'３は、図２（Ａ）の走査線Ｌ３に対して、図２（Ａ）の走査線の間隔の2/9だけ走査線Ｌ'２寄りの位置にずれて、走査線Ｌ２，Ｌ３の画素値に基づいて補間生成される。
【００１２】
このように、図２（Ａ）の走査線の間隔の1/9ずつ順次ずれて、新たな走査線が生成されることになる。このため、図２（Ｂ）の走査線Ｌ'１０は、図２（Ａ）の走査線Ｌ９と同じ位置（変換前の走査線Ｌ１０に対して、図２（Ａ）の走査線の間隔の9/9（＝１）だけずれた位置）に生成されることになる。このように、図２（Ｂ）の新たな走査線は、９本毎に、図２（Ａ）の変換前の走査線と同じ位置に生成される。
【００１３】
図３は、元の画像の走査線数の変換前と変換後の各画素値を示している。図３（Ａ）は、変換前の画素値を表し、図３（Ｂ）は、変換後の画素値を表しており、各画素の画素値を示す黒丸が、左側の直線に近いほど黒を表し、右側に位置するほど白を表している。ここでは、黒の画素値は０、白の画素値は１で表されるものとする。
【００１４】
例えば、今の場合、補間関数として双線形を使用するので、図４（Ｃ）に示す走査線Ｌ４，Ｌ５の間に位置する、図４（Ｄ）の走査線Ｌ'５を補間して生成するとき、補間関数は、図４（Ａ）に示すように、生成される走査線Ｌ'５に対応する位置に交点が位置するように、二つの直線が配置される。尚、図４は、図３において横方向に示されている。走査線が縦方向に示されている。
【００１５】
ここで、補間関数のそれぞれの直線と元の走査線Ｌ４，Ｌ５に対応する位置と交差する値、すなわち、今の場合、双直線同士の交点の値を１とすると、走査線Ｌ４，Ｌ５の位置に対応する値ｍ，ｎ（0≦m，n≦1）の値をそれぞれの画素値に乗算して、その和をとることにより、走査線Ｌ'５の画素値Ｌ'５valueが求められる。従って、今の場合、走査線Ｌ'５の画素値Ｌ'５valueは、
Ｌ'５value＝Ｌ４value×ｍ＋Ｌ５value×ｎ
で表される。
【００１６】
また、例えば、補間関数としてY=sin(X)/Xを使用した場合、図４（Ｂ）に示すように、求められる走査線Ｌ'５に対応する位置の頂点の値を１とし、走査線Ｌ４，Ｌ５の位置に対応するｍ'，ｎ'（0≦m'，n'≦1）を、各画素値に乗算した値が、走査線Ｌ'５の画素値Ｌ'５valueとなる。従って、今の場合、走査線Ｌ'５の画素値Ｌ'５valueは、
Ｌ'５value＝Ｌ４value×ｍ'＋ Ｌ５value×ｎ'
で表される。尚、補間関数としてY=sin(X)/Xを使用した場合は、図１の増幅器１２ａ乃至１２ｈおよび１３ａ乃至１３ｈの各増幅率は、sin（X）/Xの関数に対応した値に設定される。
【００１７】
ここで、図２（Ａ）に示すように、走査線Ｌ４（画素値Ｌ４value＝0）と走査線Ｌ５（画素値Ｌ５value＝1）の間に、図２（Ｂ）に示すように、走査線Ｌ'５が、双線形補間を用いて生成される場合（走査線Ｌ'５が、変換前の走査線の間隔の4/9ずれた位置に生成される場合）、ｍ＝4/9，ｎ＝5/9となるので、求められる走査線Ｌ'５の画素値Ｌ'５valueは、
Ｌ'５value＝0×4/9＋1×5/9＝5/9
となる。
【００１８】
このとき、図１の画像処理装置１の９進ラインカウンタ１７のカウント値は４となるので、９進ラインカウンタ１７は、切り替えスイッチ１６を制御し、端子１５ｅに接続させる。これにより、入力画像の走査線Ｌ５の画素値Ｌ５value（＝1）に、増幅器１２ｄにより5/9が乗じられた画素値と、ラインメモリ１１を介して、増幅器１３ｄにより走査線Ｌ４の画素値Ｌ４value（＝0）に4/9が乗じられた画素値とが、加算器１４ｄにより加算された画素値Ｌ'５value（＝5/9）が画素値として出力される。
【００１９】
また、走査線Ｌ'６が走査線Ｌ５とＬ６の間に生成される場合（走査線Ｌ'６が、元の画像の走査線Ｌ５に対して、新たな走査線の間隔の5/9だけずれた位置に生成される場合）も同様にして、９進ラインカウンタ１７のカウント値は５となるので、切り替えスイッチ１６は、端子１５ｆに接続される。これにより、入力画像の走査線Ｌ６の画素値Ｌ６value（＝0）に、増幅器１２ｅにより4/9が乗じられた画素値と、ラインメモリ１１を介して、増幅器１３ｅにより走査線Ｌ４の画素値Ｌ４value（＝1）に5/9が乗じられた画素値とが加算器１４ｅにより加算された画素値Ｌ'６value（＝5/9）が、出力画像として出力される。
【００２０】
以上のように、図３（Ｂ）の画素値Ｌ'１value乃至Ｌ'１０valueは、以下のように計算される。
【００２１】
Ｌ'１value＝Ｌ１value＝0（カウント値＝0）
Ｌ'２value＝Ｌ１value×1/9＋Ｌ２value×8/9＝0×1/9＋0×8/9＝0
（カウント値＝1）
Ｌ'３value＝Ｌ２value×2/9＋Ｌ３value×7/9＝0×2/9＋0×7/9＝0
（カウント値＝2）
Ｌ'４value＝Ｌ３value×3/9＋Ｌ４value×6/9＝0×3/9＋0×6/9＝0
（カウント値＝3）
Ｌ'５value＝Ｌ４value×4/9＋Ｌ５value×5/9＝0×4/9＋1×5/9＝5/9
（カウント値＝4）
Ｌ'６value＝Ｌ５value×5/9＋Ｌ６value×4/9＝1×5/9＋0×4/9＝5/9
（カウント値＝5）
Ｌ'７value＝Ｌ６value×6/9＋Ｌ７value×3/9＝0×6/9＋0×3/9＝0
（カウント値＝6）
Ｌ'８value＝Ｌ７value×7/9＋Ｌ８value×2/9＝0×7/9＋0×2/9＝0
（カウント値＝7）
Ｌ'９value＝Ｌ８value×8/9＋Ｌ９value×1/9＝0×8/9＋0×1/9＝0
（カウント値＝8）
Ｌ'１０value＝Ｌ９value＝1（カウント値＝0）
【００２２】
尚、以降の走査線は、画素値Ｌ'１value乃至Ｌ'１０valueの計算に使用された上記の係数（ｍ，ｎ）の繰り返しにより計算される。
【００２３】
さらに、図５（Ａ）に示すように、元の画像の画素値が、走査線に対して1本毎に１と０で構成される１／０交番信号の波形である場合、図５（Ｂ）に示すように、画素値は変換される。
【００２４】
すなわち、画像処理装置１の上述の処理と同様の処理により、走査線Ｌ１の画素値は、そのまま、走査線Ｌ'１の画素値に変換され、走査線Ｌ'２の画素値は、変換前の走査線Ｌ２に対して、その走査線の間隔の1/9だけずれることになるので、走査線L'２の画素値Ｌ'２valueは、Ｌ'２value＝1×1/9＋0×8/9＝1/9となる。
【００２５】
従って、図５（Ｂ）の画素値Ｌ'１value乃至Ｌ'１０valueは、以下のように計算される。
【００２６】
Ｌ'１value＝Ｌ１value＝1（カウント値＝0）
Ｌ'２value＝Ｌ１value×1/9＋Ｌ２value×8/9＝1×1/9＋0×8/9＝1/9
（カウント値＝1）
Ｌ'３value＝Ｌ２value×2/9＋Ｌ３value×7/9＝0×2/9＋1×7/9＝7/9
（カウント値＝2）
Ｌ'４value＝Ｌ３value×3/9＋Ｌ４value×6/9＝1×3/9＋0×6/9＝3/9
（カウント値＝3）
Ｌ'５value＝Ｌ４value×4/9＋Ｌ５value×5/9＝0×4/9＋1×5/9＝5/9
（カウント値＝4）
Ｌ'６value＝Ｌ５value×5/9＋Ｌ６value×4/9＝1×5/9＋0×4/9＝5/9
（カウント値＝5）
Ｌ'７value＝Ｌ６value×6/9＋Ｌ７value×3/9＝0×6/9＋1×3/9＝3/9
（カウント値＝6）
Ｌ'８value＝Ｌ７value×7/9＋Ｌ８value×2/9＝1×7/9＋0×2/9＝7/9
（カウント値＝7）
Ｌ'９value＝Ｌ８value×8/9＋Ｌ９value×1/9＝0×8/9＋1×1/9＝1/9
（カウント値＝8）
Ｌ'１０value＝Ｌ９value＝1（カウント値＝0）
【００２７】
尚、以降の走査線は、図３と同様に、画素値Ｌ'１value乃至Ｌ'１０valueの計算に使用された上記の係数（ｍ，ｎ）の繰り返しにより計算される。
【００２８】
【発明が解決しようとする課題】
しかしながら、図３および図５、並びに上記演算結果に示すように、補間処理により生成された走査線の位置と、元の走査線の位置が、同一である場合（例えば、図３および図５の走査線Ｌ１とＬ'１、または、走査線Ｌ９とＬ'１０の場合）は、そのままの画素値が変換されて出力されるが、元の走査線からのずれが大きくなる場合（例えば、図３および図５の走査線Ｌ'５，Ｌ'６の場合）、画素値が小さく（暗く）なるという傾向がある。このため、画像の画素数を変換すると周期的にピークの明るさが異なったり、ムラが出てしまうという課題があった。
【００２９】
本発明はこのような状況に鑑みてなされたものであり、画像の画素数の変換において、周期的に発生するピークの明るさの変化やムラの発生を抑制するようにするものである。
【００３０】
【課題を解決するための手段】
本発明の画像処理装置は、入力された画像の画素を補間して、新たに画素を生成する生成手段と、生成手段により生成された画素を用いて、入力された画像の画素数を変換する変換手段と、生成手段により生成された画素と、入力された画像の画素との位置のずれ幅に対応し、画素値の補正量を生成する補正量生成手段と、補正量生成手段により生成された補正量に、補正量が正の場合と負の場合とで、異なる特性の非線形処理を施す非線形処理手段と、入力された画像の画素値からなる信号のうち、ナイキスト周波数に近いカットオフ周波数以下の信号のみを通過信号として通過させ、通過信号を構成する画素値を通過画素値として出力する通過手段と、通過画素値と入力された画像の画素の画素値との差分絶対値が所定の値以上である場合、変換手段により画素数が変換された画像の画素と、入力された画像の画素との位置のずれ幅に対応して、生成手段により生成された画素の画素値を、非線形処理手段により非線形処理された補正量を乗じることにより補正する補正手段とを備えることを特徴とする。
【００３２】
前記補正量生成手段により生成された補正量は、生成手段により生成された画素と、入力された画像の画素との位置のずれ幅が、入力された画像の画素間の距離の1/2付近のとき最大となるようにすることができる。
【００３３】
前記補正量生成手段は、係数が、−１：２：−１の比を構成するトランスバーサルHPFとすることができる。
【００３６】
エンハンス量を入力するエンハンス量入力手段をさらに設けるようにさせることができ、補正手段には、エンハンス量入力手段により入力されたエンハンス量と、補正量生成手段により生成された補正量により、生成手段により生成された画素の画素値を補正させるようにすることができる。
【００３８】
本発明の画像処理方法は、入力された画像の画素を補間して、新たに画素を生成する生成ステップと、生成ステップの処理で生成された画素を用いて、入力された画像の画素数を変換する変換ステップと、生成ステップの処理で生成された画素と、入力された画像の画素との位置のずれ幅に対応し、画素値の補正量を生成する補正量生成ステップと、補正量生成ステップの処理で生成された補正量に、補正量が正の場合と負の場合とで、異なる特性の非線形処理を施す非線形処理ステップと、入力された画像の画素値からなる信号のうち、ナイキスト周波数に近いカットオフ周波数以下の信号のみを通過信号として通過させ、通過信号を構成する画素値を通過画素値として出力する通過ステップと、通過画素値と入力画像の画素の画素値との差分絶対値が所定の値以上である場合、変換ステップの処理で画素数が変換された画像の画素と、入力された画像の画素との位置のずれ幅に対応して、生成ステップの処理で生成された画素の画素値を、非線形処理ステップの処理で非線形処理された補正量を乗じることにより補正する補正ステップとを含むことを特徴とする。
【００３９】
本発明の記録媒体のプログラムは、入力された画像の画素を補間して、新たに画素の生成を制御する生成制御ステップと、生成制御ステップの処理で生成された画素を用いて、入力された画像の画素数の変換を制御する変換制御ステップと、生成ステップの処理で生成された画素と、入力された画像の画素との位置のずれ幅に対応し、画素値の補正量の生成を制御する補正量生成制御ステップと、補正量生成制御ステップの処理で生成された補正量に、補正量が正の場合と負の場合とで、異なる特性の非線形処理を施す処理を制御する非線形処理制御ステップと、入力された画像の画素値からなる信号のうち、ナイキスト周波数に近いカットオフ周波数以下の信号のみを通過信号として通過させ、通過信号を構成する画素値の通過画素値としての出力を制御する通過制御ステップと、通過画素値と入力画像の画素の画素値との差分絶対値が所定の値以上である場合、変換制御ステップの処理で画素数が変換された画像の画素と、入力された画像の画素との位置のずれ幅に対応して、生成制御ステップの処理で生成された画素の画素値を、非線形処理制御ステップの処理で非線形処理された補正量を乗じることによる補正を制御する補正制御ステップとを含むことを特徴とする。
【００４０】
本発明の画像処理装置および方法、並びに記録媒体においては、入力された画像の画素が補間されて、新たに画素が生成され、生成された画素が用いられて、入力された画像の画素数が変換され、生成された画素と、入力された画像の画素との位置のずれ幅に対応し、画素値の補正量が生成され、生成された補正量に、補正量が正の場合と負の場合とで、異なる特性の非線形処理が施され、入力された画像の画素値からなる信号のうち、ナイキスト周波数に近いカットオフ周波数以下の信号のみが通過信号として通過され、通過信号を構成する画素値が通過画素値として出力され、通過画素値と入力された画像の画素の画素値との差分絶対値が所定の値以上である場合、画素数が変換された画像の画素と、入力された画像の画素との位置のずれ幅に対応して、生成された画素の画素値が、非線形処理された補正量を乗じることにより補正される。
【００４１】
【発明の実施の形態】
図６は、本発明を適用した画像処理装置１の一実施の形態の構成を示すブロック図である。画像処理装置１の補間フィルタ部２１は、入力された画像信号を、上述の方法と同様の方法により補間処理して生成されたデータ（補間データ）を補正回路２２に出力する。
【００４２】
補正回路２２は、補間フィルタ部２１より入力された補間データに、HPF（High Pass Filter）処理を施し、さらに、補間フィルタ部２１より入力された補正量に基づいた補正処理を行い、その値を補間データに加算して出力画像データとして出力する。
【００４３】
次に、図７は、補間フィルタ部２１の構成例を表している。補間フィルタ部２１の基本的な構成は、図１に示した従来の画像処理装置の構成とほぼ同様である。上述の構成に対応するものについては、同一の番号を付しており、その説明は適宜省略する。
【００４４】
補間フィルタ部２１において、新たに設けられているのは、ROM３１である。ROM３１は、９進ラインカウンタ１７のカウント値に基づいて、切り替えスイッチ１６を制御するのに使用するカウント値に対応した補正量を記憶しており、９進ラインカウンタ１７からのカウント値に対応した補正量を補正回路２２に出力する。
【００４５】
図８には、ROM３１に記憶されているカウント値と補正量の関係が示されている。図８に示すように、カウント値が４，５を示す付近、すなわち、元の画像の走査線と変換された後の走査線の位置のずれ幅が大きい場合に、最も大きな補正量（図８の例では4/4.5）が設定されている。これに対して、カウント値が０，１，２，３，８，７，６の場合、補正量は小さい値（0，1/4.5，2/4.5，または、3/4.5）に設定されている。すなわち、換言すれば、この位置のずれ幅の変化の周期を位相として表した場合、変換位相角度が180°となったとき最大となるように設定されている。
【００４６】
次に、図９を参照して、図６の補正回路２２の詳細について説明する。補正回路２２は、HPF（High Pass Filter）４１により入力された画素値の高域成分を抽出し、その抽出された画素値の高域成分を補正し、さらに、補間処理された画素値に加算する。
【００４７】
HPF４１のラインメモリ５１ａは、補間処理された画素値を１ライン分遅延して出力する。ラインメモリ５１ａは、画素値を増幅器５３ａに出力すると同時に、ラインメモリ５１ｂに出力する。ラインメモリ５１ｂは、ラインメモリ５１ａと同様に、入力を1ライン分遅延して出力する。
【００４８】
加算器５２は、入力された画素値とラインメモリ５１ｂから入力された画素値を加算し、増幅器５３ｂに出力する。増幅器５３ａは、入力された画素値を1/2倍に増幅し減算器５４に出力する。増幅器５３ｂは、加算器５２より入力された画素値を1/4倍に増幅し、減算器５４に出力する。減算器５４は、増幅器５３ａより入力された画素値から、増幅器５３ｂより入力された画素値を減算し、増幅器４２に出力する。
【００４９】
すなわち、HPF４１は、一般的な−1/4：1/2：−1/4のトランスバーサルフィルタとして機能している。
【００５０】
増幅器４２は、補間フィルタ部２１から供給された補正量に基づいて、HPF４１の減算器５４から入力された画素値を増幅（補正）し、非線形特性処理部４３に出力する。非線形特性処理部４３は、増幅器４２より入力された画素値を図１０に示すように非線形特性処理し、加算器４４に出力する。
【００５１】
すなわち、非線形特性処理部４３は、入力された画像データの入力値が、図１０のａ'とａ（｜ａ｜＝｜ａ'｜）間の値の場合、出力値を0とすることにより、不感帯として機能し、ノイズ成分となりうる小振幅成分を除去する。また、画素値が、ｂ'よりも小さい場合、または、ｂよりも大きい場合（入力値の絶対値がダイナミックレンジの所定値を越えてしまう場合（｜ｂ｜＝｜ｂ'｜））、変換される画素が広がってしまったり、色がついたりしてしまうといった作用が働く可能性があるので、非線形特性処理部４３は、出力する画素値のレベルをダイナミックレンジの範囲（ｃ'または、ｃ）に制限する。
【００５２】
次に、図１１のフローチャートを参照して、本発明を適用した画像処理装置１が、図１２のインパルス波形の画像データの垂直有効走査線数を9/8倍に変換するときの処理について説明する。
【００５３】
ステップＳ１において、処理すべき画素の有無が判定され、例えば、処理すべき画素があると判定された場合、その処理は、ステップＳ２に進む。また、処理すべき画素がないと判定された場合、その処理は終了される。
【００５４】
ステップＳ２において、図３を参照して説明した場合と同様の補間処理が行われ、図１２（Ａ）に示される元の画像データが図１２（Ｂ）に示される画像データに変換される。図１２（Ａ）と図１２（Ｂ）は、それぞれ図３（Ａ）と図３（Ｂ）に対応している。このとき、補間フィルタ部２１の９進ラインカウンタ１７は、カウント値に基づいて、切り替えスイッチ１６を制御すると共に、ROM３１にカウント値を出力する。また、ROM３１は、図８に示したテーブルに基づいて、９進ラインカウンタ１７より入力されたカウント値に対応する補正量を読み出し、補正回路２２に出力する。
【００５５】
すなわち、例えば、図１２（Ｂ）の走査線Ｌ'１を生成する場合、元の画素値の走査線Ｌ１は、生成される走査線Ｌ'１と同じ位置にあるので、走査線Ｌ１のデータが、そのまま走査線Ｌ'１のデータとして出力される。このとき、９進ラインカウンタ１７のカウント値は0であるので、９進ラインカウンタ１７は、切り替えスイッチ１６を端子１５ａに接続するように制御すると共に、カウント値をROM３１に出力する。また、ROM３１は、９進ラインカウンタ１７のカウント値0（図８）に対応した、補正量0を補正回路２２に出力する。
【００５６】
また、例えば、図１２（Ｂ）の走査線Ｌ'５を生成する場合、元の画像データの走査線Ｌ４と、走査線Ｌ'５のずれ幅は、元の画像の走査線の間隔の4/9となるので、９進ラインカウンタ１７のカウント値は４となり、これに基づいて、9進ラインカウンタ１７は、切り替えスイッチ１６を制御して、端子１５ｅに接続させると共に、カウント値の４をROM３１に出力する。ROM３１は、予め記憶しているカウント値の４に対応する補正量である4/4.5（図８）を補正回路２２に出力する。
【００５７】
ステップＳ３において、補正回路２２により補正処理が施される。
【００５８】
ここで、図１３のフローチャートを参照して、補正回路２２の補正処理について説明する。ステップＳ１１において、補正回路２２のHPF４１は、入力された画像データの高域成分を抽出し、増幅器４２に出力すると共に、入力された画像データを加算器４４に出力する。例えば、図１２の走査線Ｌ'５の画素値Ｌ'５valueを補正処理する場合、この処理は、走査線Ｌ'６が入力されたタイミングで処理されることになる。
【００５９】
走査線Ｌ'６の画素値Ｌ'６value（＝5/9）がラインメモリ５１ａおよび加算器５２に入力されると、ラインメモリ５１ａは、このとき、その前のタイミングで画素値Ｌ'５value（＝5/9）を記憶しているので、入力された画素値Ｌ'６valueを記憶すると共に、記憶していた画素値Ｌ'５valueを増幅器５３ａおよびラインメモリ５１ｂに出力する。さらに、ラインメモリ５１ｂは、その前のタイミングで画素値Ｌ'４value（＝0）を記憶しているので、入力された画素値Ｌ'５valueを記憶し、画素値Ｌ'４valueを加算器５２に出力する。
【００６０】
加算器５２は、入力された画素値Ｌ'６valueと画素値Ｌ'４valueを加算して増幅器５３ｂに出力する。
【００６１】
増幅器５３ａは、ラインメモリ５１ａから入力された画素値Ｌ'５valueを1/2倍に増幅し、減算器５４に出力する。また、増幅器５３ｂは、加算器５２から入力された画素値（Ｌ'６value＋Ｌ'４value）を1/4倍に増幅し、減算器５４に出力する。減算器５４は、増幅器５３ａより入力された画素値1/2×Ｌ'５valueから、増幅器５３ｂより入力された画素値1/4×（Ｌ'６value＋Ｌ'４value）を減算し、増幅器４２に出力する（画素値（1/2×Ｌ'５value−1/4×（Ｌ'６value＋Ｌ'４value）））を増幅器４２に出力する）。従って、HPF２１は、高域成分として、5/36（＝1/2×5/9−1/4×（5/9−0））を画素値として抽出し、増幅器４２に出力する。
【００６２】
ステップＳ１２において、増幅器４２は、補間フィルタ部２１より入力された補正量に基づいて、入力された画素値を増幅する。すなわち、今の場合、９進ラインカウンタ１７は、画素値Ｌ'５valueを補間処理したときにカウント値が４であったので、図８に示すように対応する補正量4/4.5に基づいて、入力された画素値を増幅し、非線形特性処理部４３に出力する。具体的には、今の場合、ステップＳ１１において、高域成分として抽出された画素値5/36が4/4.5倍に増幅された値（＝10/81）が非線形特性処理部４３に出力される。
【００６３】
ステップＳ１３において、非線形特性処理部４３は、入力された画素値を図１０に示した特性に従って変換し、加算器４４に出力する。例えば、｜ａ｜＝｜ａ'｜＝0，｜ｂ｜＝｜ｂ'｜＝｜ｃ｜＝｜ｃ'｜＝１であった場合、出力される非線形特性処理された補正高域成分は、10/81ということになる。
【００６４】
ステップＳ１４において、加算器４４は、ラインメモリ５１ａより入力された画素値Ｌ'５valueと、非線形特性処理部４３より入力された補正されている高域成分（＝10/81）を加算して出力する。今の場合、ラインメモリ５１ａより入力される画素値Ｌ'５valueは、5/9であり、非線形特性処理部４３より入力される補正された高域成分は、10/81であるので、加算器４４は、これらを加算し、補正処理を施した画素値Ｌ"５value（＝10/81＋5/9＝55/81）を出力する。
【００６５】
ここで、図１１のフローチャートの説明に戻る。
【００６６】
ステップＳ３において、補正処理が終了すると、その処理は、ステップＳ１に戻り、処理すべき画素がなくなるまで、ステップＳ１乃至Ｓ３の処理が繰り返される。
【００６７】
図１２（Ｂ）に示される補間データについて、図１１のフローチャートの処理を実行した結果、図１２（Ｃ）に示すような画像データが得られる。各ラインの画素値は、次のようになる。
【００６８】

Figure 0004144159
Figure 0004144159
【００６９】
尚、走査線Ｌ"１０以降は、上記の演算を順次繰り返すことになる。
【００７０】
また、図５（Ａ），（Ｂ）を参照して説明したように、図１４（Ａ）に示す1/0交番信号を補間フィルタ部２１で補間処理すると、図１４（Ｂ）に示すデータが得られる。このデータを補正回路２２により補正すると、図１４（Ｃ）に示すデータが得られる。その各ラインの画素値は次のようになる。
【００７１】
Figure 0004144159
Figure 0004144159
【００７２】
尚、走査線Ｌ"１０以降は、上記の演算を順次繰り返すことになる。
【００７３】
また、この補正回路２２の補正処理は、画素値をその変換位相に対応して補正している。このため、強い補正を必要とする変換位相180°付近（例えば、図１２（Ｃ）、図１４（Ｃ）の走査線Ｌ"５，Ｌ"６）の補正量を大きくし、逆に、補正をあまり必要としない変換位相0°付近（＝360°）（例えば、図１２（Ｃ）、図１４（Ｃ）の走査線Ｌ"１，Ｌ"１０）の補正量を小さくするようにしてもよい。
【００７４】
すなわち、例えば、図１５に示す例では、変換位相0°付近のカウント値１，２，３，６，７，８の補正量は、それぞれ0.5/4.5，1/4.5，2/4.5，2/4.5，1/4.5，0.5/4.5にすることにより、図８の補正量より小さくされている。逆に、変換位相180°付近のカウント値４，５における補正量は、いずれも5/4.5とされており、図８のカウント値４，５よりも大きな補正量により、強い補正ができるようになされている。
【００７５】
補正回路２２は、図１６に示されるように、エンハンサと兼用することができる。従って、図１６の例では、エンハンス量入力部６１と加算器６２を設け、補間フィルタ部２１より増幅器４２に入力される補正量に、エンハンス量入力部６１から入力されたエンハンス量を加算させて、増幅器４２に入力させている。このようにすれば、補間画素値の補正処理機能とエンハンサの機能の両方を持たせることができる。
【００７６】
さらにまた、上述のような補正回路２２による補正処理は、インパルス信号や1/0交番信号といった、ナイキスト条件を満たさない信号の画像、すなわち、サンプリング周波数が、元信号の周波数の２倍以下である信号の画像（例えば、モノスコパターンの画像やコンピュータグラフィックス画像）の場合に特に有効となる。
【００７７】
従って、入力が非ナイキスト信号であるか否かを検出し、非ナイキスト信号である場合だけ補正処理するようにしても良い。図１７は、この場合の例を示している。この例では、入力された信号（画素値）の周波数に基づいて、ナイキスト信号であるか否かを判定する非ナイキスト信号検出部７１が設けられ、その判定結果が、補正回路２２に出力されている。補正回路２２は、この判定結果に基づいて、非ナイキスト信号が検出されたときにのみ、補正処理を実行し、ナイキスト条件を満たす信号には、補正処理を実行しない。
【００７８】
図１８は、図１７の非ナイキスト信号検出部７１の構成例を示している。非ナイキスト信号検出部７１のLPF（Low Pass Filter）８１は、ナイキスト周波数に近いカットオフ周波数以下の信号のみを通過させる。さらに、減算器８２は、元信号とLPF８１を通過した信号との差分信号をとり、ABS（絶対値評価部）８３に送る。ABS８３は、その差分信号の絶対値が所定の値以上であるか否かを判定し、所定値以上であると判定した場合、非ナイキスト信号を検出したことを示す信号を補正回路２２のスイッチ制御部９３（図１９）に出力する。
【００７９】
このとき、補正回路２２には、図１９に示すように、スイッチ９１およびスイッチ制御部９３が設けられ、スイッチ制御部９３は、入力が非ナイキスト信号であることを示す信号を受信した場合、スイッチ９１を制御して、端子９２ａに接続させ、非線形特性処理部４３からの信号を加算器４４に出力させる。これにより、出力信号には、補正処理がなされることになる。また、逆に、入力が非ナイキスト信号ではない場合、スイッチ制御部９３は、スイッチ９１を制御して、端子９２ｂに接続させる。このとき、非線形特性処理部４３からの出力は加算器４４に供給されないので、補間信号には補正処理がなされないことになる。
【００８０】
尚、以上においては、垂直方向の画素数を変換する場合について説明してきたが、水平方向の画素数を変換させる場合、または、水平方向と垂直方向の画素数を同時に変換させる場合にも、本発明は適用が可能である。
【００８１】
以上によれば、画像の画素数の変換において、画像のムラの発生を抑制することが可能となる。
【００８２】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【００８３】
図２０は、画像処理装置１をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１０１は、パーソナルコンピュータの動作の全体を制御する。また、CPU１０１は、バス１０４および入出力インターフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してROM(Read Only Memory)１０２に格納されているプログラムを実行する。あるいはまた、CPU１０１は、ドライブ１１０に接続された磁気ディスク１１１、光ディスク１１２、光磁気ディスク１１３、または半導体メモリ１１４から読み出され、記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。これにより、上述した画像処理装置１の機能が、ソフトウェアにより実現されている。さらに、CPU１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【００８４】
プログラムが記録されている記録媒体は、図２０に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１１１（フロッピーディスクを含む）、光ディスク１１２（CD-ROM(Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１１３（MD（Mini-Disc）を含む）、もしくは半導体メモリ１１４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【００８５】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【００８６】
【発明の効果】
本発明の画像処理装置および方法、並びに記録媒体によれば、入力された画像の画素が補間されて、新たに画素が生成され、生成された画素が用いられて、入力された画像の画素数が変換され、生成された画素と、入力された画像の画素との位置のずれ幅に対応して、画素値の補正量を生成し、生成した補正量に、補正量が正の場合と負の場合とで、異なる特性の非線形処理を施し、入力された画像の画素値からなる信号のうち、ナイキスト周波数に近いカットオフ周波数以下の信号のみを通過信号として通過し、通過信号を構成する画素値を通過画素値として出力し、通過画素値と入力された画像の画素の画素値との差分絶対値が所定の値以上である場合、画素数が変換された画像の画素と、入力された画像の画素との位置のずれ幅に対応して、生成された画素の画素値を、非線形処理した補正量を乗じることにより補正するようにしたので、画像の画素数を変換させる際に、特に、インパルス信号や 1/0 交番信号といった、ナイキスト条件を満たさない信号の画像、すなわち、サンプリング周波数が、元信号の周波数の２倍以下である信号の画像（例えば、モノスコパターンの画像やコンピュータグラフィックス画像）の場合、周期的に発生する画像のムラを抑制することが可能となる。
【図面の簡単な説明】
【図１】従来の画像処理装置のブロック図である。
【図２】図１の画像処理装置の垂直方向の画素数の変換を説明する図である。
【図３】図１の画像処理装置のインパルス信号の画素値の補間処理を説明する図である。
【図４】図１の画像処理装置の画素値の補間処理を説明する図である。
【図５】図１の画像処理装置の1/0交番信号の画素値の補間処理を説明する図である。
【図６】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図７】図６の補間フィルタ部を説明するブロック図である。
【図８】図７のROMに記憶されているカウント値と補正量の関係を説明する図である。
【図９】図６の補正回路を説明するブロック図である。
【図１０】図９の非線形特性処理部の特性処理を説明する図である。
【図１１】図６の画像処理回路が画素数を変換するときの処理を説明するフローチャートである。
【図１２】図６の画像処理回路が、インパルス信号の画素数を変換するときの処理を説明する図である。
【図１３】図１１の補正処理を説明するフローチャートである。
【図１４】図６の画像処理回路が、1/0交番信号の画素数を変換するときの処理を説明する図である。
【図１５】図７のROMに記憶されているカウント値と補正量の関係を説明する図である。
【図１６】図９の補正回路にエンハンス量入力部を設けた場合の構成を示す図である。
【図１７】図６の画像処理装置に非ナイキスト信号検出部を設けた場合の構成を示す図である。
【図１８】図６の画像処理装置に非ナイキスト信号検出部の構成を説明する図である。
【図１９】非ナイキスト信号検出部を設けた場合の補正回路の構成を説明する図である。
【図２０】媒体を説明する図である。
【符号の説明】
１ 画像処理装置，１１ ラインメモリ，１２ａ乃至１２ｈ，１３ａ乃至１３ｈ 増幅器，１４ａ乃至１４ｈ 加算器，１５ａ乃至１５ｉ 端子，１６ 切り替えスイッチ，１７ ９進ラインカウンタ，２１ 補間フィルタ部，２２ 補正回路，３１ ROM，４１ HPF，４２ 増幅器，４３ 非線形特性処理部，４４ 加算器，５１ａ，５１ｂ ラインメモリ，５２ 加算器，５３ａ，５３ｂ 増幅器，５４ 減算器，６１ エンハンス量入力部，６２ 加算器，７１ 非ナイキスト信号検出部，８１ LPF，８２ 減算器，８３ ABS，９１ スイッチ，９２ａ，９２ｂ 端子，９３ スイッチ制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method, and a recording medium. In particular, when converting the number of pixels, by correcting the pixel value corresponding to the shift in the position of the pixel before conversion and the pixel after conversion. The present invention relates to an image processing apparatus and method, and a recording medium, which are designed to suppress the occurrence of image unevenness.
[0002]
[Prior art]
A technique for converting the number of pixels of an image is becoming popular. For example, the number of vertical effective pixels of an image of a VGA (Video Graphics Array) signal is 480, and the number of vertical effective pixels of an image of an SVGA (Super VGA) signal is 600. Therefore, in order to display the image of the VGA signal on the display device corresponding to the SVGA signal, it is necessary to convert the number of scanning lines to 5/4 (= 600/480) times.
[0003]
Similarly, in order to display a 720P (Progressive) television signal on a display corresponding to an XGA (Extended Graphics Array) signal, vertical effective scanning lines corresponding to an XGA signal from 720 vertical effective scanning lines. It is necessary to convert to 768. That is, the number of vertical effective scanning lines needs to be converted to 16/15 (= 768/720) times.
[0004]
Furthermore, in order to display a television signal on a fixed-pixel display such as a liquid crystal display, when performing a slight overscan display, it is necessary to perform an enlargement of about 10%. In order to prevent the image from protruding outside the screen, it is necessary to reduce the size by about 10%. For this reason, the number of vertical effective scanning lines needs to be converted to 11/10 times or 9/10 times.
[0005]
Conventionally, in the conversion of the number of pixels, when importance is attached to image quality, interpolation processing using an interpolation filter using an interpolation function such as bilinear interpolation or sin (X) / X has been performed.
[0006]
FIG. 1 shows a configuration of a conventional image processing apparatus 1 that is used when the number of vertical effective scanning lines of an image is converted to 9/8 times by bilinear interpolation. The line memory 11 is a memory that stores pixel values corresponding to one line of scanning lines of an input image. When the pixel value is input, the line memory 11 stores it, and when a new pixel value is input, the line memory 11 outputs the pixel value stored so far to the amplifiers 13a to 13h. Therefore, the pixel value input to the amplifiers 13a to 13h by the line memory 11 is a pixel value one line before the pixel value input to the amplifiers 12a to 12h.
[0007]
The amplifiers 12a to 12h and the amplifiers 13a to 13h amplify the input images at respective magnifications of 8/9 to 1/9 or 1/9 to 8/9, and output them to the adders 14a to 14h. . That is, the amplifier 12a amplifies the input pixel value by 8/9 times and outputs it to the adder 14a. The amplifier 13a multiplies the input pixel value by 1/9 and outputs it to the adder 14a, and the amplifier 12b amplifies it by 7/9 and outputs it to the adder 14b. The amplifier 13b multiplies the input pixel value by 2/9 and outputs it to the adder 14b. Thereafter, the amplifiers 12c to 12h and 13a to 13h perform the same amplification process, and then output to the adders 14c to 14h.
[0008]
The adders 14a to 14h add the pixel values input from the amplifiers 12a to 12h and the pixel values input from the amplifiers 13a to 13h, and output them to the terminals 15b to 15i. The terminal 15a is a terminal that outputs the input pixel value, and the terminals 15b to 15i are terminals that output the pixel values that are the addition results of the adders 14a to 14h, respectively.
[0009]
The decimal line counter 17 counts 0 to 8 count values. Further, the 9-line counter 17 controls the changeover switch 16 based on the count value and connects it to the corresponding terminals 15a to 15i. That is, for example, when the count value of the decimal line counter 17 is 0, the decimal line counter 17 controls the changeover switch 16 to be connected to the terminal 15a. When the count value is 1, the decimal line counter 17 controls the changeover switch 16 to connect it to 15b. Hereinafter, similarly, when the count value is 3 to 8, the decimal line counter 17 controls the changeover switch 16 to connect to the terminals 15c to 15i.
[0010]
Next, a process for converting the number of scanning lines of an image will be described. For example, when the number of vertical effective scanning lines of an image showing a white impulse waveform shown in FIG. 2A is converted to 9/8 times, the image conversion apparatus 1 performs vertical effective scanning as shown in FIG. Convert lines to 9/8 times. The scanning lines L1 to L11 represent the scanning lines of the input image, and L′ 1 to L′ 12 represent the scanning lines of the converted image. In FIG. Assume that scanning is performed in order.
[0011]
As shown in FIG. 2, the conversion process is performed so that nine scanning lines of an image whose number of scanning lines has been converted exist in a space corresponding to eight scanning lines of the input image. At this time, the scanning line L′ 1 in FIG. 2B is generated from the scanning line L1 in FIG. 2A and arranged at the same position. Next, the scanning line L′ 2 in FIG. 2B is closer to the scanning line L′ 1 by 1/9 than the scanning line L2 in FIG. The position is shifted to the position, and interpolation is generated based on the pixel values of the scanning lines L1 and L2. Further, the scanning line L′ 3 in FIG. 2B is closer to the scanning line L′ 2 by 2/9 of the scanning line interval in FIG. 2A than the scanning line L3 in FIG. It is shifted to the position, and is generated by interpolation based on the pixel values of the scanning lines L2 and L3.
[0012]
In this way, new scanning lines are generated by sequentially shifting by 1/9 of the interval between the scanning lines in FIG. For this reason, the scanning line L′ 10 in FIG. 2B has the same position as the scanning line L9 in FIG. 2A (the distance between the scanning lines in FIG. 2A with respect to the scanning line L10 before conversion). 9/9 (a position shifted by 1)). In this manner, every nine new scanning lines in FIG. 2B are generated at the same position as the scanning line before conversion in FIG.
[0013]
FIG. 3 shows pixel values before and after conversion of the number of scanning lines of the original image. 3A shows the pixel value before conversion, and FIG. 3B shows the pixel value after conversion. The black circle indicating the pixel value of each pixel is closer to the straight line on the left side, and black is displayed. The white color is shown as it is located on the right side. Here, the black pixel value is represented by 0, and the white pixel value is represented by 1.
[0014]
For example, in this case, since bilinear is used as the interpolation function, it is generated by interpolating the scanning line L′ 5 in FIG. 4D located between the scanning lines L4 and L5 shown in FIG. In this case, as shown in FIG. 4A, the interpolation function has two straight lines such that the intersection point is located at a position corresponding to the generated scanning line L′ 5. 4 is shown in the horizontal direction in FIG. Scan lines are shown in the vertical direction.
[0015]
Here, assuming that the value intersecting with each straight line of the interpolation function and the position corresponding to the original scanning lines L4, L5, that is, in this case, the value of the intersection of the two straight lines is 1, the scanning lines L4, L5 A pixel value L′ 5 of the scanning line L′ 5 is obtained by multiplying each pixel value by a value m, n (0 ≦ m, n ≦ 1) corresponding to the position and taking the sum.valueIs required. Therefore, in this case, the pixel value L′ 5 of the scanning line L′ 5.valueIs
L'5value= L4value× m + L5value× n
It is represented by
[0016]
Further, for example, when Y = sin (X) / X is used as the interpolation function, as shown in FIG. 4B, the value of the vertex at the position corresponding to the obtained scanning line L′ 5 is set to 1, and scanning is performed. A value obtained by multiplying each pixel value by m ′, n ′ (0 ≦ m ′, n ′ ≦ 1) corresponding to the positions of the lines L4 and L5 is a pixel value L′ 5 of the scanning line L′ 5.valueIt becomes. Therefore, in this case, the pixel value L′ 5 of the scanning line L′ 5.valueIs
L'5value= L4value× m '+ L5value× n '
It is represented by When Y = sin (X) / X is used as the interpolation function, the amplification factors of the amplifiers 12a to 12h and 13a to 13h in FIG. 1 are set to values corresponding to the function of sin (X) / X. Is done.
[0017]
Here, as shown in FIG. 2A, the scanning line L4 (pixel value L4).value= 0) and the scanning line L5 (pixel value L5)value= 1), as shown in FIG. 2B, when the scanning line L′ 5 is generated using bilinear interpolation (the scanning line L′ 5 has an interval between scanning lines before conversion) M = 4/9 and n = 5/9), the pixel value L′ 5 of the obtained scanning line L′ 5 is obtained.valueIs
L'5value= 0x4 / 9 + 1x5 / 9 = 5/9
It becomes.
[0018]
At this time, the count value of the 9-line counter 17 of the image processing apparatus 1 in FIG. 1 is 4, so the 9-line counter 17 controls the changeover switch 16 and connects it to the terminal 15e. Thereby, the pixel value L5 of the scanning line L5 of the input image.valueThe pixel value obtained by multiplying (= 1) by 5/9 by the amplifier 12d and the pixel value L4 of the scanning line L4 by the amplifier 13d via the line memory 11.valuePixel value L′ 5 obtained by adding the pixel value obtained by multiplying (= 0) by 4/9 by the adder 14dvalue(= 5/9) is output as the pixel value.
[0019]
Further, when the scanning line L′ 6 is generated between the scanning lines L5 and L6 (the scanning line L′ 6 is only 5/9 of the new scanning line interval with respect to the scanning line L5 of the original image). Similarly, since the count value of the decimal line counter 17 is 5, the changeover switch 16 is connected to the terminal 15f. Thereby, the pixel value L6 of the scanning line L6 of the input image.valueThe pixel value obtained by multiplying (= 0) by 4/9 by the amplifier 12e and the pixel value L4 of the scanning line L4 by the amplifier 13e via the line memory 11.valuePixel value L′ 6 obtained by adding the pixel value obtained by multiplying (= 1) by 5/9 by the adder 14evalue(= 5/9) is output as an output image.
[0020]
As described above, the pixel value L′ 1 in FIG.valueTo L'10valueIs calculated as follows.
[0021]
L'1value= L1value= 0 (count value = 0)
L'2value= L1value× 1/9 + L2value× 8/9 = 0 × 1/9 + 0 × 8/9 = 0
(Count value = 1)
L'3value= L2value× 2/9 + L3value× 7/9 = 0 × 2/9 + 0 × 7/9 = 0
(Count value = 2)
L'4value= L3value× 3/9 + L4value× 6/9 = 0 × 3/9 + 0 × 6/9 = 0
(Count value = 3)
L'5value= L4value× 4/9 + L5value× 5/9 = 0 × 4/9 + 1 × 5/9 = 5/9
(Count value = 4)
L'6value= L5value× 5/9 + L6value× 4/9 = 1 × 5/9 + 0 × 4/9 = 5/9
(Count value = 5)
L'7value= L6value× 6/9 + L7value× 3/9 = 0 × 6/9 + 0 × 3/9 = 0
(Count value = 6)
L'8value= L7value× 7/9 + L8value× 2/9 = 0 × 7/9 + 0 × 2/9 = 0
(Count value = 7)
L'9value= L8value× 8/9 + L9value× 1/9 = 0 × 8/9 + 0 × 1/9 = 0
(Count value = 8)
L'10value= L9value= 1 (count value = 0)
[0022]
Note that the subsequent scanning lines have a pixel value L′ 1.valueTo L'10valueIt is calculated by repeating the above coefficients (m, n) used for the calculation of.
[0023]
Further, as shown in FIG. 5A, when the pixel value of the original image is a waveform of a 1/0 alternating signal composed of 1 and 0 for each scanning line, FIG. As shown in B), the pixel values are converted.
[0024]
That is, by the same processing as the above-described processing of the image processing apparatus 1, the pixel value of the scanning line L1 is converted into the pixel value of the scanning line L′ 1 as it is, and the pixel value of the scanning line L′ 2 is converted before Therefore, the pixel value L′ 2 of the scanning line L′ 2 is shifted from the scanning line L2 by 1/9 of the interval between the scanning lines.valueIs L'2value= 1 x 1/9 + 0 x 8/9 = 1/9.
[0025]
Therefore, the pixel value L′ 1 in FIG.valueTo L'10valueIs calculated as follows.
[0026]
L'1value= L1value= 1 (count value = 0)
L'2value= L1value× 1/9 + L2value× 8/9 = 1 × 1/9 + 0 × 8/9 = 1/9
(Count value = 1)
L'3value= L2value× 2/9 + L3value× 7/9 = 0 × 2/9 + 1 × 7/9 = 7/9
(Count value = 2)
L'4value= L3value× 3/9 + L4value× 6/9 = 1 × 3/9 + 0 × 6/9 = 3/9
(Count value = 3)
L'5value= L4value× 4/9 + L5value× 5/9 = 0 × 4/9 + 1 × 5/9 = 5/9
(Count value = 4)
L'6value= L5value× 5/9 + L6value× 4/9 = 1 × 5/9 + 0 × 4/9 = 5/9
(Count value = 5)
L'7value= L6value× 6/9 + L7value× 3/9 = 0 × 6/9 + 1 × 3/9 = 3/9
(Count value = 6)
L'8value= L7value× 7/9 + L8value× 2/9 = 1 × 7/9 + 0 × 2/9 = 7/9
(Count value = 7)
L'9value= L8value× 8/9 + L9value× 1/9 = 0 × 8/9 + 1 × 1/9 = 1/9
(Count value = 8)
L'10value= L9value= 1 (count value = 0)
[0027]
Note that the subsequent scanning lines have the pixel value L′ 1 as in FIG.valueTo L'10valueIt is calculated by repeating the above coefficients (m, n) used for the calculation of.
[0028]
[Problems to be solved by the invention]
However, as shown in FIGS. 3 and 5 and the above calculation result, the position of the scanning line generated by the interpolation process is the same as the position of the original scanning line (for example, in FIGS. 3 and 5). In the case of the scanning lines L1 and L′ 1, or the scanning lines L9 and L′ 10), the pixel values as they are are converted and output, but the deviation from the original scanning line becomes large (for example, FIG. 3 and the scanning lines L′ 5 and L′ 6 in FIG. 5), the pixel value tends to be small (dark). For this reason, when the number of pixels of the image is converted, there is a problem that the brightness of the peak periodically differs or unevenness occurs.
[0029]
The present invention has been made in view of such a situation, and is intended to suppress a change in peak brightness and occurrence of unevenness that occur periodically in conversion of the number of pixels of an image.
[0030]
[Means for Solving the Problems]
  The image processing apparatus of the present invention interpolates the pixels of the input image and generates a new pixel, and converts the number of pixels of the input image using the pixel generated by the generation unit. Conversion means;Corresponding to the positional deviation between the pixel generated by the generating unit and the pixel of the input image, the correction amount generating unit that generates a correction amount of the pixel value, and the correction amount generated by the correction amount generating unit Non-linear processing means for performing non-linear processing with different characteristics depending on whether the correction amount is positive or negative, and only a signal having a cutoff frequency close to the Nyquist frequency among signals input from pixel values of the input image Is passed as a passing signal and the passing means for outputting the pixel value constituting the passing signal as the passing pixel value and the difference absolute value between the passing pixel value and the pixel value of the pixel of the input image is greater than or equal to a predetermined value IfThe pixel value of the pixel generated by the generation unit is set corresponding to the positional deviation width between the pixel of the image whose number of pixels has been converted by the conversion unit and the pixel of the input image.By multiplying the correction amount nonlinearly processed by the nonlinear processing meansCorrection means for correcting.
[0032]
  The correction amount generated by the correction amount generation unit is input with the pixel generated by the generation unit.ImageThe displacement width of the position from the pixel was inputImageThe maximum value can be obtained when the distance between the pixels is about ½.
[0033]
The correction amount generation means may be a transversal HPF whose coefficient constitutes a ratio of -1: 2: -1.
[0036]
An enhancement amount input means for inputting the enhancement amount can be further provided, and the correction means includes a generation means based on the enhancement amount input by the enhancement amount input means and the correction amount generated by the correction amount generation means. It is possible to correct the pixel value of the pixel generated by.
[0038]
  The image processing method of the present invention interpolates the pixels of the input image to generate a new pixel, and uses the pixels generated in the processing of the generation step to calculate the number of pixels of the input image. A conversion step to convert;A correction amount generation step for generating a correction amount of a pixel value corresponding to a positional deviation width between a pixel generated by the generation step processing and a pixel of the input image, and a correction amount generation step processing. A non-linear processing step for performing non-linear processing with different characteristics depending on whether the correction amount is positive or negative, and a cutoff frequency close to the Nyquist frequency among signals composed of pixel values of the input image A passing step that passes only the following signals as passing signals and outputs the pixel values constituting the passing signals as passing pixel values, and the absolute difference between the passing pixel value and the pixel value of the pixel of the input image is a predetermined value or more If it is,The pixel value of the pixel generated by the processing of the generation step corresponding to the positional deviation width between the pixel of the image whose number of pixels has been converted by the processing of the conversion step and the pixel of the input imageBy multiplying the amount of correction processed nonlinearly in the processing of the nonlinear processing stepAnd a correction step for correcting.
[0039]
  The recording medium program of the present invention is input using a generation control step for interpolating the pixels of the input image and newly controlling pixel generation, and the pixels generated in the processing of the generation control step. A conversion control step for controlling the conversion of the number of pixels of the image;A correction amount generation control step for controlling generation of a correction amount of a pixel value corresponding to a positional deviation width between the pixel generated by the processing of the generation step and a pixel of the input image; and a correction amount generation control step A non-linear processing control step for controlling processing for applying non-linear processing with different characteristics depending on whether the correction amount is positive or negative in the correction amount generated by the processing, and a signal composed of pixel values of the input image Among them, a pass control step for passing only a signal having a cutoff frequency close to the Nyquist frequency or less as a pass signal and controlling an output as a pass pixel value of a pixel value constituting the pass signal, a pass pixel value and a pixel of the input image If the absolute value of the difference from the pixel value is greater than or equal to a predetermined value,The pixel value of the pixel generated in the process of the generation control step is determined in accordance with the positional deviation width between the pixel of the image whose number of pixels is converted in the process of the conversion control step and the pixel of the input image.By multiplying the amount of correction processed nonlinearly in the processing of the nonlinear processing control stepAnd a correction control step for controlling correction.
[0040]
  In the image processing apparatus and method and the recording medium of the present invention, the pixels of the input image are interpolated to generate new pixels, and the generated pixels are used to determine the number of pixels of the input image. Converted,Corresponding to the positional deviation between the generated pixel and the pixel of the input image, a correction value of the pixel value is generated, and when the correction amount is positive and negative, Of the signals composed of pixel values of the input image that have been subjected to nonlinear processing with different characteristics, only signals having a cutoff frequency close to the Nyquist frequency are passed as passing signals, and the pixel values constituting the passing signals are passed When the absolute value of the difference between the passing pixel value and the pixel value of the pixel of the input image that is output as a pixel value is greater than or equal to a predetermined value,The pixel value of the generated pixel corresponds to the positional deviation width between the pixel of the image whose number of pixels has been converted and the pixel of the input image.By multiplying the correction amount that has been nonlinearly processedIt is corrected.
[0041]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 6 is a block diagram showing a configuration of an embodiment of the image processing apparatus 1 to which the present invention is applied. The interpolation filter unit 21 of the image processing apparatus 1 outputs data (interpolation data) generated by interpolating the input image signal by the same method as described above to the correction circuit 22.
[0042]
The correction circuit 22 performs HPF (High Pass Filter) processing on the interpolation data input from the interpolation filter unit 21, performs correction processing based on the correction amount input from the interpolation filter unit 21, and sets the value. Add to the interpolation data and output as output image data.
[0043]
Next, FIG. 7 illustrates a configuration example of the interpolation filter unit 21. The basic configuration of the interpolation filter unit 21 is almost the same as the configuration of the conventional image processing apparatus shown in FIG. Components corresponding to the above-described configuration are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
[0044]
In the interpolation filter unit 21, a ROM 31 is newly provided. The ROM 31 stores a correction amount corresponding to the count value used to control the changeover switch 16 based on the count value of the decimal line counter 17 and corresponds to the count value from the decimal line counter 17. The correction amount is output to the correction circuit 22.
[0045]
FIG. 8 shows the relationship between the count value stored in the ROM 31 and the correction amount. As shown in FIG. 8, when the count value is in the vicinity of 4, 5, that is, when the deviation width between the scanning line of the original image and the scanning line after conversion is large, the largest correction amount (FIG. 8). In the example, 4 / 4.5) is set. On the other hand, when the count value is 0, 1, 2, 3, 8, 7, or 6, the correction amount is set to a small value (0, 1 / 4.5, 2 / 4.5, or 3 / 4.5). Yes. That is, in other words, when the period of change of the positional deviation width is expressed as a phase, the maximum is set when the conversion phase angle is 180 °.
[0046]
Next, details of the correction circuit 22 of FIG. 6 will be described with reference to FIG. The correction circuit 22 extracts the high-frequency component of the pixel value input by the HPF (High Pass Filter) 41, corrects the high-frequency component of the extracted pixel value, and further adds it to the interpolated pixel value. To do.
[0047]
The line memory 51a of the HPF 41 delays the interpolated pixel value by one line and outputs it. The line memory 51a outputs the pixel value to the amplifier 53a and simultaneously outputs it to the line memory 51b. Similarly to the line memory 51a, the line memory 51b delays the input by one line and outputs it.
[0048]
The adder 52 adds the input pixel value and the pixel value input from the line memory 51b, and outputs the result to the amplifier 53b. The amplifier 53 a amplifies the input pixel value by a factor of 2, and outputs the amplified pixel value to the subtractor 54. The amplifier 53 b amplifies the pixel value input from the adder 52 by a factor of 1/4 and outputs the amplified pixel value to the subtractor 54. The subtractor 54 subtracts the pixel value input from the amplifier 53b from the pixel value input from the amplifier 53a and outputs the result to the amplifier 42.
[0049]
That is, the HPF 41 functions as a general −1/4: 1/2: −1/4 transversal filter.
[0050]
The amplifier 42 amplifies (corrects) the pixel value input from the subtractor 54 of the HPF 41 based on the correction amount supplied from the interpolation filter unit 21 and outputs the amplified pixel value to the nonlinear characteristic processing unit 43. The nonlinear characteristic processing unit 43 performs nonlinear characteristic processing on the pixel value input from the amplifier 42 as shown in FIG. 10 and outputs the processed pixel value to the adder 44.
[0051]
That is, the nonlinear characteristic processing unit 43 sets the output value to 0 when the input value of the input image data is a value between a ′ and a (| a | = | a ′ |) in FIG. It functions as a dead zone and removes a small amplitude component that can be a noise component. When the pixel value is smaller than b ′ or larger than b (when the absolute value of the input value exceeds the predetermined value of the dynamic range (| b | = | b ′ |)), conversion is performed. The non-linear characteristic processing unit 43 may change the level of the output pixel value to a dynamic range (c ′ or c). ).
[0052]
Next, the processing when the image processing apparatus 1 to which the present invention is applied converts the number of vertical effective scanning lines of the image data of the impulse waveform of FIG. 12 to 9/8 times will be described with reference to the flowchart of FIG. To do.
[0053]
In step S1, it is determined whether there is a pixel to be processed. For example, if it is determined that there is a pixel to be processed, the processing proceeds to step S2. If it is determined that there is no pixel to be processed, the process is terminated.
[0054]
In step S2, interpolation processing similar to that described with reference to FIG. 3 is performed, and the original image data shown in FIG. 12A is converted into image data shown in FIG. FIGS. 12A and 12B correspond to FIGS. 3A and 3B, respectively. At this time, the decimal line counter 17 of the interpolation filter unit 21 controls the changeover switch 16 and outputs the count value to the ROM 31 based on the count value. Further, the ROM 31 reads a correction amount corresponding to the count value input from the decimal line counter 17 based on the table shown in FIG. 8 and outputs the correction amount to the correction circuit 22.
[0055]
That is, for example, when the scanning line L′ 1 in FIG. 12B is generated, the scanning line L1 having the original pixel value is at the same position as the generated scanning line L′ 1, and therefore the data of the scanning line L1. Is output as data of the scanning line L′ 1 as it is. At this time, since the count value of the decimal line counter 17 is 0, the decimal line counter 17 controls the changeover switch 16 to be connected to the terminal 15a and outputs the count value to the ROM 31. Further, the ROM 31 outputs a correction amount 0 corresponding to the count value 0 (FIG. 8) of the decimal line counter 17 to the correction circuit 22.
[0056]
For example, when the scanning line L′ 5 in FIG. 12B is generated, the deviation width between the scanning line L4 of the original image data and the scanning line L′ 5 is 4 of the interval between the scanning lines of the original image. Therefore, the count value of the decimal line counter 17 is 4, and based on this, the decimal line counter 17 controls the changeover switch 16 to connect it to the terminal 15e and set the count value of 4 to 4. Output to ROM 31. The ROM 31 outputs 4 / 4.5 (FIG. 8), which is a correction amount corresponding to the count value 4 stored in advance, to the correction circuit 22.
[0057]
In step S3, correction processing is performed by the correction circuit 22.
[0058]
Here, the correction processing of the correction circuit 22 will be described with reference to the flowchart of FIG. In step S <b> 11, the HPF 41 of the correction circuit 22 extracts the high frequency component of the input image data, outputs it to the amplifier 42, and outputs the input image data to the adder 44. For example, the pixel value L′ 5 of the scanning line L′ 5 in FIG.valueThis process is performed at the timing when the scanning line L′ 6 is input.
[0059]
Pixel value L′ 6 of scanning line L′ 6valueWhen (= 5/9) is input to the line memory 51a and the adder 52, the line memory 51a at this time has the pixel value L′ 5 at the previous timing.value(= 5/9) is stored, so that the input pixel value L′ 6valueAnd the stored pixel value L′ 5valueIs output to the amplifier 53a and the line memory 51b. Further, the line memory 51b receives the pixel value L′ 4 at the previous timing.value(= 0) is stored, so that the input pixel value L′ 5valueAnd the pixel value L′ 4valueIs output to the adder 52.
[0060]
The adder 52 receives the input pixel value L′ 6valueAnd pixel value L′ 4valueAre added to the amplifier 53b.
[0061]
The amplifier 53a receives the pixel value L′ 5 input from the line memory 51a.valueIs amplified by half and output to the subtractor 54. Further, the amplifier 53b receives the pixel value (L′ 6) input from the adder 52.value+ L'4value) Is amplified 1/4 times and output to the subtractor 54. The subtractor 54 has a pixel value 1/2 × L′ 5 inputted from the amplifier 53a.valueTo the pixel value 1/4 × (L′ 6) input from the amplifier 53b.value+ L'4value) Is subtracted and output to the amplifier 42 (pixel value (1/2 × L′ 5value−1 / 4 × (L'6value+ L'4value))) Is output to the amplifier 42). Therefore, the HPF 21 extracts 5/36 (= 1/2 × 5 / 9-1 / 4 × (5 / 9−0)) as a high frequency component as a pixel value and outputs it to the amplifier 42.
[0062]
In step S <b> 12, the amplifier 42 amplifies the input pixel value based on the correction amount input from the interpolation filter unit 21. In other words, in this case, the decimal line counter 17 has the pixel value L′ 5valueSince the count value is 4 when interpolation processing is performed, the input pixel value is amplified based on the corresponding correction amount 4 / 4.5 as shown in FIG. Specifically, in this case, in step S11, a value (= 10/81) obtained by amplifying the pixel value 5/36 extracted as the high frequency component by 4 / 4.5 times is output to the nonlinear characteristic processing unit 43. The
[0063]
In step S <b> 13, the nonlinear characteristic processing unit 43 converts the input pixel value according to the characteristic illustrated in FIG. 10 and outputs the converted pixel value to the adder 44. For example, when | a | = | a ′ | = 0, | b | = | b ′ | = | c | = | c ′ | = 1, the corrected high-frequency component subjected to nonlinear characteristic processing is That would be 10/81.
[0064]
In step S14, the adder 44 receives the pixel value L′ 5 input from the line memory 51a.valueThen, the corrected high frequency component (= 10/81) input from the nonlinear characteristic processing unit 43 is added and output. In this case, the pixel value L′ 5 input from the line memory 51avalueIs 5/9, and the corrected high frequency component input from the nonlinear characteristic processing unit 43 is 10/81. Therefore, the adder 44 adds these and performs the correction processing on the pixel value L "5value(= 10/81 + 5/9 = 55/81) is output.
[0065]
Now, the description returns to the flowchart of FIG.
[0066]
When the correction process ends in step S3, the process returns to step S1, and the processes of steps S1 to S3 are repeated until there are no more pixels to be processed.
[0067]
As a result of executing the processing of the flowchart of FIG. 11 for the interpolation data shown in FIG. 12B, image data as shown in FIG. 12C is obtained. The pixel value of each line is as follows.
[0068]
Figure 0004144159
Figure 0004144159
[0069]
In addition, after the scanning line L ″ 10, the above calculation is repeated sequentially.
[0070]
As described with reference to FIGS. 5A and 5B, when the interpolation filter unit 21 interpolates the 1/0 alternating signal shown in FIG. 14A, the data shown in FIG. Is obtained. When this data is corrected by the correction circuit 22, data shown in FIG. 14C is obtained. The pixel value of each line is as follows.
[0071]
Figure 0004144159
Figure 0004144159
[0072]
In addition, after the scanning line L ″ 10, the above calculation is repeated sequentially.
[0073]
Further, the correction process of the correction circuit 22 corrects the pixel value corresponding to the conversion phase. Therefore, the correction amount in the vicinity of the conversion phase of 180 ° (for example, the scanning lines L ″ 5 and L ″ 6 in FIG. 12C and FIG. 14C) that requires strong correction is increased, and on the contrary, correction is performed. Near the conversion phase of 0 ° (= 360 °) (for example, the scanning lines L "1, L" 10 in FIGS. 12C and 14C) may be reduced. Good.
[0074]
That is, for example, in the example shown in FIG. 15, the correction amounts of the count values 1, 2, 3, 6, 7, and 8 near the conversion phase of 0 ° are 0.5 / 4.5, 1 / 4.5, 2 / 4.5, 2 / By setting 4.5, 1 / 4.5, and 0.5 / 4.5, the amount of correction is made smaller than that in FIG. Conversely, the correction amounts for the count values 4 and 5 near the conversion phase of 180 ° are all 5 / 4.5, so that a strong correction can be made with a correction amount larger than the count values 4 and 5 in FIG. Has been made.
[0075]
The correction circuit 22 can also be used as an enhancer as shown in FIG. Therefore, in the example of FIG. 16, the enhancement amount input unit 61 and the adder 62 are provided, and the enhancement amount input from the enhancement amount input unit 61 is added to the correction amount input from the interpolation filter unit 21 to the amplifier 42. , Input to the amplifier 42. In this way, it is possible to have both the interpolation pixel value correction processing function and the enhancer function.
[0076]
Furthermore, the correction processing by the correction circuit 22 as described above is such that an image of a signal that does not satisfy the Nyquist condition, such as an impulse signal or a 1/0 alternating signal, that is, the sampling frequency is less than twice the frequency of the original signal. This is particularly effective in the case of a signal image (for example, a monoscopic pattern image or a computer graphics image).
[0077]
Therefore, it may be detected whether or not the input is a non-Nyquist signal, and correction processing may be performed only when the input is a non-Nyquist signal. FIG. 17 shows an example of this case. In this example, a non-Nyquist signal detector 71 that determines whether the signal is a Nyquist signal based on the frequency of the input signal (pixel value) is provided, and the determination result is output to the correction circuit 22. Yes. Based on the determination result, the correction circuit 22 executes correction processing only when a non-Nyquist signal is detected, and does not execute correction processing on a signal that satisfies the Nyquist condition.
[0078]
FIG. 18 shows a configuration example of the non-Nyquist signal detector 71 of FIG. An LPF (Low Pass Filter) 81 of the non-Nyquist signal detector 71 passes only a signal having a cutoff frequency close to the Nyquist frequency. Further, the subtractor 82 takes a difference signal between the original signal and the signal that has passed through the LPF 81 and sends it to an ABS (absolute value evaluation unit) 83. The ABS 83 determines whether or not the absolute value of the difference signal is equal to or greater than a predetermined value. When the ABS 83 determines that the absolute value is equal to or greater than the predetermined value, the signal indicating that the non-Nyquist signal has been detected It outputs to the part 93 (FIG. 19).
[0079]
At this time, as shown in FIG. 19, the correction circuit 22 is provided with a switch 91 and a switch control section 93. When the switch control section 93 receives a signal indicating that the input is a non-Nyquist signal, 91 is controlled to be connected to the terminal 92a, and the signal from the nonlinear characteristic processing unit 43 is output to the adder 44. As a result, correction processing is performed on the output signal. Conversely, if the input is not a non-Nyquist signal, the switch controller 93 controls the switch 91 to connect it to the terminal 92b. At this time, since the output from the nonlinear characteristic processing unit 43 is not supplied to the adder 44, the interpolation signal is not corrected.
[0080]
In the above description, the case of converting the number of pixels in the vertical direction has been described. However, the present invention is applicable to the case of converting the number of pixels in the horizontal direction or the number of pixels in the horizontal direction and the vertical direction at the same time. The invention is applicable.
[0081]
According to the above, it is possible to suppress the occurrence of image unevenness in conversion of the number of pixels of an image.
[0082]
The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processes is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
[0083]
FIG. 20 shows a configuration of an embodiment of a personal computer when the image processing apparatus 1 is realized by software. The CPU 101 of the personal computer controls the entire operation of the personal computer. Further, when an instruction is input from the input unit 106 such as a keyboard or a mouse from the user via the bus 104 and the input / output interface 105, the CPU 101 stores the instruction in a ROM (Read Only Memory) 102 correspondingly. Run the program. Alternatively, the CPU 101 reads a program read from the magnetic disk 111, the optical disk 112, the magneto-optical disk 113, or the semiconductor memory 114 connected to the drive 110 and installed in the storage unit 108 into a RAM (Random Access Memory) 103. To load and execute. Thereby, the function of the image processing apparatus 1 described above is realized by software. Further, the CPU 101 controls the communication unit 109 to communicate with the outside and exchange data.
[0084]
As shown in FIG. 20, the recording medium on which the program is recorded is distributed to provide the program to the user separately from the computer, and a magnetic disk 111 (including a floppy disk) on which the program is recorded, By a package medium comprising an optical disk 112 (including compact disk-read only memory (CD-ROM), DVD (digital versatile disk)), a magneto-optical disk 113 (including MD (mini-disc)), or a semiconductor memory 114 In addition to being configured, it is configured by a ROM 102 on which a program is recorded and a hard disk included in the storage unit 108 provided to the user in a state of being preinstalled in a computer.
[0085]
In this specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series in the order described, but of course, it is not necessarily performed in time series. Or the process performed separately is included.
[0086]
【The invention's effect】
  According to the image processing apparatus and method and the recording medium of the present invention, the pixels of the input image are interpolated to newly generate pixels, and the generated pixels are used to calculate the number of pixels of the input image. Is converted,A correction amount of the pixel value is generated corresponding to the positional deviation width between the generated pixel and the pixel of the input image, and the generated correction amount is determined depending on whether the correction amount is positive or negative. Applying non-linear processing with different characteristics, among the signals composed of pixel values of the input image, only signals having a cutoff frequency close to the Nyquist frequency are passed as passing signals, and the pixel values constituting the passing signals are passed. If the absolute value of the difference between the passing pixel value and the pixel value of the pixel of the input image is greater than or equal to a predetermined value,The pixel value of the generated pixel is set according to the positional deviation width between the pixel of the image whose number of pixels has been converted and the pixel of the input image.By multiplying the correction amount that has been nonlinearly processedBecause it was corrected, when converting the number of pixels of the image,In particular, impulse signals and 1/0 In the case of an image of a signal that does not satisfy the Nyquist condition, such as an alternating signal, that is, an image of a signal whose sampling frequency is not more than twice the frequency of the original signal (for example, an image of a monoscopic pattern or a computer graphics image)Periodic image unevenness can be suppressed.
[Brief description of the drawings]
FIG. 1 is a block diagram of a conventional image processing apparatus.
FIG. 2 is a diagram for explaining conversion of the number of pixels in the vertical direction of the image processing apparatus of FIG. 1;
FIG. 3 is a diagram for explaining interpolation processing of pixel values of impulse signals of the image processing apparatus of FIG. 1;
FIG. 4 is a diagram illustrating pixel value interpolation processing of the image processing apparatus of FIG. 1;
5 is a diagram for explaining interpolation processing of pixel values of 1/0 alternating signals in the image processing apparatus of FIG. 1; FIG.
FIG. 6 is a block diagram showing a configuration of an embodiment of an image processing apparatus to which the present invention is applied.
7 is a block diagram illustrating an interpolation filter unit in FIG. 6. FIG.
8 is a diagram for explaining the relationship between the count value stored in the ROM of FIG. 7 and the correction amount. FIG.
9 is a block diagram illustrating the correction circuit of FIG. 6. FIG.
10 is a diagram for explaining characteristic processing of a nonlinear characteristic processing unit in FIG. 9; FIG.
FIG. 11 is a flowchart illustrating processing when the image processing circuit in FIG. 6 converts the number of pixels.
FIG. 12 is a diagram illustrating processing when the image processing circuit of FIG. 6 converts the number of pixels of an impulse signal.
FIG. 13 is a flowchart illustrating the correction process of FIG.
FIG. 14 is a diagram illustrating processing when the image processing circuit of FIG. 6 converts the number of pixels of the 1/0 alternating signal.
15 is a diagram for explaining a relationship between a count value stored in the ROM of FIG. 7 and a correction amount. FIG.
16 is a diagram showing a configuration when an enhancement amount input unit is provided in the correction circuit of FIG. 9;
17 is a diagram showing a configuration when a non-Nyquist signal detection unit is provided in the image processing apparatus of FIG. 6;
18 is a diagram illustrating a configuration of a non-Nyquist signal detection unit in the image processing apparatus of FIG.
FIG. 19 is a diagram illustrating a configuration of a correction circuit when a non-Nyquist signal detection unit is provided.
FIG. 20 is a diagram illustrating a medium.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image processing device, 11 line memory, 12a thru | or 12h, 13a thru | or 13h amplifier, 14a thru | or 14h adder, 15a thru | or 15i terminal, 16 changeover switch, 17 decimal line counter, 21 interpolation filter part, 22 correction circuit, 31 ROM , 41 HPF, 42 amplifier, 43 nonlinear characteristic processing unit, 44 adder, 51a, 51b line memory, 52 adder, 53a, 53b amplifier, 54 subtractor, 61 enhancement amount input unit, 62 adder, 71 non-Nyquist signal Detection unit, 81 LPF, 82 subtractor, 83 ABS, 91 switch, 92a, 92b terminals, 93 switch control unit

Claims (6)

入力された画像の画素数を変換する画像処理装置において、
前記入力された画像の画素を補間して、新たに画素を生成する生成手段と、
前記生成手段により生成された画素を用いて、前記入力された画像の画素数を変換する変換手段と、
前記生成手段により生成された画素と、前記入力された画像の画素との位置のずれ幅に対応し、前記画素値の補正量を生成する補正量生成手段と、
前記補正量生成手段により生成された前記補正量に、前記補正量が正の場合と負の場合とで、異なる特性の非線形処理を施す非線形処理手段と、
前記入力された画像の画素値からなる信号のうち、ナイキスト周波数に近いカットオフ周波数以下の信号のみを通過信号として通過させ、前記通過信号を構成する画素値を通過画素値として出力する通過手段と、
前記通過画素値と前記入力された画像の画素の画素値との差分絶対値が所定の値以上である場合、前記変換手段により画素数が変換された画像の画素と、前記入力された画像の画素との位置のずれ幅に対応して、前記生成手段により生成された画素の画素値を、前記非線形処理手段により非線形処理された補正量を乗じることにより補正する補正手段と
を備えることを特徴とする画像処理装置。In an image processing apparatus that converts the number of pixels of an input image,
Generating means for interpolating the pixels of the input image to generate new pixels;
Conversion means for converting the number of pixels of the input image using the pixels generated by the generation means;
Correction amount generating means for generating a correction amount of the pixel value corresponding to a positional deviation width between the pixel generated by the generating means and the pixel of the input image;
Non-linear processing means for applying non-linear processing with different characteristics to the correction amount generated by the correction amount generating means depending on whether the correction amount is positive or negative;
Passing means for passing only a signal having a cutoff frequency close to the Nyquist frequency as a passing signal among the signals composed of the pixel values of the input image, and outputting a pixel value constituting the passing signal as a passing pixel value; ,
When the difference absolute value between the passing pixel value and the pixel value of the pixel of the input image is equal to or greater than a predetermined value, the pixel of the image whose number of pixels is converted by the conversion unit, and the input image Correction means for correcting the pixel value of the pixel generated by the generation means by multiplying the correction amount that has been nonlinearly processed by the nonlinear processing means in correspondence with a positional deviation width from the pixel. An image processing apparatus. 前記補正量生成手段により生成された補正量は、前記生成手段により生成された画素と、前記入力された画像の画素との位置のずれ幅が、前記入力された画像の画素間の距離の1/2付近のとき最大となる
ことを特徴とする請求項１に記載の画像処理装置。The correction amount generated by the correction quantity generating means includes a pixel generated by the generation means, deviation of the position of the pixel of the input image is 1 of the distance between pixels of the input image The image processing apparatus according to claim 1 , wherein the image processing apparatus has a maximum value at around / 2. 前記補正量生成手段は、係数が、−１：２：−１の比を構成するトランスバーサルHPFである
ことを特徴とする請求項１に記載の画像処理装置。The image processing apparatus according to claim 1 , wherein the correction amount generation unit is a transversal HPF having a coefficient of −1: 2: −1. エンハンス量を入力するエンハンス量入力手段をさらに備え、
前記補正手段は、前記エンハンス量入力手段により入力されたエンハンス量と、前記補正量生成手段により生成された補正量により、前記生成手段により生成された画素の画素値を補正する
ことを特徴とする請求項１に記載の画像処理装置。It further comprises an enhancement amount input means for inputting the enhancement amount,
The correction unit corrects the pixel value of the pixel generated by the generation unit based on the enhancement amount input by the enhancement amount input unit and the correction amount generated by the correction amount generation unit. The image processing apparatus according to claim 1 . 入力された画像の画素数を変換する画像処理装置の画像処理方法において、
前記入力された画像の画素を補間して、新たに画素を生成する生成ステップと、
前記生成ステップの処理で生成された画素を用いて、前記入力された画像の画素数を変換する変換ステップと、
前記生成ステップの処理で生成された画素と、前記入力された画像の画素との位置のずれ幅に対応し、前記画素値の補正量を生成する補正量生成ステップと、
前記補正量生成ステップの処理で生成された前記補正量に、前記補正量が正の場合と負の場合とで、異なる特性の非線形処理を施す非線形処理ステップと、
前記入力された画像の画素値からなる信号のうち、ナイキスト周波数に近いカットオフ周波数以下の信号のみを通過信号として通過させ、前記通過信号を構成する画素値を通過画素値として出力する通過ステップと、
前記通過画素値と前記入力画像の画素の画素値との差分絶対値が所定の値以上である場合、前記変換ステップの処理で画素数が変換された画像の画素と、前記入力された画像の画素との位置のずれ幅に対応して、前記生成ステップの処理で生成された画素の画素値を、前記非線形処理ステップの処理で非線形処理された補正量を乗じることにより補正する補正ステップと
を含むことを特徴とする画像処理方法。In an image processing method of an image processing apparatus for converting the number of pixels of an input image,
Interpolating pixels of the input image to generate new pixels; and
A conversion step of converting the number of pixels of the input image using the pixels generated in the processing of the generation step;
A correction amount generation step for generating a correction amount of the pixel value corresponding to a shift width of a position between the pixel generated in the processing of the generation step and a pixel of the input image;
A non-linear processing step of applying non-linear processing with different characteristics to the correction amount generated in the correction amount generation step depending on whether the correction amount is positive or negative;
A passing step of passing only a signal having a cutoff frequency close to the Nyquist frequency, as a passing signal, and outputting a pixel value constituting the passing signal as a passing pixel value among the signals composed of pixel values of the input image; ,
When the difference absolute value between the passing pixel value and the pixel value of the pixel of the input image is equal to or larger than a predetermined value , the pixel of the image whose number of pixels is converted by the process of the conversion step, and the input image A correction step of correcting the pixel value of the pixel generated by the processing of the generation step by multiplying the correction amount subjected to the non-linear processing by the processing of the nonlinear processing step , corresponding to a deviation width of the position from the pixel. An image processing method comprising: 入力された画像の画素数を変換する画像処理装置を制御するプログラムであって、
前記入力された画像の画素を補間して、新たに画素の生成を制御する生成制御ステップと、
前記生成制御ステップの処理で生成された画素を用いて、前記入力された画像の画素数の変換を制御する変換制御ステップと、
前記生成ステップの処理で生成された画素と、前記入力された画像の画素との位置のずれ幅に対応し、前記画素値の補正量の生成を制御する補正量生成制御ステップと、
前記補正量生成制御ステップの処理で生成された前記補正量に、前記補正量が正の場合と負の場合とで、異なる特性の非線形処理を施す処理を制御する非線形処理制御ステップと、
前記入力された画像の画素値からなる信号のうち、ナイキスト周波数に近いカットオフ周波数以下の信号のみを通過信号として通過させ、前記通過信号を構成する画素値の通過画素値としての出力を制御する通過制御ステップと、
前記通過画素値と前記入力画像の画素の画素値との差分絶対値が所定の値以上である場合、前記変換制御ステップの処理で画素数が変換された画像の画素と、前記入力された画像の画素との位置のずれ幅に対応して、前記生成制御ステップの処理で生成された画素の画素値を、前記非線形処理制御ステップの処理で非線形処理された補正量を乗じることによる補正を制御する補正制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。A program for controlling an image processing apparatus for converting the number of pixels of an input image,
A generation control step of interpolating the pixels of the input image and newly controlling the generation of pixels;
A conversion control step for controlling the conversion of the number of pixels of the input image using the pixels generated in the process of the generation control step;
A correction amount generation control step for controlling the generation of the correction amount of the pixel value corresponding to the positional deviation width between the pixel generated by the processing of the generation step and the pixel of the input image;
A non-linear processing control step for controlling processing for applying non-linear processing with different characteristics depending on whether the correction amount is positive or negative to the correction amount generated in the processing of the correction amount generation control step;
Of the signals composed of the pixel values of the input image, only signals having a cutoff frequency close to the Nyquist frequency are passed as passing signals, and the output of the pixel values constituting the passing signals as passing pixel values is controlled. A passage control step;
When the difference absolute value between the passing pixel value and the pixel value of the pixel of the input image is a predetermined value or more, the pixel of the image whose number of pixels is converted by the processing of the conversion control step, and the input image The correction by multiplying the pixel value of the pixel generated by the generation control step processing by the correction amount nonlinearly processed by the non-linear processing control step processing is controlled corresponding to the positional deviation width from And a correction control step. A recording medium on which a computer-readable program is recorded.
JP2000152971A 2000-05-24 2000-05-24 Image processing apparatus and method, and recording medium Expired - Fee Related JP4144159B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000152971A JP4144159B2 (en) 2000-05-24 2000-05-24 Image processing apparatus and method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000152971A JP4144159B2 (en) 2000-05-24 2000-05-24 Image processing apparatus and method, and recording medium

Publications (2)

Publication Number Publication Date
JP2001333272A JP2001333272A (en) 2001-11-30
JP4144159B2 true JP4144159B2 (en) 2008-09-03

Family

ID=18658310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000152971A Expired - Fee Related JP4144159B2 (en) 2000-05-24 2000-05-24 Image processing apparatus and method, and recording medium

Country Status (1)

Country Link
JP (1) JP4144159B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3685179B2 (en) * 2003-02-20 2005-08-17 ソニー株式会社 Image signal processing apparatus and processing method, and image display apparatus using the same
JP5194615B2 (en) * 2007-07-31 2013-05-08 ソニー株式会社 Image determination apparatus, image determination method, and program
JP2013013138A (en) * 2012-09-14 2013-01-17 Toshiba Corp Electronic device

Also Published As

Publication number Publication date
JP2001333272A (en) 2001-11-30

Similar Documents

Publication Publication Date Title
KR100973100B1 (en) Image processing apparatus and control method
JP2010093672A (en) Video conversion apparatus and method, and program
JP2009021868A (en) Video processing apparatus, video processing method, and program
JPH04220089A (en) Method and apparatus for reducing edge flicker of television picture
JP2007525703A (en) Apparatus and method for compensating for image motion
US6956617B2 (en) Image scaling and sample rate conversion by interpolation with non-linear positioning vector
JP5249166B2 (en) Image processing apparatus and image processing method
JP4144159B2 (en) Image processing apparatus and method, and recording medium
JP2006308665A (en) Image processing apparatus
JP2001505754A (en) Moiré suppression
JPH07170428A (en) Method and device for displaying picture
JP3695291B2 (en) Image processing apparatus, image display apparatus, and image processing method
JP4674437B2 (en) Image processing apparatus and method, program, and recording medium
JP3692942B2 (en) Image processing apparatus, image display apparatus, and image processing method
JP4910254B2 (en) Image processing apparatus and method
JP2017228898A (en) Image processing apparatus and image processing method, computer program
US7318079B2 (en) Method and device for filtering a video signal
US8346021B2 (en) Content adaptive scaler based on a farrow structure
JP5247633B2 (en) Image processing apparatus and method, and image display apparatus and method
JP5111310B2 (en) Image processing method and image processing apparatus
JP2000101870A (en) Digital signal processing circuit
JP3803231B2 (en) Tone correction device
JP4610692B2 (en) Image conversion apparatus and image conversion method
JP3719385B2 (en) Image processing apparatus, image processing method, and image display apparatus
JPH10233942A (en) Image display controller and method therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080609

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees