JP3644874B2 - 画像補間装置 - Google Patents
画像補間装置 Download PDFInfo
- Publication number
- JP3644874B2 JP3644874B2 JP2000147197A JP2000147197A JP3644874B2 JP 3644874 B2 JP3644874 B2 JP 3644874B2 JP 2000147197 A JP2000147197 A JP 2000147197A JP 2000147197 A JP2000147197 A JP 2000147197A JP 3644874 B2 JP3644874 B2 JP 3644874B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- interpolation
- calculation
- input
- interpolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 description 25
- 238000003708 edge detection Methods 0.000 description 21
- 238000012795 verification Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000002596 correlated effect Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color, Gradation (AREA)
- Laser Beam Printer (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像を補間する画像補間装置に関するものである。
【０００２】
【従来の技術】
例えば、インターレース画像をプログレッシブ画像に変換する場合、画像を拡大する場合、画像の解像度を高める場合などには、画像を補間する必要がある。このような画像の補間方法としては、ライン数を増やす場合を例に挙げると、補間すべきラインとして原画像の上または下のラインをそのまま用いる方法や、原画像の上下のラインの平均値を用いる方法が、従来から一般的によく知られている。
【０００３】
ところが、前者の方法では斜線等のような垂直方向に相関のない画像については、画像の輪郭線にガタツキが生じ、一方、後者の方法では、画像にボケが生じるといった画像の劣化を伴う。この問題を解決する方法として、補間画素（補間すべき画素）を挟んで対向する複数組の２つの隣接原画素（尚、本明細書において、隣接原画素とは「原画像の画素のうち、補間画素があるラインに隣接するライン上にある画素」を意味するものとする）のうち、相関が最も強い組の２つの隣接原画素を用いて補間画素を補間するものが提案されている。
【０００４】
この方法について図１１を用いて具体的に説明する。同図において、ｎ、ｎ＋１は原画像のライン、ｉは補間ラインである。補間画素Ｘを中心とした３つの対角線方向Ｈ１、Ｈ２、Ｈ３のうち、どの方向に最も強い相関があるかを知るために、各対角線方向Ｈ１、Ｈ２、Ｈ３に存在する２つの隣接原画素の差分絶対値を求める。すなわち、｜Ａ（０）−Ｂ（０）｜、｜Ａ（１）−Ｂ（−１）｜、｜Ａ（−１）−Ｂ（１）｜を求める。そして、差分絶対値が最小となる対角線方向に最も強い相関があると判断して、その方向にある２つの隣接原画素の平均値を求め、この平均値を補間画素Ｘの値とする。例えば、３つの対角線方向Ｈ１、Ｈ２、Ｈ３のうち、対角線方向Ｈ３に最も強い相関があるとすると、（Ａ（−１）＋Ｂ（１））／２が補間画素Ｘの値となる。
【０００５】
【発明が解決しようとする課題】
図１２の（イ）に示すように周りの輝度よりも高い１画素からなる細線Ｅ１が垂直方向にある画像では、その細線Ｅ１の部分Ｒ１の拡大図は図１２の（ロ）に示すようになり、また、図１３の（イ）に示すように、周りの輝度よりも低い１画素からなる細線Ｅ２が斜め方向にある画像では、その細線Ｅ２の部分Ｒ２の拡大図は図１３の（ロ）に示すようになり、３つの対角線方向Ｈ１、Ｈ２、Ｈ３で相関が等しくなり、どの方向で補間を行えばよいか判断できないので、３つの対角線方向Ｈ１、Ｈ２、Ｈ３に優先順位をつけておき、優先順位が最も高い方向で補間を行うようになっている。
【０００６】
尚、本明細書において、ある方向で補間するとは「その方向に補間画素を挟んで対向する２つの隣接原画素を用いて補間画素を補間する」ことを意味するものとする。
【０００７】
このため、例えば、対角線方向Ｈ１の優先順位を高くしている場合は、図１２の（ロ）の場合は、正しく補間することができるが、図１３の（ロ）の場合は、本来はそれぞれ対角線方向Ｈ３に補間しなければならないところを、対角線方向Ｈ１に補間することになり、正しく補間することができない。
【０００８】
すなわち、上記補間方法では、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが発生しやすく、補間後の画像の画質、特に細線部分の画質の劣化が際だってしまい、補間後の画像として高精細なものを得ることができないという問題があった。尚、この例では、３つの対角線方向の中から補間方向を決めているが、より多くの対角線方向から補間方向を決める場合には、上記補間エラーが多発し、この問題は一層深刻なものとなる。
【０００９】
そこで、本発明は、補間後の画像として高精細なものを得ることができる画像補間装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するため、本発明の第１の画像補間装置は、
補間すべき画素である補間画素を挟んで対向する複数組の２つの入力画素の差分絶対値を算出する差分絶対値算出手段と、
該差分絶対値算出手段で算出された差分絶対値が最小となる組の２つの入力画素が補間画素を挟む方向を検出するエッジ候補検出手段と、
該エッジ候補検出手段で検出された方向に対応する入力画素を用いて所定の演算を行う演算手段と、
該演算手段での演算結果が所定の条件を満足するか否かを判定する判定手段と、
前記エッジ候補検出手段で検出された方向に対応する入力画素を用いた前記所定の演算結果が前記所定の条件を満足する場合、前記エッジ候補検出手段で検出された方向に補間画素を挟んで対向する２つの入力画素の平均値を算出する平均値算出手段と、
該平均値算出手段で算出された平均値を前記補間画素の値とすることによって前記補間画素を補間する補間手段と、
を有する構成となっている。
【００１１】
また、本発明の第２の画像補間装置は、
補間すべき画素である補間画素を挟んで対向する複数組の２つの入力画素の差分絶対値を算出する差分絶対値算出手段と、
２つの入力画素が補間画素を挟んで対向する方向に関して、対応する入力画素を用いた所定の演算を行う演算手段と、
該演算手段での演算結果が所定の条件を満足するか否かを判定する判定手段と、
補間画素が２つの入力画素で挟まれる複数の方向のうち、対応する入力画素を用いた前記所定の演算結果が前記所定の条件を満足し、且つ、その方向に補間画素を挟んで対向する２つの入力画素の差分絶対値が最小となる方向を検出するエッジ検出手段と、
該エッジ検出手段で検出された方向に補間画素を挟んで対向する２つの入力画素の平均値を算出する平均値算出手段と、
該平均値算出手段で算出された平均値を補間画素の値とすることによって補間画素を補間する補間手段と、
を有する構成となっている。
【００１２】
また、本発明の第３、第４の画像補間装置は、それぞれ本発明の上記第１、第２の画像補間装置において、前記演算手段では、着目する方向に補間画素を挟んで対向する２つの入力画素のそれぞれに関して、補間画素があるラインに隣接するライン上で同一方向に隣接する入力画素との差分を求めるようになっており、前記判定手段では、前記演算手段で求められた２つの差分の符号が等しいことを前記所定の条件としている。
【００１３】
また、本発明の第５、第６の画像補間装置は、それぞれ本発明の上記第１、第２の画像補間装置において、前記演算手段では、着目する方向に補間画素を挟んで対向する２つの入力画素のそれぞれに関して、他方の入力画素があるライン上で補間画素があるラインを挟んで対向する入力画素との差分を求めるようになっており、前記判定手段では、前記演算手段で求められた２つの差分の符号が異なることを前記所定の条件としている。
【００１４】
また、本発明の第７、第８の画像補間装置は、それぞれ本発明の上記第１、第２の画像補間装置において、前記演算手段では、着目する方向に補間画素を挟んで対向する２つの入力画素の平均値を求め、前記判定手段では、前記演算手段で求められた平均値と、補間画素があるラインと垂直な方向に補間画素を挟んで対向する２つの入力画素の少なくとも一方の値とがほぼ等しいことを前記所定の条件としている。
【００１５】
また、本発明の第９、第１０の画像補間装置は、それぞれ本発明の上記第１、第２の画像補間装置において、前記演算手段では、補間画素があるラインと垂直な方向に補間画素を挟んで対向する２つの入力画素の差分絶対値を求めるようになっており、前記判定手段では、前記演算手段で求められた差分絶対値が閾値以上であることを前記所定の条件としている。
【００１６】
以上の構成により、本発明の第１、第３、第５、第７、第９の各画像補間装置では、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）対角線方向がエッジ方向であるか否かが判定され、エッジ方向であると判定されてはじめて、その方向で補間が行われる。
【００１７】
また、本発明の第２、第４、第６、第８、第１０の各画像補間装置では、エッジ方向であると判定された対角線方向のうち、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）方向で補間が行われる。
【００１８】
【発明の実施の形態】
以下に、本発明の実施形態を図面を参照しながら説明する。本発明の第１実施形態である画像補間装置のブロック図を図１に示す。同図において、端子ＩＮから入力されたインターレース画像の画像データは原画素用メモリ１に蓄積される。対角画素比較部２は補間画素を挟んで３つの対角線方向にそれぞれ対向する２つの隣接原画素の差分絶対値を求める。エッジ検出部３は対角画素比較部２で求められた差分絶対値に基づいて３つの対角線方向のうち、最も相関が強い方向を検出する。具体的には、２つの隣接原画素の差分絶対値が最小となる方向を最も相関が強い方向とする。
【００１９】
エッジ検証部４はエッジ検出部３で検出された対角線方向に対応する入力画素を用いた所定の演算を行い、その演算結果が所定の条件を満足しているか否かを判定し、その判定結果に基づいて補間方向を決定する。補間データ生成部５はエッジ検証部４で決定された補間方向にある２つの隣接原画素の平均値を求める。補間データ生成部５で求められた平均値は補間画素用メモリ６に蓄積される。
【００２０】
原画素用メモリ１に蓄積された１ライン分の画像データと補間画素用メモリに蓄積された１ライン分の画像データとが交互に出力されるように、原画素メモリ１に蓄積された画像データと補間画素用メモリ６に蓄積された画像データがセレクタ７により択一的に選択されて端子ＯＵＴから出力される。これにより、入力されたインターレース画像がプログレッシブ画像に変換されて出力されることになる。
【００２１】
本第１実施形態である画像補間装置にて補間が行われる流れを図２に示すフローチャートを用いて説明する。図１１に示す補間画素Ｘを中心とする対角線方向Ｈ１、Ｈ２、Ｈ３の順に以下の処理を行う。まず、対角画素比較部２は、２つの隣接原画素の差分絶対値を求める（＃１０１）。
【００２２】
ここで、対角画素比較部２の内部構成を図３に示す。２０１、２０２、２０３、２０４、２０５、２０６、２０７、及び、２０８は入力されたデータを１画素分遅延させて出力するＤ遅延器、２０９、２１０、及び、２１１は２つの入力を加算して出力する加算器、２１２、２１３、及び、２１４は２つの入力の一方から他方を減じて出力する減算器、２１５、２１６、２１７、２１８、２１９、２２０、２２１、２２２、２２３、及び、２２４は２つの入力の一方から他方を減じたときの符号を１ビットで出力する減算符号算出器、２２５、２２６、及び、２２７は入力のビット数を所定のビット数に圧縮して出力する量子化器、２２８、２２９、及び、２３０は入力の絶対値を出力する絶対値回路である。
【００２３】
Ｄ遅延器２０１には当該画像補間装置に入力される画像データがそのまま入力される。Ｄ遅延器２０１の出力ＰiはＤ遅延器２０２に入力される。Ｄ遅延器２０２の出力ＰhはＤ遅延器２０３に入力される。Ｄ遅延器２０３の出力ＰgはＤ遅延器２０４に入力される。
【００２４】
Ｄ遅延器２０５には当該画像補間装置に入力された画像データが原画像用メモリ１により１ライン分遅延させられて入力される。Ｄ遅延器２０５の出力ＰdはＤ遅延器２０６に入力される。Ｄ遅延器２０６の出力ＰcはＤ遅延器２０７に入力される。Ｄ遅延器２０７の出力ＰbはＤ遅延器２０８に入力される。
【００２５】
加算器２０９にはＤ遅延器２０１の出力ＰiとＤ遅延器２０７の出力Ｐbとが入力されており、加算器２０９の出力Ａ1はＡ1＝Ｐb＋Ｐiとなる。加算器２１０にはＤ遅延器２０２の出力ＰhとＤ遅延器２０６の出力Ｐcとが入力されており、加算器２１０の出力Ａ2はＡ2＝Ｐc＋Ｐhとなる。加算器２１１にはＤ遅延器２０３の出力ＰgとＤ遅延器２０５の出力Ｐdとが入力されており、加算器２１１の出力Ａ3はＡ3＝Ｐd＋Ｐgとなる。
【００２６】
減算器２１２にはＤ遅延器２０１の出力ＰiとＤ遅延器２０７の出力Ｐbとが入力されており、減算器２１２の出力Ｓ1はＳ1＝Ｐi−Ｐbとなる。減算器２１３にはＤ遅延器２０２の出力ＰhとＤ遅延器２０６の出力Ｐcとが入力されており、減算器２１３の出力Ｓ2はＳ2＝Ｐh−Ｐcとなる。減算器２１４にはＤ遅延器２０３の出力ＰgとＤ遅延器２０５の出力Ｐdとが入力されており、減算器２１４の出力Ｓ3はＳ3＝Ｐg−Ｐdとなる。
【００２７】
減算符号算出器２１５にはＤ遅延器２０１の入力ＰjとＤ遅延器２０１の出力Ｐiとが入力されており、減算符号算出器２１５の出力ビットＤ1はＰj−Ｐiの符号を表すことになる。減算符号算出器２１６にはＤ遅延器２０１の出力ＰiとＤ遅延器２０２の出力Ｐhとが入力されており、減算符号算出器２１６の出力ビットＤ2はＰi−Ｐhの符号を表すことになる。
【００２８】
減算符号算出器２１７にはＤ遅延器２０２の出力ＰhとＤ遅延器２０３の出力Ｐgとが入力されており、減算符号算出器２１７の出力ビットＤ3はＰh−Ｐgの符号を表すことになる。減算符号算出器２１８にはＤ遅延器２０３の出力ＰgとＤ遅延器２０４の出力Ｐfとが入力されており、減算符号算出器２１８の出力ビットＤ4はＰg−Ｐfの符号を表すことになる。
【００２９】
減算符号算出器２１９にはＤ遅延器２０５の入力ＰeとＤ遅延器２０５の出力Ｐdとが入力されており、減算符号算出器２１９の出力ビットＤ5はＰe−Ｐdの符号を表すことになる。減算符号算出器２２０にはＤ遅延器２０５の出力ＰdとＤ遅延器２０６の出力Ｐcとが入力されており、減算符号算出器２２０の出力ビットＤ6はＰd−Ｐcの符号を表すことになる。
【００３０】
減算符号算出器２２１にはＤ遅延器２０６の出力ＰcとＤ遅延器２０７の出力Ｐbとが入力されており、減算符号算出器２２１の出力ビットＤ7はＰc−Ｐbの符号を表すことになる。減算符号算出器２２２にはＤ遅延器２０７の出力ＰbとＤ遅延器２０８の出力Ｐaとが入力されており、減算符号算出器２２２の出力ビットＤ8はＰb−Ｐaの符号を表すことになる。
【００３１】
減算符号算出器２２３にはＤ遅延器２０１の出力ＰiとＤ遅延器２０５の出力Ｐdとが入力されており、減算符号算出器２２３の出力ビットＤ9はＰi−Ｐdの符号を表すことになる。減算符号算出器２２４にはＤ遅延器２０３の出力ＰgとＤ遅延器２０７の出力Ｐbとが入力されており、減算符号算出器２２４の出力ビットＤ10はＰg−Ｐbの符号を表すことになる。
【００３２】
量子化器２２５、２２６、２２７にはそれぞれ減算器２１２、２１３、２１４の出力Ｓ1、Ｓ2、Ｓ3が入力されている。量子化器２２５、２２６、２２７の出力はそれぞれ絶対値回路２２８、２２９、２３０に入力されている。絶対値回路２２８、２２９、２３０のそれぞれの出力Ｔ1、Ｔ2、Ｔ3はエッジ検出回路３に入力される。
【００３３】
次に、エッジ検出部３が以下の処理を行う。＃１０１で求めた差分絶対値が閾値以下であるか否かを判定する（＃１０２）。閾値以下であれば（＃１０２のＹ）、＃１０１で求めた差分絶対値が最小値として記憶している値よりも小さいか否かを判定する（＃１０３）。一方、閾値以下でなければ（＃１０２のＮ）、次の対角線方向で処理を進めるべく＃１０１へ戻る。尚、＃１０２での処理についてはなくても構わない。
【００３４】
＃１０３での判定の結果が肯定であれば（＃１０３のＹ）、今まで記憶していた対角線方向に替えて今着目している対角線方向をエッジ候補として記憶する（＃１０４）とともに、今まで記憶していた値に替えて＃１０１で求めた差分絶対値を最小値として記憶する（＃１０５）。＃１０５の後は、次の対角線方向で処理を進めるべく、＃１０１へ戻る。一方、＃１０３での判定の結果が否定であれば（＃１０３のＮ）、＃１０４及び＃１０５をスキップして、次の対角線方向で処理を進めるべく＃１０１へ戻る。
【００３５】
尚、次の補間画素に対して以上の処理を行う前には、エッジ検出部３にて最小値として記憶されている値はクリアされ、また、エッジ候補として記憶されている対角線方向は縦方向（対角線方向Ｈ１）に初期化されるものとする（＃１００）。また、ここまでの処理については、この例では、対角線方向Ｈ１、Ｈ２、Ｈ３の順に進めるようになっているが、３つの対角線方向Ｈ１、Ｈ２、Ｈ３で並列に進めるようにしてもよい。
【００３６】
また、この例では、次の補間画素に対して以上の処理を行う前には、エッジ検出部３がエッジ候補として記憶している対角線方向は対角線方向Ｈ１に初期化されるものとしたが、縦方向のエッジが多い場合には対角線方向Ｈ１に初期化され、右肩上がりの斜め方向のエッジが多い場合には対角線方向Ｈ２に初期化され、左肩上がりの斜め方向のエッジが多い場合には対角線方向Ｈ３に初期化されるというように、取り扱う画像の性質に応じて初期化する対角線方向を決定すればよい。
【００３７】
さて、ある補間画素に対して以上の＃１０１〜＃１０５の処理を終えた時点では、エッジ検出部３には、その補間画素に関して２つの隣接画素の差分絶対値が最小となる対角線方向、すなわち、相関が最も強い対角線方向がエッジ候補として記憶されていることになる。
【００３８】
尚、エッジ検出部３の上記処理を３つの対角線方向Ｈ１、Ｈ２、Ｈ３で並列に行うための具体的な動作について説明しておく。エッジ検出部３には、図４に示すように、図３に示した対角画素比較部２の絶対値回路２２８、２２９、２３０の出力Ｔ1、Ｔ2、Ｔ3が入力されている。そして、エッジ検出回路３は、３つの入力Ｔ1、Ｔ2、Ｔ3のうちの最小のものを求め、入力Ｔ1が最小であれば、出力の３ビットＵ1、Ｕ2、Ｕ3をそれぞれ１、０、０とし、入力Ｔ2が最小であれば、出力の３ビットＵ1、Ｕ2、Ｕ3をそれぞれ０、１、０とし、入力Ｔ3が最小であれば、出力の３ビットＵ1、Ｕ2、Ｕ3をそれぞれ０、０、１とする。尚、最小となる入力が複数存在する場合には、最小となっている入力に対応する全ての出力ビットを１とする。また、入力の最小値が閾値以下である場合にのみ、最小となっている入力に対応する出力ビットを１とするようにしてもよい。
【００３９】
次に、１つの補間画素に対して以上の＃１０１〜＃１０５の処理を終えると、エッジ検証部４が以下の処理を行う。エッジ検出部３にてエッジ候補として記憶されている対角線方向に対応する入力画素を用いた所定の演算を行い、その演算結果がエッジ条件を満足するか否かを判定することにより、エッジ検出部３にてエッジ候補として記憶されている対角線方向がエッジ方向であるか否かを判定する（＃１０６）。
【００４０】
＃１０６での判定結果が肯定であれば（＃１０６のＹ）、そのまま＃１０８へ移行するが、一方、＃１０６での判定結果が否定であれば（＃１０６のＮ）、エッジ候補として縦方向（対角線方向Ｈ１）を記憶する（＃１０７）。
【００４１】
尚、エッジ検証部４の上記処理を実現する具体的な動作について説明しておく。エッジ検証部４には、図４に示すように、図３に示した対角画素比較部２の減算符号算出器２１５、２１６、２１７、２１８、２１９、２２０、２２１、２２２、２２３、２２４のそれぞれの出力Ｄ1、Ｄ2、Ｄ3、Ｄ4、Ｄ5、Ｄ6、Ｄ7、Ｄ8、Ｄ9、Ｄ10、Ｄ遅延器２０２、２０６のそれぞれの出力Ｐc、Ｐh、絶対値回路２２９の出力Ｔ2、エッジ検出部３の出力ビットＵ1、Ｕ2、Ｕ3、並びに、補間データ生成部５の後出する１／２係数器５０１、５０２、５０３のそれぞれの出力Ｂ1、Ｂ2、Ｂ3が入力されている。
【００４２】
そして、エッジ検証部４は、エッジ検出部３から出力される３ビットＵ1、Ｕ2、Ｕ3のどのビットが１となっているかによってエッジ候補の方向を認識するとともに、図２に示した対角画素比較部２の減算符号算出器２１５、２１６、２１７、２１８、２１９、２２０、２２１、２２２、２２３、２２４のそれぞれの出力Ｄ1、Ｄ2、Ｄ3、Ｄ4、Ｄ5、Ｄ6、Ｄ7、Ｄ8、Ｄ9、Ｄ10、Ｄ遅延器２０２、２０６のそれぞれの出力Ｐc、Ｐh、絶対値回路２２９の出力Ｔ2、並びに、補間データ生成部５の後出する１／２係数器５０１、５０２、５０３のそれぞれの出力Ｂ1、Ｂ2、Ｂ3に基づいて、エッジ候補の方向が後述するエッジ条件を満足するか否かを判定し、この判定結果に応じて補間データ生成部５の後出する係数器５０４、５０５、５０６のそれぞれの係数α1、α2、α3を設定する。
【００４３】
具体的には、例えば、エッジ検出部３の出力ビットＵ1、Ｕ2、Ｕ3がそれぞれ１、０、０であるとともに、エッジ条件を満足する場合には、係数器５０４、５０５、５０６の係数α1、α2、α3をそれぞれ１、０、０に設定する。また、エッジ検出部３の出力ビットＵ1、Ｕ2、Ｕ3の複数が１になっている場合、及び、エッジ条件が満足されていない場合には、本実施形態では、係数器５０４、５０５、５０６の係数α1、α2、α3をそれぞれ０、１、０に設定する。
【００４４】
そして、補間データ生成部５は、エッジ検証部４にてエッジ候補として記憶されている方向にある２つの隣接原画素の平均値を算出し（＃１０８）、算出された平均値を補間画素の値として補間用メモリ６に記憶する（＃１０９）。以上の＃１０１〜＃１０９までの処理を各補間画素毎に行う。
【００４５】
尚、補間データ生成部５の上記処理を実現する具体的な構成を図４に示しておく。５０１、５０２、及び、５０３は入力を１／２倍して出力する１／２係数器、５０４、５０５、及び、５０６はそれぞれエッジ判定部４によって設定される係数α1、α2、α3を入力に乗じて出力する係数器、５０７は３つの入力を加算して出力する加算器である。
【００４６】
１／２係数器５０１、５０２、５０３にはそれぞれ図３に示した対角画素比較部２の加算器２０９、２１０、２１１のそれぞれの出力Ａ1、Ａ2、Ａ3が入力されている。１／２係数器５０１、５０２、５０３のそれぞれの出力Ｂ1（＝Ａ1／２）、Ｂ２（＝Ａ2／２）、Ｂ３（＝Ａ3／２）は係数器５０４、５０５、５０６に入力されるとともに、エッジ判定部４にも入力されている。係数器５０４、５０５、５０６のそれぞれの出力Ｃ1（＝α1×Ｂ1）、Ｃ2（＝α2×Ｂ2）、Ｃ3（＝α3×Ｂ3）は加算器５０７に入力されている。加算器５０７の出力Ｏ（＝Ｃ1＋Ｃ2＋Ｃ3）は補間画素用メモリ６に蓄積される。
【００４７】
ここで、＃１０６でのエッジ条件について説明する。図５に示すように、対角線方向Ｈ３に最も強い相関がある場合を例にとって説明する。対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）と、隣接原画素Ａ（−１）、Ｂ（１）のそれぞれ左方向に隣接する隣接原画素Ａ（−２）、Ｂ（０）との差分Ａ（−１）−Ａ（−２）、Ｂ（１）−Ｂ（０）の符号（＋、−、または、０）をそれぞれａ、ｃとし、また、対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）と、隣接原画素Ａ（−１）、Ｂ（１）のそれぞれ右方向に隣接する原画素Ａ（０）、Ｂ（２）との差分Ａ（−１）−Ａ（０）、Ｂ（１）−Ｂ（２）の符号をそれぞれｂ、ｄとすると、ａ＝ｃまたはｂ＝ｄであることをエッジ条件（以下、このエッジ条件を「第１のエッジ条件」と言う）としている。尚、ａ＝ｃ且つｂ＝ｄをエッジ条件とするようにしてもよい。
【００４８】
本発明の第２実施形態である画像補間装置では、上記第１実施形態である画像補間装置と同じ構成であり、図２のフローチャートで示される流れで補間が行われるが、＃１０６でのエッジ条件が以下のようになっている。図６に示すように、対角線方向Ｈ３に最も強い相関がある場合を例にとって説明する。対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）と、隣接原画素Ａ（−１）、Ｂ（１）のそれぞれが補間画素Ｘがあるラインｉを挟んで対向する隣接原画素Ｂ（−１）、Ａ（１）との差分Ａ（−１）−Ｂ（−１）、Ｂ（１）−Ａ（１）の符号（＋、−、または、０）をそれぞれｅ、ｆとすると、ｅ≠ｆであることをエッジ条件（以下、このエッジ条件を「第２のエッジ条件」と言う）としている。
【００４９】
本発明の第３実施形態である画像補間装置では、上記第１実施形態である画像補間装置と同じ構成であり、図２のフローチャートで示される流れで補間が行われるが、＃１０６でのエッジ条件が以下のようになっている。図７に示すように、対角線方向Ｈ３に最も強い相関がある場合を例にとって説明する。対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）の平均値を補間画素Ｘの値とした場合に、補間画素Ｘを垂直方向に挟んで対向する２つの隣接原画素Ａ（０）、Ｂ（０）に対して、Ｘ≒Ａ（０）またはＸ≒Ｂ（０）であることをエッジ条件（以下、このエッジ条件を「第３のエッジ条件」と言う）としている。
【００５０】
本発明の第４実施形態である画像補間装置では、上記第１実施形態である画像補間装置と同じ構成であり、図２のフローチャートで示される流れで補間が行われるが、＃１０６でのエッジ条件が以下のようになっている。図８に示すように、どの対角線方向に相関が強いかに関係なく、補間画素Ｘを挟んで垂直方向に対向する２つの隣接原画素Ａ（０）とＢ（０）との差分絶対値｜Ａ（０）−Ｂ（０）｜が閾値以上であることをエッジ条件（以下、このエッジ条件を「第４のエッジ条件」と言う）としている。
【００５１】
上記第１、第２、第３、第４実施形態の各画像補間装置では、以上のような処理が行われるので、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）対角線方向がエッジ方向であるか否かが判定され、エッジ方向であると判定されてはじめて、その方向で補間が行われるので、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが低減し、補間後の画像の画質、特に細線部分の画質が向上する。
【００５２】
また、上記第１、第２、第３、第４の４つのエッジ条件を複数組み合わせたものを１つのエッジ条件とし、このエッジ条件を差分絶対値が最小となる対角線方向が満足するか否かを判定するようにしてもよい。このようにすれば、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが一層低減し、補間後の画像の画質、特に細線部分の画質が一層向上する。
【００５３】
本発明の第５実施形態である画像補間装置のブロック図を図９に示す。同図において、エッジ検出・検証部８は、対角画素比較部２で求められた差分絶対値に基づいて、所定の対角線方向に対応する入力画素を用いた所定の演算を行い、その演算結果が所定の条件を満足するか否かを判定することによって、３つの対角線方向のうち、エッジ方向であると判定され、且つ、差分絶対値が最小となる方向を検出する。尚、上記第１実施形態の画像補間装置のブロック図である図１と同一部分には同一符号を付して説明を省略する。
【００５４】
本第５実施形態である画像補間装置にて補間が行われる流れを図１０に示すフローチャートを用いて説明する。図１１に示すように、補間画素Ｘを中心とする対角線方向Ｈ１、Ｈ２、Ｈ３の順に以下の処理を行う。まず、対角画素比較部２は、２つの隣接原画素の差分絶対値を求める（＃２０１）。
【００５５】
次に、エッジ検出・検証部８が以下の処理を行う。＃２０１で求めた差分絶対値が閾値以下であるか否かを判定する（＃２０２）。閾値以下であれば（＃２０２のＹ）、＃２０１で求めた差分絶対値が最小値として記憶している値よりも小さいか否かを判定する（＃２０３）。一方、閾値以下でなければ（＃２０２のＮ）、次の対角線方向で処理を進めるべく＃２０１へ戻る。尚、＃２０２の処理についてはなくても構わない。
【００５６】
＃２０３での判定の結果が肯定であれば（＃２０３のＹ）、今着目している対角線方向に対応する入力画素を用いた所定の演算を行い、その演算結果がエッジ条件を満足するか否かを判定することにより、今着目している対角線方向がエッジ方向であるか否かを判定する（＃２０４）。一方、＃２０３での判定結果が否定であれば（＃２０３のＮ）、次に対角線方向で処理を進めるべく＃２０１へ戻る。尚、＃２０４でのエッジ条件としては、第１のエッジ条件を採用している。
【００５７】
＃２０４での判定結果が肯定であれば（＃２０４のＹ）、今まで記憶していた対角線方向に替えて今着目している対角線方向をエッジ候補として記憶する（＃２０５）とともに、今まで記憶していた値に替えて＃２０１で求めた差分絶対値を最小値として記憶する（＃２０６）。＃２０６の後は、次の対角線方向で処理を進めるべく＃２０１へ戻る。
【００５８】
尚、次の補間画素に対して以上の処理を行う前には、エッジ検出・検証部８にて最小値として記憶されている値はクリアされ、また、エッジ候補として記憶されている対角線方向は縦方向（対角線方向Ｈ１）に初期化されるものとする（＃２００）。また、ここまでの処理を、この例では、対角線方向Ｈ１、Ｈ２、Ｈ３の順に進めるようになっているが、３つの対角線方向Ｈ１、Ｈ２、Ｈ３で並列に進めるようにしてもよい。
【００５９】
また、この例では、次の補間画素に対して以上の処理を行う前には、エッジ検出・検証部８がエッジ候補として記憶している対角線方向は対角線方向Ｈ１に初期化されるものとしたが、縦方向のエッジが多い場合には対角線方向Ｈ１に初期化され、右肩上がりの斜め方向のエッジが多い場合には対角線方向Ｈ２に初期化され、左肩上がりの斜め方向のエッジが多い場合には対角線方向Ｈ３に初期化されるというように、取り扱う画像の性質に応じて初期化する対角線方向を決定すればよい。
【００６０】
さて、ある補間画素に対して以上の＃２０１〜＃２０６の処理を終えた時点では、エッジ検出・検証部８には、その補間画素に関してエッジ方向であると判定される対角線方向のうち、２つの隣接原画素の差分絶対値が最小となる方向がエッジ候補として記憶されていることになる。
【００６１】
そして、１つの補間画素に対して以上の＃２０１〜＃２０６の処理を終えると、補間データ生成部５が、エッジ検出・検証部８にてエッジ候補として記憶されている対角線方向にある２つの隣接原画素の平均値を算出し（＃２０７）、算出した平均値を補間画素の値として補間用メモリ６に記憶する（＃２０８）。尚、エッジ方向であると判定される対角線方向がない場合は、この例では、対角線方向Ｈ１に補間を行うことになる。以上の＃２０１〜＃２０８までの処理を各補間画素毎に行う。
【００６２】
本発明の第６実施形態である画像補間装置では、上記第５実施形態である画像補間装置と同じ構成であり、図１０のフローチャートで示される流れで補間が行われるが、＃２０４でのエッジ条件として、第２のエッジ条件を採用している。
【００６３】
本発明の第７実施形態である画像補間装置では、上記第５実施形態である画像補間装置と同じ構成であり、図１０のフローチャートで示される流れで補間が行われるが、＃２０４でのエッジ条件として、第３のエッジ条件を採用している。
【００６４】
本発明の第８実施形態である画像補間装置では、上記第５実施形態である画像補間装置と同じ構成であり、図１０のフローチャートで示される流れで補間が行われるが、＃２０４でのエッジ条件として、第４のエッジ条件を採用している。
【００６５】
上記第５、第６、第７、第８実施形態の各画像補間装置では、以上のような処理が行われるので、エッジ方向であると判定された対角線方向のうち、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）方向で補間が行われるので、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが低減し、補間後の画像の画質、特に細線部分の画質が向上する。
【００６６】
また、第１、第２、第３、第４の４つのエッジ条件を複数組み合わせたものを１つのエッジ条件とし、このエッジ条件を満足する対角線方向のうち、２つの隣接原画素の差分絶対値が最小となる方向で補間画素を補間するようにしてもよい。このようにすれば、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが一層低減し、補間後の画像の画質、特に細線部分の画質が一層向上する。
【００６７】
尚、上記各実施形態の画像補間装置では、補間画素の補間方向を決定するにあたって、輝度データを用いるようにしてもよいし、原色データや色差データを用いることも可能である。その他には、簡易的な手法として、視感度の最も強いグリーンの絵素の値のみを用いるようにしてもよい。
【００６８】
また、上記各実施形態の画像補間装置は、インターレース画像をプログレッシブ画像に変換するものであるが、本発明はこれに限定されるものではなく、画像を拡大する場合や、解像度を増やす変換を行う場合などにも適用可能である。
【００６９】
また、上記各実施形態の画像補間装置はライン数を増やすものであるが、ライン上の画素数を増やす場合には、９０゜方向を変えて同じ処理を行うようにすればよい。
【００７０】
また、上記各実施形態の画像補間装置では、３つの対角線方向の中から補間方向を決定しているが、３つ以上の対角線方向の中から補間方向を決定するようにしてもよい。そして、補間方向となり得る対角線方向が多いほど、本発明によりもたらされる効果は顕著なものとなる。
【００７１】
【発明の効果】
以上説明したように、本発明の画像補間装置によれば、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）対角線方向がエッジ方向であるか否かが判定され、エッジ方向であると判定されてはじめて、その方向で補間画素が補間されるので、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが低減し、これにより、補間後の画像の画質、特に細線部分の画質が向上し、高精細な画像を得ることができる。
【００７２】
また、本発明の画像補間装置によれば、エッジ方向であると判定される対角線方向のうち、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）方向で補間が行われるので、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが低減し、これにより、補間後の画像の画質、特に細線部分の画質が向上し、高精細な画像を得ることができる。
【図面の簡単な説明】
【図１】 本発明の第１、第２、第３、及び、第４実施形態である画像補間装置のブロック図である。
【図２】 本発明の第１、第２、第３、及び、第４実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図３】 対角画素比較部の構成を示す図である。
【図４】 エッジ検出部、エッジ検証部、及び、補間データ生成部の具体的な動作を説明するための図である。
【図５】 本発明の第１及び第５実施形態である画像補間装置におけるエッジ条件を説明するための図である。
【図６】 本発明の第２及び第６実施形態である画像補間装置におけるエッジ条件を説明するための図である。
【図７】 本発明の第３及び第７実施形態である画像補間装置におけるエッジ条件を説明するための図である。
【図８】 本発明の第４及び第８実施形態である画像補間装置におけるエッジ条件を説明するための図である。
【図９】 本発明の第５、第６、第７、及び、第８実施形態である画像補間装置のブロック図である。
【図１０】 本発明の第５、第６、第７、及び、第８実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図１１】 従来例の画像補間方法を説明するための図である。
【図１２】 従来例の画像補間方法における問題点を説明するための図である。
【図１３】 従来例の画像補間方法における問題点を説明するための図である。
【符号の説明】
１ 原画素用メモリ
２ 対角画素比較部
３ エッジ検出部
４ エッジ検証部
５ 補間データ生成部
６ 補間画素用メモリ
７ セレクタ
８ エッジ検出・検証部
２０１、２０２、２０３、２０４ Ｄ遅延器
２０５、２０６、２０７、２０８ Ｄ遅延器
２０９、２１０、２１１ 加算器
２１２、２１３、２１４ 減算器
２１５、２１６、２１７、２１８、２１９ 減算符号算出器
２２０、２２１、２２２、２２３、２２４ 減算符号算出器
２２５、２２６、２２７ 量子化器
２２８、２２９、２３０ 絶対値回路
５０１、５０２、５０３ １／２係数器
５０４、５０５、５０６ 係数器
５０７ 加算器
【発明の属する技術分野】
本発明は、画像を補間する画像補間装置に関するものである。
【０００２】
【従来の技術】
例えば、インターレース画像をプログレッシブ画像に変換する場合、画像を拡大する場合、画像の解像度を高める場合などには、画像を補間する必要がある。このような画像の補間方法としては、ライン数を増やす場合を例に挙げると、補間すべきラインとして原画像の上または下のラインをそのまま用いる方法や、原画像の上下のラインの平均値を用いる方法が、従来から一般的によく知られている。
【０００３】
ところが、前者の方法では斜線等のような垂直方向に相関のない画像については、画像の輪郭線にガタツキが生じ、一方、後者の方法では、画像にボケが生じるといった画像の劣化を伴う。この問題を解決する方法として、補間画素（補間すべき画素）を挟んで対向する複数組の２つの隣接原画素（尚、本明細書において、隣接原画素とは「原画像の画素のうち、補間画素があるラインに隣接するライン上にある画素」を意味するものとする）のうち、相関が最も強い組の２つの隣接原画素を用いて補間画素を補間するものが提案されている。
【０００４】
この方法について図１１を用いて具体的に説明する。同図において、ｎ、ｎ＋１は原画像のライン、ｉは補間ラインである。補間画素Ｘを中心とした３つの対角線方向Ｈ１、Ｈ２、Ｈ３のうち、どの方向に最も強い相関があるかを知るために、各対角線方向Ｈ１、Ｈ２、Ｈ３に存在する２つの隣接原画素の差分絶対値を求める。すなわち、｜Ａ（０）−Ｂ（０）｜、｜Ａ（１）−Ｂ（−１）｜、｜Ａ（−１）−Ｂ（１）｜を求める。そして、差分絶対値が最小となる対角線方向に最も強い相関があると判断して、その方向にある２つの隣接原画素の平均値を求め、この平均値を補間画素Ｘの値とする。例えば、３つの対角線方向Ｈ１、Ｈ２、Ｈ３のうち、対角線方向Ｈ３に最も強い相関があるとすると、（Ａ（−１）＋Ｂ（１））／２が補間画素Ｘの値となる。
【０００５】
【発明が解決しようとする課題】
図１２の（イ）に示すように周りの輝度よりも高い１画素からなる細線Ｅ１が垂直方向にある画像では、その細線Ｅ１の部分Ｒ１の拡大図は図１２の（ロ）に示すようになり、また、図１３の（イ）に示すように、周りの輝度よりも低い１画素からなる細線Ｅ２が斜め方向にある画像では、その細線Ｅ２の部分Ｒ２の拡大図は図１３の（ロ）に示すようになり、３つの対角線方向Ｈ１、Ｈ２、Ｈ３で相関が等しくなり、どの方向で補間を行えばよいか判断できないので、３つの対角線方向Ｈ１、Ｈ２、Ｈ３に優先順位をつけておき、優先順位が最も高い方向で補間を行うようになっている。
【０００６】
尚、本明細書において、ある方向で補間するとは「その方向に補間画素を挟んで対向する２つの隣接原画素を用いて補間画素を補間する」ことを意味するものとする。
【０００７】
このため、例えば、対角線方向Ｈ１の優先順位を高くしている場合は、図１２の（ロ）の場合は、正しく補間することができるが、図１３の（ロ）の場合は、本来はそれぞれ対角線方向Ｈ３に補間しなければならないところを、対角線方向Ｈ１に補間することになり、正しく補間することができない。
【０００８】
すなわち、上記補間方法では、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが発生しやすく、補間後の画像の画質、特に細線部分の画質の劣化が際だってしまい、補間後の画像として高精細なものを得ることができないという問題があった。尚、この例では、３つの対角線方向の中から補間方向を決めているが、より多くの対角線方向から補間方向を決める場合には、上記補間エラーが多発し、この問題は一層深刻なものとなる。
【０００９】
そこで、本発明は、補間後の画像として高精細なものを得ることができる画像補間装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するため、本発明の第１の画像補間装置は、
補間すべき画素である補間画素を挟んで対向する複数組の２つの入力画素の差分絶対値を算出する差分絶対値算出手段と、
該差分絶対値算出手段で算出された差分絶対値が最小となる組の２つの入力画素が補間画素を挟む方向を検出するエッジ候補検出手段と、
該エッジ候補検出手段で検出された方向に対応する入力画素を用いて所定の演算を行う演算手段と、
該演算手段での演算結果が所定の条件を満足するか否かを判定する判定手段と、
前記エッジ候補検出手段で検出された方向に対応する入力画素を用いた前記所定の演算結果が前記所定の条件を満足する場合、前記エッジ候補検出手段で検出された方向に補間画素を挟んで対向する２つの入力画素の平均値を算出する平均値算出手段と、
該平均値算出手段で算出された平均値を前記補間画素の値とすることによって前記補間画素を補間する補間手段と、
を有する構成となっている。
【００１１】
また、本発明の第２の画像補間装置は、
補間すべき画素である補間画素を挟んで対向する複数組の２つの入力画素の差分絶対値を算出する差分絶対値算出手段と、
２つの入力画素が補間画素を挟んで対向する方向に関して、対応する入力画素を用いた所定の演算を行う演算手段と、
該演算手段での演算結果が所定の条件を満足するか否かを判定する判定手段と、
補間画素が２つの入力画素で挟まれる複数の方向のうち、対応する入力画素を用いた前記所定の演算結果が前記所定の条件を満足し、且つ、その方向に補間画素を挟んで対向する２つの入力画素の差分絶対値が最小となる方向を検出するエッジ検出手段と、
該エッジ検出手段で検出された方向に補間画素を挟んで対向する２つの入力画素の平均値を算出する平均値算出手段と、
該平均値算出手段で算出された平均値を補間画素の値とすることによって補間画素を補間する補間手段と、
を有する構成となっている。
【００１２】
また、本発明の第３、第４の画像補間装置は、それぞれ本発明の上記第１、第２の画像補間装置において、前記演算手段では、着目する方向に補間画素を挟んで対向する２つの入力画素のそれぞれに関して、補間画素があるラインに隣接するライン上で同一方向に隣接する入力画素との差分を求めるようになっており、前記判定手段では、前記演算手段で求められた２つの差分の符号が等しいことを前記所定の条件としている。
【００１３】
また、本発明の第５、第６の画像補間装置は、それぞれ本発明の上記第１、第２の画像補間装置において、前記演算手段では、着目する方向に補間画素を挟んで対向する２つの入力画素のそれぞれに関して、他方の入力画素があるライン上で補間画素があるラインを挟んで対向する入力画素との差分を求めるようになっており、前記判定手段では、前記演算手段で求められた２つの差分の符号が異なることを前記所定の条件としている。
【００１４】
また、本発明の第７、第８の画像補間装置は、それぞれ本発明の上記第１、第２の画像補間装置において、前記演算手段では、着目する方向に補間画素を挟んで対向する２つの入力画素の平均値を求め、前記判定手段では、前記演算手段で求められた平均値と、補間画素があるラインと垂直な方向に補間画素を挟んで対向する２つの入力画素の少なくとも一方の値とがほぼ等しいことを前記所定の条件としている。
【００１５】
また、本発明の第９、第１０の画像補間装置は、それぞれ本発明の上記第１、第２の画像補間装置において、前記演算手段では、補間画素があるラインと垂直な方向に補間画素を挟んで対向する２つの入力画素の差分絶対値を求めるようになっており、前記判定手段では、前記演算手段で求められた差分絶対値が閾値以上であることを前記所定の条件としている。
【００１６】
以上の構成により、本発明の第１、第３、第５、第７、第９の各画像補間装置では、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）対角線方向がエッジ方向であるか否かが判定され、エッジ方向であると判定されてはじめて、その方向で補間が行われる。
【００１７】
また、本発明の第２、第４、第６、第８、第１０の各画像補間装置では、エッジ方向であると判定された対角線方向のうち、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）方向で補間が行われる。
【００１８】
【発明の実施の形態】
以下に、本発明の実施形態を図面を参照しながら説明する。本発明の第１実施形態である画像補間装置のブロック図を図１に示す。同図において、端子ＩＮから入力されたインターレース画像の画像データは原画素用メモリ１に蓄積される。対角画素比較部２は補間画素を挟んで３つの対角線方向にそれぞれ対向する２つの隣接原画素の差分絶対値を求める。エッジ検出部３は対角画素比較部２で求められた差分絶対値に基づいて３つの対角線方向のうち、最も相関が強い方向を検出する。具体的には、２つの隣接原画素の差分絶対値が最小となる方向を最も相関が強い方向とする。
【００１９】
エッジ検証部４はエッジ検出部３で検出された対角線方向に対応する入力画素を用いた所定の演算を行い、その演算結果が所定の条件を満足しているか否かを判定し、その判定結果に基づいて補間方向を決定する。補間データ生成部５はエッジ検証部４で決定された補間方向にある２つの隣接原画素の平均値を求める。補間データ生成部５で求められた平均値は補間画素用メモリ６に蓄積される。
【００２０】
原画素用メモリ１に蓄積された１ライン分の画像データと補間画素用メモリに蓄積された１ライン分の画像データとが交互に出力されるように、原画素メモリ１に蓄積された画像データと補間画素用メモリ６に蓄積された画像データがセレクタ７により択一的に選択されて端子ＯＵＴから出力される。これにより、入力されたインターレース画像がプログレッシブ画像に変換されて出力されることになる。
【００２１】
本第１実施形態である画像補間装置にて補間が行われる流れを図２に示すフローチャートを用いて説明する。図１１に示す補間画素Ｘを中心とする対角線方向Ｈ１、Ｈ２、Ｈ３の順に以下の処理を行う。まず、対角画素比較部２は、２つの隣接原画素の差分絶対値を求める（＃１０１）。
【００２２】
ここで、対角画素比較部２の内部構成を図３に示す。２０１、２０２、２０３、２０４、２０５、２０６、２０７、及び、２０８は入力されたデータを１画素分遅延させて出力するＤ遅延器、２０９、２１０、及び、２１１は２つの入力を加算して出力する加算器、２１２、２１３、及び、２１４は２つの入力の一方から他方を減じて出力する減算器、２１５、２１６、２１７、２１８、２１９、２２０、２２１、２２２、２２３、及び、２２４は２つの入力の一方から他方を減じたときの符号を１ビットで出力する減算符号算出器、２２５、２２６、及び、２２７は入力のビット数を所定のビット数に圧縮して出力する量子化器、２２８、２２９、及び、２３０は入力の絶対値を出力する絶対値回路である。
【００２３】
Ｄ遅延器２０１には当該画像補間装置に入力される画像データがそのまま入力される。Ｄ遅延器２０１の出力ＰiはＤ遅延器２０２に入力される。Ｄ遅延器２０２の出力ＰhはＤ遅延器２０３に入力される。Ｄ遅延器２０３の出力ＰgはＤ遅延器２０４に入力される。
【００２４】
Ｄ遅延器２０５には当該画像補間装置に入力された画像データが原画像用メモリ１により１ライン分遅延させられて入力される。Ｄ遅延器２０５の出力ＰdはＤ遅延器２０６に入力される。Ｄ遅延器２０６の出力ＰcはＤ遅延器２０７に入力される。Ｄ遅延器２０７の出力ＰbはＤ遅延器２０８に入力される。
【００２５】
加算器２０９にはＤ遅延器２０１の出力ＰiとＤ遅延器２０７の出力Ｐbとが入力されており、加算器２０９の出力Ａ1はＡ1＝Ｐb＋Ｐiとなる。加算器２１０にはＤ遅延器２０２の出力ＰhとＤ遅延器２０６の出力Ｐcとが入力されており、加算器２１０の出力Ａ2はＡ2＝Ｐc＋Ｐhとなる。加算器２１１にはＤ遅延器２０３の出力ＰgとＤ遅延器２０５の出力Ｐdとが入力されており、加算器２１１の出力Ａ3はＡ3＝Ｐd＋Ｐgとなる。
【００２６】
減算器２１２にはＤ遅延器２０１の出力ＰiとＤ遅延器２０７の出力Ｐbとが入力されており、減算器２１２の出力Ｓ1はＳ1＝Ｐi−Ｐbとなる。減算器２１３にはＤ遅延器２０２の出力ＰhとＤ遅延器２０６の出力Ｐcとが入力されており、減算器２１３の出力Ｓ2はＳ2＝Ｐh−Ｐcとなる。減算器２１４にはＤ遅延器２０３の出力ＰgとＤ遅延器２０５の出力Ｐdとが入力されており、減算器２１４の出力Ｓ3はＳ3＝Ｐg−Ｐdとなる。
【００２７】
減算符号算出器２１５にはＤ遅延器２０１の入力ＰjとＤ遅延器２０１の出力Ｐiとが入力されており、減算符号算出器２１５の出力ビットＤ1はＰj−Ｐiの符号を表すことになる。減算符号算出器２１６にはＤ遅延器２０１の出力ＰiとＤ遅延器２０２の出力Ｐhとが入力されており、減算符号算出器２１６の出力ビットＤ2はＰi−Ｐhの符号を表すことになる。
【００２８】
減算符号算出器２１７にはＤ遅延器２０２の出力ＰhとＤ遅延器２０３の出力Ｐgとが入力されており、減算符号算出器２１７の出力ビットＤ3はＰh−Ｐgの符号を表すことになる。減算符号算出器２１８にはＤ遅延器２０３の出力ＰgとＤ遅延器２０４の出力Ｐfとが入力されており、減算符号算出器２１８の出力ビットＤ4はＰg−Ｐfの符号を表すことになる。
【００２９】
減算符号算出器２１９にはＤ遅延器２０５の入力ＰeとＤ遅延器２０５の出力Ｐdとが入力されており、減算符号算出器２１９の出力ビットＤ5はＰe−Ｐdの符号を表すことになる。減算符号算出器２２０にはＤ遅延器２０５の出力ＰdとＤ遅延器２０６の出力Ｐcとが入力されており、減算符号算出器２２０の出力ビットＤ6はＰd−Ｐcの符号を表すことになる。
【００３０】
減算符号算出器２２１にはＤ遅延器２０６の出力ＰcとＤ遅延器２０７の出力Ｐbとが入力されており、減算符号算出器２２１の出力ビットＤ7はＰc−Ｐbの符号を表すことになる。減算符号算出器２２２にはＤ遅延器２０７の出力ＰbとＤ遅延器２０８の出力Ｐaとが入力されており、減算符号算出器２２２の出力ビットＤ8はＰb−Ｐaの符号を表すことになる。
【００３１】
減算符号算出器２２３にはＤ遅延器２０１の出力ＰiとＤ遅延器２０５の出力Ｐdとが入力されており、減算符号算出器２２３の出力ビットＤ9はＰi−Ｐdの符号を表すことになる。減算符号算出器２２４にはＤ遅延器２０３の出力ＰgとＤ遅延器２０７の出力Ｐbとが入力されており、減算符号算出器２２４の出力ビットＤ10はＰg−Ｐbの符号を表すことになる。
【００３２】
量子化器２２５、２２６、２２７にはそれぞれ減算器２１２、２１３、２１４の出力Ｓ1、Ｓ2、Ｓ3が入力されている。量子化器２２５、２２６、２２７の出力はそれぞれ絶対値回路２２８、２２９、２３０に入力されている。絶対値回路２２８、２２９、２３０のそれぞれの出力Ｔ1、Ｔ2、Ｔ3はエッジ検出回路３に入力される。
【００３３】
次に、エッジ検出部３が以下の処理を行う。＃１０１で求めた差分絶対値が閾値以下であるか否かを判定する（＃１０２）。閾値以下であれば（＃１０２のＹ）、＃１０１で求めた差分絶対値が最小値として記憶している値よりも小さいか否かを判定する（＃１０３）。一方、閾値以下でなければ（＃１０２のＮ）、次の対角線方向で処理を進めるべく＃１０１へ戻る。尚、＃１０２での処理についてはなくても構わない。
【００３４】
＃１０３での判定の結果が肯定であれば（＃１０３のＹ）、今まで記憶していた対角線方向に替えて今着目している対角線方向をエッジ候補として記憶する（＃１０４）とともに、今まで記憶していた値に替えて＃１０１で求めた差分絶対値を最小値として記憶する（＃１０５）。＃１０５の後は、次の対角線方向で処理を進めるべく、＃１０１へ戻る。一方、＃１０３での判定の結果が否定であれば（＃１０３のＮ）、＃１０４及び＃１０５をスキップして、次の対角線方向で処理を進めるべく＃１０１へ戻る。
【００３５】
尚、次の補間画素に対して以上の処理を行う前には、エッジ検出部３にて最小値として記憶されている値はクリアされ、また、エッジ候補として記憶されている対角線方向は縦方向（対角線方向Ｈ１）に初期化されるものとする（＃１００）。また、ここまでの処理については、この例では、対角線方向Ｈ１、Ｈ２、Ｈ３の順に進めるようになっているが、３つの対角線方向Ｈ１、Ｈ２、Ｈ３で並列に進めるようにしてもよい。
【００３６】
また、この例では、次の補間画素に対して以上の処理を行う前には、エッジ検出部３がエッジ候補として記憶している対角線方向は対角線方向Ｈ１に初期化されるものとしたが、縦方向のエッジが多い場合には対角線方向Ｈ１に初期化され、右肩上がりの斜め方向のエッジが多い場合には対角線方向Ｈ２に初期化され、左肩上がりの斜め方向のエッジが多い場合には対角線方向Ｈ３に初期化されるというように、取り扱う画像の性質に応じて初期化する対角線方向を決定すればよい。
【００３７】
さて、ある補間画素に対して以上の＃１０１〜＃１０５の処理を終えた時点では、エッジ検出部３には、その補間画素に関して２つの隣接画素の差分絶対値が最小となる対角線方向、すなわち、相関が最も強い対角線方向がエッジ候補として記憶されていることになる。
【００３８】
尚、エッジ検出部３の上記処理を３つの対角線方向Ｈ１、Ｈ２、Ｈ３で並列に行うための具体的な動作について説明しておく。エッジ検出部３には、図４に示すように、図３に示した対角画素比較部２の絶対値回路２２８、２２９、２３０の出力Ｔ1、Ｔ2、Ｔ3が入力されている。そして、エッジ検出回路３は、３つの入力Ｔ1、Ｔ2、Ｔ3のうちの最小のものを求め、入力Ｔ1が最小であれば、出力の３ビットＵ1、Ｕ2、Ｕ3をそれぞれ１、０、０とし、入力Ｔ2が最小であれば、出力の３ビットＵ1、Ｕ2、Ｕ3をそれぞれ０、１、０とし、入力Ｔ3が最小であれば、出力の３ビットＵ1、Ｕ2、Ｕ3をそれぞれ０、０、１とする。尚、最小となる入力が複数存在する場合には、最小となっている入力に対応する全ての出力ビットを１とする。また、入力の最小値が閾値以下である場合にのみ、最小となっている入力に対応する出力ビットを１とするようにしてもよい。
【００３９】
次に、１つの補間画素に対して以上の＃１０１〜＃１０５の処理を終えると、エッジ検証部４が以下の処理を行う。エッジ検出部３にてエッジ候補として記憶されている対角線方向に対応する入力画素を用いた所定の演算を行い、その演算結果がエッジ条件を満足するか否かを判定することにより、エッジ検出部３にてエッジ候補として記憶されている対角線方向がエッジ方向であるか否かを判定する（＃１０６）。
【００４０】
＃１０６での判定結果が肯定であれば（＃１０６のＹ）、そのまま＃１０８へ移行するが、一方、＃１０６での判定結果が否定であれば（＃１０６のＮ）、エッジ候補として縦方向（対角線方向Ｈ１）を記憶する（＃１０７）。
【００４１】
尚、エッジ検証部４の上記処理を実現する具体的な動作について説明しておく。エッジ検証部４には、図４に示すように、図３に示した対角画素比較部２の減算符号算出器２１５、２１６、２１７、２１８、２１９、２２０、２２１、２２２、２２３、２２４のそれぞれの出力Ｄ1、Ｄ2、Ｄ3、Ｄ4、Ｄ5、Ｄ6、Ｄ7、Ｄ8、Ｄ9、Ｄ10、Ｄ遅延器２０２、２０６のそれぞれの出力Ｐc、Ｐh、絶対値回路２２９の出力Ｔ2、エッジ検出部３の出力ビットＵ1、Ｕ2、Ｕ3、並びに、補間データ生成部５の後出する１／２係数器５０１、５０２、５０３のそれぞれの出力Ｂ1、Ｂ2、Ｂ3が入力されている。
【００４２】
そして、エッジ検証部４は、エッジ検出部３から出力される３ビットＵ1、Ｕ2、Ｕ3のどのビットが１となっているかによってエッジ候補の方向を認識するとともに、図２に示した対角画素比較部２の減算符号算出器２１５、２１６、２１７、２１８、２１９、２２０、２２１、２２２、２２３、２２４のそれぞれの出力Ｄ1、Ｄ2、Ｄ3、Ｄ4、Ｄ5、Ｄ6、Ｄ7、Ｄ8、Ｄ9、Ｄ10、Ｄ遅延器２０２、２０６のそれぞれの出力Ｐc、Ｐh、絶対値回路２２９の出力Ｔ2、並びに、補間データ生成部５の後出する１／２係数器５０１、５０２、５０３のそれぞれの出力Ｂ1、Ｂ2、Ｂ3に基づいて、エッジ候補の方向が後述するエッジ条件を満足するか否かを判定し、この判定結果に応じて補間データ生成部５の後出する係数器５０４、５０５、５０６のそれぞれの係数α1、α2、α3を設定する。
【００４３】
具体的には、例えば、エッジ検出部３の出力ビットＵ1、Ｕ2、Ｕ3がそれぞれ１、０、０であるとともに、エッジ条件を満足する場合には、係数器５０４、５０５、５０６の係数α1、α2、α3をそれぞれ１、０、０に設定する。また、エッジ検出部３の出力ビットＵ1、Ｕ2、Ｕ3の複数が１になっている場合、及び、エッジ条件が満足されていない場合には、本実施形態では、係数器５０４、５０５、５０６の係数α1、α2、α3をそれぞれ０、１、０に設定する。
【００４４】
そして、補間データ生成部５は、エッジ検証部４にてエッジ候補として記憶されている方向にある２つの隣接原画素の平均値を算出し（＃１０８）、算出された平均値を補間画素の値として補間用メモリ６に記憶する（＃１０９）。以上の＃１０１〜＃１０９までの処理を各補間画素毎に行う。
【００４５】
尚、補間データ生成部５の上記処理を実現する具体的な構成を図４に示しておく。５０１、５０２、及び、５０３は入力を１／２倍して出力する１／２係数器、５０４、５０５、及び、５０６はそれぞれエッジ判定部４によって設定される係数α1、α2、α3を入力に乗じて出力する係数器、５０７は３つの入力を加算して出力する加算器である。
【００４６】
１／２係数器５０１、５０２、５０３にはそれぞれ図３に示した対角画素比較部２の加算器２０９、２１０、２１１のそれぞれの出力Ａ1、Ａ2、Ａ3が入力されている。１／２係数器５０１、５０２、５０３のそれぞれの出力Ｂ1（＝Ａ1／２）、Ｂ２（＝Ａ2／２）、Ｂ３（＝Ａ3／２）は係数器５０４、５０５、５０６に入力されるとともに、エッジ判定部４にも入力されている。係数器５０４、５０５、５０６のそれぞれの出力Ｃ1（＝α1×Ｂ1）、Ｃ2（＝α2×Ｂ2）、Ｃ3（＝α3×Ｂ3）は加算器５０７に入力されている。加算器５０７の出力Ｏ（＝Ｃ1＋Ｃ2＋Ｃ3）は補間画素用メモリ６に蓄積される。
【００４７】
ここで、＃１０６でのエッジ条件について説明する。図５に示すように、対角線方向Ｈ３に最も強い相関がある場合を例にとって説明する。対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）と、隣接原画素Ａ（−１）、Ｂ（１）のそれぞれ左方向に隣接する隣接原画素Ａ（−２）、Ｂ（０）との差分Ａ（−１）−Ａ（−２）、Ｂ（１）−Ｂ（０）の符号（＋、−、または、０）をそれぞれａ、ｃとし、また、対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）と、隣接原画素Ａ（−１）、Ｂ（１）のそれぞれ右方向に隣接する原画素Ａ（０）、Ｂ（２）との差分Ａ（−１）−Ａ（０）、Ｂ（１）−Ｂ（２）の符号をそれぞれｂ、ｄとすると、ａ＝ｃまたはｂ＝ｄであることをエッジ条件（以下、このエッジ条件を「第１のエッジ条件」と言う）としている。尚、ａ＝ｃ且つｂ＝ｄをエッジ条件とするようにしてもよい。
【００４８】
本発明の第２実施形態である画像補間装置では、上記第１実施形態である画像補間装置と同じ構成であり、図２のフローチャートで示される流れで補間が行われるが、＃１０６でのエッジ条件が以下のようになっている。図６に示すように、対角線方向Ｈ３に最も強い相関がある場合を例にとって説明する。対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）と、隣接原画素Ａ（−１）、Ｂ（１）のそれぞれが補間画素Ｘがあるラインｉを挟んで対向する隣接原画素Ｂ（−１）、Ａ（１）との差分Ａ（−１）−Ｂ（−１）、Ｂ（１）−Ａ（１）の符号（＋、−、または、０）をそれぞれｅ、ｆとすると、ｅ≠ｆであることをエッジ条件（以下、このエッジ条件を「第２のエッジ条件」と言う）としている。
【００４９】
本発明の第３実施形態である画像補間装置では、上記第１実施形態である画像補間装置と同じ構成であり、図２のフローチャートで示される流れで補間が行われるが、＃１０６でのエッジ条件が以下のようになっている。図７に示すように、対角線方向Ｈ３に最も強い相関がある場合を例にとって説明する。対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）の平均値を補間画素Ｘの値とした場合に、補間画素Ｘを垂直方向に挟んで対向する２つの隣接原画素Ａ（０）、Ｂ（０）に対して、Ｘ≒Ａ（０）またはＸ≒Ｂ（０）であることをエッジ条件（以下、このエッジ条件を「第３のエッジ条件」と言う）としている。
【００５０】
本発明の第４実施形態である画像補間装置では、上記第１実施形態である画像補間装置と同じ構成であり、図２のフローチャートで示される流れで補間が行われるが、＃１０６でのエッジ条件が以下のようになっている。図８に示すように、どの対角線方向に相関が強いかに関係なく、補間画素Ｘを挟んで垂直方向に対向する２つの隣接原画素Ａ（０）とＢ（０）との差分絶対値｜Ａ（０）−Ｂ（０）｜が閾値以上であることをエッジ条件（以下、このエッジ条件を「第４のエッジ条件」と言う）としている。
【００５１】
上記第１、第２、第３、第４実施形態の各画像補間装置では、以上のような処理が行われるので、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）対角線方向がエッジ方向であるか否かが判定され、エッジ方向であると判定されてはじめて、その方向で補間が行われるので、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが低減し、補間後の画像の画質、特に細線部分の画質が向上する。
【００５２】
また、上記第１、第２、第３、第４の４つのエッジ条件を複数組み合わせたものを１つのエッジ条件とし、このエッジ条件を差分絶対値が最小となる対角線方向が満足するか否かを判定するようにしてもよい。このようにすれば、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが一層低減し、補間後の画像の画質、特に細線部分の画質が一層向上する。
【００５３】
本発明の第５実施形態である画像補間装置のブロック図を図９に示す。同図において、エッジ検出・検証部８は、対角画素比較部２で求められた差分絶対値に基づいて、所定の対角線方向に対応する入力画素を用いた所定の演算を行い、その演算結果が所定の条件を満足するか否かを判定することによって、３つの対角線方向のうち、エッジ方向であると判定され、且つ、差分絶対値が最小となる方向を検出する。尚、上記第１実施形態の画像補間装置のブロック図である図１と同一部分には同一符号を付して説明を省略する。
【００５４】
本第５実施形態である画像補間装置にて補間が行われる流れを図１０に示すフローチャートを用いて説明する。図１１に示すように、補間画素Ｘを中心とする対角線方向Ｈ１、Ｈ２、Ｈ３の順に以下の処理を行う。まず、対角画素比較部２は、２つの隣接原画素の差分絶対値を求める（＃２０１）。
【００５５】
次に、エッジ検出・検証部８が以下の処理を行う。＃２０１で求めた差分絶対値が閾値以下であるか否かを判定する（＃２０２）。閾値以下であれば（＃２０２のＹ）、＃２０１で求めた差分絶対値が最小値として記憶している値よりも小さいか否かを判定する（＃２０３）。一方、閾値以下でなければ（＃２０２のＮ）、次の対角線方向で処理を進めるべく＃２０１へ戻る。尚、＃２０２の処理についてはなくても構わない。
【００５６】
＃２０３での判定の結果が肯定であれば（＃２０３のＹ）、今着目している対角線方向に対応する入力画素を用いた所定の演算を行い、その演算結果がエッジ条件を満足するか否かを判定することにより、今着目している対角線方向がエッジ方向であるか否かを判定する（＃２０４）。一方、＃２０３での判定結果が否定であれば（＃２０３のＮ）、次に対角線方向で処理を進めるべく＃２０１へ戻る。尚、＃２０４でのエッジ条件としては、第１のエッジ条件を採用している。
【００５７】
＃２０４での判定結果が肯定であれば（＃２０４のＹ）、今まで記憶していた対角線方向に替えて今着目している対角線方向をエッジ候補として記憶する（＃２０５）とともに、今まで記憶していた値に替えて＃２０１で求めた差分絶対値を最小値として記憶する（＃２０６）。＃２０６の後は、次の対角線方向で処理を進めるべく＃２０１へ戻る。
【００５８】
尚、次の補間画素に対して以上の処理を行う前には、エッジ検出・検証部８にて最小値として記憶されている値はクリアされ、また、エッジ候補として記憶されている対角線方向は縦方向（対角線方向Ｈ１）に初期化されるものとする（＃２００）。また、ここまでの処理を、この例では、対角線方向Ｈ１、Ｈ２、Ｈ３の順に進めるようになっているが、３つの対角線方向Ｈ１、Ｈ２、Ｈ３で並列に進めるようにしてもよい。
【００５９】
また、この例では、次の補間画素に対して以上の処理を行う前には、エッジ検出・検証部８がエッジ候補として記憶している対角線方向は対角線方向Ｈ１に初期化されるものとしたが、縦方向のエッジが多い場合には対角線方向Ｈ１に初期化され、右肩上がりの斜め方向のエッジが多い場合には対角線方向Ｈ２に初期化され、左肩上がりの斜め方向のエッジが多い場合には対角線方向Ｈ３に初期化されるというように、取り扱う画像の性質に応じて初期化する対角線方向を決定すればよい。
【００６０】
さて、ある補間画素に対して以上の＃２０１〜＃２０６の処理を終えた時点では、エッジ検出・検証部８には、その補間画素に関してエッジ方向であると判定される対角線方向のうち、２つの隣接原画素の差分絶対値が最小となる方向がエッジ候補として記憶されていることになる。
【００６１】
そして、１つの補間画素に対して以上の＃２０１〜＃２０６の処理を終えると、補間データ生成部５が、エッジ検出・検証部８にてエッジ候補として記憶されている対角線方向にある２つの隣接原画素の平均値を算出し（＃２０７）、算出した平均値を補間画素の値として補間用メモリ６に記憶する（＃２０８）。尚、エッジ方向であると判定される対角線方向がない場合は、この例では、対角線方向Ｈ１に補間を行うことになる。以上の＃２０１〜＃２０８までの処理を各補間画素毎に行う。
【００６２】
本発明の第６実施形態である画像補間装置では、上記第５実施形態である画像補間装置と同じ構成であり、図１０のフローチャートで示される流れで補間が行われるが、＃２０４でのエッジ条件として、第２のエッジ条件を採用している。
【００６３】
本発明の第７実施形態である画像補間装置では、上記第５実施形態である画像補間装置と同じ構成であり、図１０のフローチャートで示される流れで補間が行われるが、＃２０４でのエッジ条件として、第３のエッジ条件を採用している。
【００６４】
本発明の第８実施形態である画像補間装置では、上記第５実施形態である画像補間装置と同じ構成であり、図１０のフローチャートで示される流れで補間が行われるが、＃２０４でのエッジ条件として、第４のエッジ条件を採用している。
【００６５】
上記第５、第６、第７、第８実施形態の各画像補間装置では、以上のような処理が行われるので、エッジ方向であると判定された対角線方向のうち、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）方向で補間が行われるので、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが低減し、補間後の画像の画質、特に細線部分の画質が向上する。
【００６６】
また、第１、第２、第３、第４の４つのエッジ条件を複数組み合わせたものを１つのエッジ条件とし、このエッジ条件を満足する対角線方向のうち、２つの隣接原画素の差分絶対値が最小となる方向で補間画素を補間するようにしてもよい。このようにすれば、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが一層低減し、補間後の画像の画質、特に細線部分の画質が一層向上する。
【００６７】
尚、上記各実施形態の画像補間装置では、補間画素の補間方向を決定するにあたって、輝度データを用いるようにしてもよいし、原色データや色差データを用いることも可能である。その他には、簡易的な手法として、視感度の最も強いグリーンの絵素の値のみを用いるようにしてもよい。
【００６８】
また、上記各実施形態の画像補間装置は、インターレース画像をプログレッシブ画像に変換するものであるが、本発明はこれに限定されるものではなく、画像を拡大する場合や、解像度を増やす変換を行う場合などにも適用可能である。
【００６９】
また、上記各実施形態の画像補間装置はライン数を増やすものであるが、ライン上の画素数を増やす場合には、９０゜方向を変えて同じ処理を行うようにすればよい。
【００７０】
また、上記各実施形態の画像補間装置では、３つの対角線方向の中から補間方向を決定しているが、３つ以上の対角線方向の中から補間方向を決定するようにしてもよい。そして、補間方向となり得る対角線方向が多いほど、本発明によりもたらされる効果は顕著なものとなる。
【００７１】
【発明の効果】
以上説明したように、本発明の画像補間装置によれば、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）対角線方向がエッジ方向であるか否かが判定され、エッジ方向であると判定されてはじめて、その方向で補間画素が補間されるので、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが低減し、これにより、補間後の画像の画質、特に細線部分の画質が向上し、高精細な画像を得ることができる。
【００７２】
また、本発明の画像補間装置によれば、エッジ方向であると判定される対角線方向のうち、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）方向で補間が行われるので、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが低減し、これにより、補間後の画像の画質、特に細線部分の画質が向上し、高精細な画像を得ることができる。
【図面の簡単な説明】
【図１】 本発明の第１、第２、第３、及び、第４実施形態である画像補間装置のブロック図である。
【図２】 本発明の第１、第２、第３、及び、第４実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図３】 対角画素比較部の構成を示す図である。
【図４】 エッジ検出部、エッジ検証部、及び、補間データ生成部の具体的な動作を説明するための図である。
【図５】 本発明の第１及び第５実施形態である画像補間装置におけるエッジ条件を説明するための図である。
【図６】 本発明の第２及び第６実施形態である画像補間装置におけるエッジ条件を説明するための図である。
【図７】 本発明の第３及び第７実施形態である画像補間装置におけるエッジ条件を説明するための図である。
【図８】 本発明の第４及び第８実施形態である画像補間装置におけるエッジ条件を説明するための図である。
【図９】 本発明の第５、第６、第７、及び、第８実施形態である画像補間装置のブロック図である。
【図１０】 本発明の第５、第６、第７、及び、第８実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図１１】 従来例の画像補間方法を説明するための図である。
【図１２】 従来例の画像補間方法における問題点を説明するための図である。
【図１３】 従来例の画像補間方法における問題点を説明するための図である。
【符号の説明】
１ 原画素用メモリ
２ 対角画素比較部
３ エッジ検出部
４ エッジ検証部
５ 補間データ生成部
６ 補間画素用メモリ
７ セレクタ
８ エッジ検出・検証部
２０１、２０２、２０３、２０４ Ｄ遅延器
２０５、２０６、２０７、２０８ Ｄ遅延器
２０９、２１０、２１１ 加算器
２１２、２１３、２１４ 減算器
２１５、２１６、２１７、２１８、２１９ 減算符号算出器
２２０、２２１、２２２、２２３、２２４ 減算符号算出器
２２５、２２６、２２７ 量子化器
２２８、２２９、２３０ 絶対値回路
５０１、５０２、５０３ １／２係数器
５０４、５０５、５０６ 係数器
５０７ 加算器
Claims (4)
- 補間すべき画素である補間画素を対向して挟む複数組の２つの入力画素の差分絶対値を算出する差分絶対値算出手段と、
該差分絶対値算出手段で算出された差分絶対値の中で、最小の差分絶対値を算出した組の２つの入力画素により補間画素が挟まれる方向を検出するエッジ候補検出手段と、
該エッジ候補検出手段で検出された方向に存在する入力画素を用いて所定の演算を行う演算手段と、
該演算手段での演算結果が所定の条件を満足するか否かを判定する判定手段と、
前記演算手段での演算結果が前記所定の条件を満たす場合、前記エッジ候補検出手段で検出された方向において補間画素を対向して挟む２つの入力画素の平均値を算出する平均値算出手段と、
該平均値算出手段で算出された平均値を前記補間画素の値とすることによって前記補間画素を補間する補間手段とを備え、
前記演算手段では、着目する方向に補間画素を対向して挟む２つの入力画素のそれぞれに関して、補間画素があるラインに隣接するライン上で同一方向に隣接する入力画素との差分を求めるようになっており、
前記判定手段では、前記演算手段で求められた２つの差分の符号が等しいことを前記所定の条件としていることを特徴とする画像補間装置。 - 補間すべき画素である補間画素を対向して挟む複数組の２つの入力画素の差分絶対値を算出する差分絶対値算出手段と、
２つの入力画素が補間画素を対向して挟む方向に存在する入力画素を用いて所定の演算を行う演算手段と、
該演算手段での演算結果が所定の条件を満足するか否かを判定する判定手段と、
２つの入力画素が補間画素を対向して挟む複数の方向のうち、前記演算手段による演算結果が所定の条件を満たす方向であって、且つ、前記差分絶対値算出手段で算出された差分絶対値の中で最小の差分絶対値を算出した２つの入力画素が補間画素を挟む方向を検出するエッジ検出手段と、
該エッジ検出手段で検出された方向において補間画素を対向して挟む２つの入力画素の平均値を算出する平均値算出手段と、
該平均値算出手段で算出された平均値を補間画素の値とすることによって補間画素を補間する補間手段とを備え、
前記演算手段では、着目する方向に補間画素を対向して挟む２つの入力画素のそれぞれに関して、補間画素があるラインに隣接するライン上で同一方向に隣接する入力画素との差分を求めるようになっており、
前記判定手段では、前記演算手段で求められた２つの差分の符号が等しいことを前記所定の条件としていることを特徴とする画像補間装置。 - 補間すべき画素である補間画素を対向して挟む複数組の２つの入力画素の差分絶対値を算出する差分絶対値算出手段と、
該差分絶対値算出手段で算出された差分絶対値の中で、最小の差分絶対値を算出した２つの入力画素により補間画素が挟まれる方向を検出するエッジ候補検出手段と、
該エッジ候補検出手段で検出された方向に存在する入力画素を用いて所定の演算を行う演算手段と、
該演算手段での演算結果が所定の条件を満足するか否かを判定する判定手段と、
前記演算手段での演算結果が前記所定の条件を満たす場合、前記エッジ候補検出手段で検出された方向において補間画素を対向して挟む２つの入力画素の平均値を算出する平均値算出手段と、
該平均値算出手段で算出された平均値を前記補間画素の値とすることによって前記補間 画素を補間する補間手段とを備え、
前記演算手段では、着目する方向に補間画素を対向して挟む２つの入力画素のそれぞれに関して、他方の入力画素があるライン上で補間画素があるラインを対向して挟む入力画素との差分を求めるようになっており、
前記判定手段では、前記演算手段で求められた２つの差分の符号が異なることを前記所定の条件としていることを特徴とする画像補間装置。 - 補間すべき画素である補間画素を対向して挟む複数組の２つの入力画素の差分絶対値を算出する差分絶対値算出手段と、
２つの入力画素が補間画素を対向して挟む方向に存在する入力画素を用いて所定の演算を行う演算手段と、
該演算手段での演算結果が所定の条件を満足するか否かを判定する判定手段と、
２つの入力画素が補間画素を対向して挟む複数の方向のうち、前記演算手段による演算結果が所定の条件を満たす方向であって、且つ、前記差分絶対値算出手段で算出された差分絶対値の中で最小の差分絶対値を算出した２つの入力画素が補間画素を挟む方向を検出するエッジ検出手段と、
該エッジ検出手段で検出された方向において補間画素を対向して挟む２つの入力画素の平均値を算出する平均値算出手段と、
該平均値算出手段で算出された平均値を補間画素の値とすることによって補間画素を補間する補間手段とを備え、
前記演算手段では、着目する方向に補間画素を対向して挟む２つの入力画素のそれぞれに関して、他方の入力画素があるライン上で補間画素があるラインを対向して挟む入力画素との差分を求めるようになっており、
前記判定手段では、前記演算手段で求められた２つの差分の符号が異なることを前記所定の条件としていることを特徴とする画像補間装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000147197A JP3644874B2 (ja) | 1999-07-15 | 2000-05-19 | 画像補間装置 |
| TW089113998A TW484321B (en) | 1999-07-15 | 2000-07-13 | Image interpolation device |
| US09/615,403 US6810156B1 (en) | 1999-07-15 | 2000-07-13 | Image interpolation device |
| KR10-2000-0040677A KR100366935B1 (ko) | 1999-07-15 | 2000-07-14 | 화상보간장치 |
| CNB001203894A CN1226877C (zh) | 1999-07-15 | 2000-07-14 | 图像插入装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20111499 | 1999-07-15 | ||
| JP11-201114 | 1999-07-15 | ||
| JP2000147197A JP3644874B2 (ja) | 1999-07-15 | 2000-05-19 | 画像補間装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001084366A JP2001084366A (ja) | 2001-03-30 |
| JP3644874B2 true JP3644874B2 (ja) | 2005-05-11 |
Family
ID=26512576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000147197A Expired - Fee Related JP3644874B2 (ja) | 1999-07-15 | 2000-05-19 | 画像補間装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6810156B1 (ja) |
| JP (1) | JP3644874B2 (ja) |
| KR (1) | KR100366935B1 (ja) |
| CN (1) | CN1226877C (ja) |
| TW (1) | TW484321B (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7245326B2 (en) * | 2001-11-19 | 2007-07-17 | Matsushita Electric Industrial Co. Ltd. | Method of edge based interpolation |
| US7136541B2 (en) * | 2002-10-18 | 2006-11-14 | Sony Corporation | Method of performing sub-pixel based edge-directed image interpolation |
| US7242819B2 (en) * | 2002-12-13 | 2007-07-10 | Trident Microsystems, Inc. | Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion |
| US7379625B2 (en) * | 2003-05-30 | 2008-05-27 | Samsung Electronics Co., Ltd. | Edge direction based image interpolation method |
| US7864349B2 (en) * | 2003-07-30 | 2011-01-04 | International Business Machines Corporation | Immediate verification of printed copy |
| US7764839B2 (en) * | 2003-08-14 | 2010-07-27 | Fujifilm Corporation | Edge detecting apparatus and method, and image size enlarging and reducing apparatus and method |
| JP3767593B2 (ja) * | 2003-10-07 | 2006-04-19 | 三菱電機株式会社 | 画素補間回路及び画素補間方法 |
| JP3810404B2 (ja) * | 2003-11-10 | 2006-08-16 | 三菱電機株式会社 | 画素補間回路、及び画素補間方法 |
| KR100543466B1 (ko) * | 2003-11-13 | 2006-01-20 | 삼성전자주식회사 | 영상 보간 장치 및 방법 |
| TWI230010B (en) * | 2003-12-30 | 2005-03-21 | Realtek Semiconductor Corp | Adaptive interpolation method based on edge detection |
| US20050163401A1 (en) * | 2004-01-28 | 2005-07-28 | Techwell Inc. | Display image enhancement apparatus and method using adaptive interpolation with correlation |
| KR100587979B1 (ko) * | 2004-12-20 | 2006-06-08 | 한국전자통신연구원 | 이미지 확대를 위한 경계선 및 귀퉁이 기반 보간 방법 |
| US7362378B2 (en) * | 2005-01-10 | 2008-04-22 | Matsushita Electric Industrial Co., Ltd. | Method of edge based pixel location and interpolation |
| US7405388B2 (en) * | 2005-02-22 | 2008-07-29 | Reilley Peter V | Video centerscope for machine alignment |
| US7941006B2 (en) * | 2005-02-25 | 2011-05-10 | Panasonic Corporation | Pixel interpolating method and device |
| KR100654467B1 (ko) * | 2005-09-29 | 2006-12-06 | 삼성전자주식회사 | 비트 해상도를 확장하는 방법 및 장치 |
| US7486844B2 (en) * | 2005-11-17 | 2009-02-03 | Avisonic Technology Corporation | Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels |
| TWI386032B (zh) * | 2006-04-20 | 2013-02-11 | Realtek Semiconductor Corp | 型樣偵測方法與相關的影像處理裝置 |
| TWI323435B (en) * | 2006-05-10 | 2010-04-11 | Realtek Semiconductor Corp | Pattern detecting method and apparatus thereof |
| TWI342154B (en) * | 2006-05-17 | 2011-05-11 | Realtek Semiconductor Corp | Method and related apparatus for determining image characteristics |
| KR100804451B1 (ko) | 2006-09-25 | 2008-02-20 | 광운대학교 산학협력단 | 영상처리의 1/4 픽셀 보간 방법 및 그의 프로세서 |
| US8643777B2 (en) * | 2009-09-25 | 2014-02-04 | Vixs Systems Inc. | Pixel interpolation with edge detection based on cross-correlation |
| JP5878167B2 (ja) * | 2010-05-10 | 2016-03-08 | オセ−テクノロジーズ・ベー・ヴエーＯｃｅ’−Ｎｅｄｅｒｌａｎｄ Ｂｅｓｌｏｔｅｎ Ｖｅｎｎｏｏｔｓｈａｐ | ラスタ画像のエッジを復元する方法 |
| JP2012234257A (ja) * | 2011-04-28 | 2012-11-29 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
| CN103259960B (zh) * | 2013-04-22 | 2016-02-17 | 重庆金山科技（集团）有限公司 | 数据的插值方法及装置、图像输出方法及装置 |
| JP2016085628A (ja) * | 2014-10-27 | 2016-05-19 | 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． | 画像処理装置、画像処理方法、およびプログラム |
| JP2019121062A (ja) * | 2017-12-28 | 2019-07-22 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 画像拡大装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI89995C (fi) * | 1991-12-31 | 1993-12-10 | Salon Televisiotehdas Oy | Foerfarande foer randadaptiv interpolation av en tv-bilds linje samt en interpolator |
| JPH06153169A (ja) | 1992-11-09 | 1994-05-31 | Nippon Hoso Kyokai <Nhk> | 順次走査変換方法 |
| DE4407101A1 (de) * | 1994-03-03 | 1995-09-14 | Siemens Ag | Verfahren zur Formatkonversion von in einem ersten Bildpunktraster vorliegenden Bildsequenzen in ein zweites Bildpunktraster |
| US6408109B1 (en) * | 1996-10-07 | 2002-06-18 | Cognex Corporation | Apparatus and method for detecting and sub-pixel location of edges in a digital image |
| US6262773B1 (en) * | 1997-09-15 | 2001-07-17 | Sharp Laboratories Of America, Inc. | System for conversion of interlaced video to progressive video using edge correlation |
| US6563538B1 (en) * | 1997-09-26 | 2003-05-13 | Nikon Corporation | Interpolation device, process and recording medium on which interpolation processing program is recorded |
| KR100226836B1 (ko) | 1997-09-30 | 1999-10-15 | 구자홍 | 영상 포맷 변환 장치 |
| JPH11146346A (ja) | 1997-11-13 | 1999-05-28 | Matsushita Electric Ind Co Ltd | 順次走査変換方法及び順次走査変換装置 |
-
2000
- 2000-05-19 JP JP2000147197A patent/JP3644874B2/ja not_active Expired - Fee Related
- 2000-07-13 US US09/615,403 patent/US6810156B1/en not_active Expired - Lifetime
- 2000-07-13 TW TW089113998A patent/TW484321B/zh not_active IP Right Cessation
- 2000-07-14 CN CNB001203894A patent/CN1226877C/zh not_active Expired - Lifetime
- 2000-07-14 KR KR10-2000-0040677A patent/KR100366935B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR100366935B1 (ko) | 2003-01-09 |
| US6810156B1 (en) | 2004-10-26 |
| JP2001084366A (ja) | 2001-03-30 |
| TW484321B (en) | 2002-04-21 |
| KR20010015344A (ko) | 2001-02-26 |
| CN1281313A (zh) | 2001-01-24 |
| CN1226877C (zh) | 2005-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3644874B2 (ja) | 画像補間装置 | |
| US7406208B2 (en) | Edge enhancement process and system | |
| US7149355B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program | |
| US8199252B2 (en) | Image-processing method and device | |
| US20050249282A1 (en) | Film-mode detection in video sequences | |
| EP0909092A2 (en) | Method and apparatus for video signal conversion | |
| US20070047651A1 (en) | Video prediction apparatus and method for multi-format codec and video encoding/decoding apparatus and method using the video prediction apparatus and method | |
| US8406305B2 (en) | Method and system for creating an interpolated image using up-conversion vector with uncovering-covering detection | |
| JPH0937214A (ja) | 順次走査変換方法及び順次走査変換装置 | |
| EP1394742B1 (en) | Method for filtering the noise of a digital image sequence | |
| EP1104970B1 (en) | Method and device for converting number of frames of image signals | |
| US7697790B2 (en) | Apparatus and method for enhancing quality of reproduced image | |
| US8538070B2 (en) | Motion detecting method and apparatus thereof | |
| EP1848219B1 (en) | Block noise removal device | |
| US8446966B2 (en) | Block noise reducing apparatus | |
| US7724979B2 (en) | Video preprocessing temporal and spatial filter | |
| JPH05153562A (ja) | 相関検出補間方法および装置 | |
| WO2008002009A1 (en) | Image processing apparatus, method and medium | |
| JP2007336075A (ja) | ブロック歪み低減装置 | |
| EP0654941B1 (en) | Motion detection circuit and method using spatial information | |
| JPH11146346A (ja) | 順次走査変換方法及び順次走査変換装置 | |
| US20060203292A1 (en) | Color signal interpolation system and method | |
| KR101299196B1 (ko) | 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법 | |
| JP2009177524A (ja) | 走査線補間装置及び走査線補間方法 | |
| JP3707959B2 (ja) | 画像補間装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050201 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |