JP4175878B2 - 走査線補間装置および画像表示装置並びに走査線補間方法 - Google Patents
走査線補間装置および画像表示装置並びに走査線補間方法 Download PDFInfo
- Publication number
- JP4175878B2 JP4175878B2 JP2002356691A JP2002356691A JP4175878B2 JP 4175878 B2 JP4175878 B2 JP 4175878B2 JP 2002356691 A JP2002356691 A JP 2002356691A JP 2002356691 A JP2002356691 A JP 2002356691A JP 4175878 B2 JP4175878 B2 JP 4175878B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- scanning line
- difference
- interpolation
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像の解像度を変換するための画像補間装置および方法に関し、特にインターレース方式の映像信号をプログレッシブ方式の映像信号に走査線変換する走査線補間装置および走査線補間方法に関する。
【０００２】
【従来の技術】
飛越走査であるインターレース方式の映像では、１フレームの映像信号が２フィールドの映像信号により構成される。即ち、第１フィールドの映像信号が走査された後、第２フィールドの映像信号が走査され１フレームの映像信号となる。また、１フレーム内の走査線は、第１フィールドの走査線と第２フィールドの走査線とが交互に位置するので、第１フィールドの走査線に両側で隣接する走査線は第２フィールドの走査線となり、第２フィールドの走査線に両側で隣接する走査線は第１フィールドの走査線となる。一方、順次走査であるプログレッシブ方式の映像では、１フレームの映像信号が１フィールドの映像信号により構成されており、１フレーム内の隣接する走査線は同一フィールドの走査線である。
【０００３】
従って、インターレース方式の映像信号をプログレッシブ方式の映像信号に変換する場合には、インタレース方式の第１フィールドの映像信号からプログレッシブ方式の１フレームの映像信号を生成し、インターレース方式の第２フィールドの映像信号からプログレッシブ方式の１フレームの映像信号を生成する必要がある。このため、インターレース方式の１フィールドの映像信号に対し補間により走査線を追加し、プログレッシブ方式の１フレームの映像信号に変換する走査線変換を行わなければならない。
【０００４】
このような走査線変換は、インターレス方式の映像が静止画像である場合には、一方のフィールド走査線を隣接する他方のフィールド走査線の間にはめ込み補間走査線を生成する、いわゆるフィールド間補間といわれる走査変換が行われる。一方、インターレス方式の映像信号が動画像である場合には、同一フィールド内の隣接走査線上の画素を用いて補間走査線を生成する、いわゆるフィールド内補間といわれる走査変換が行われる（例えば、特許文献１及び特許文献２参照）。
【０００５】
【特許文献１】
特開平３−１７９８９０号公報（第３−４項、第４図）
【特許文献２】
特開２００２−１１２２０３号公報（第４−６項、第１図）
【０００６】
図２３は、特開平３−１７９８９０号公報に示されている、一般的な走査線補間装置の一構成例を示すブロック図である。図において、２００はインターレース方式の映像信号が入力される映像信号入力端子、２０１は入力映像信号からフィールド間補間により補間信号を生成する静止画用補間手段、２０２は入力映像信号からフィールド内補間により補間信号を生成する動画用補間手段、２０３は入力映像信号の動きを検出する動き検出手段、２０４は動き検出手段２０３の動き検出結果に基づいて静止画補間信号と動画補間信号とを混合する混合手段、２０５は混合手段２０４からの補間信号を入力映像信号の走査線間にはめ込むとともに、入力映像信号と補間信号との出力タイミング調整を行い、プログレッシブ方式の映像信号を出力する時間軸変換手段である。
【０００７】
次に動作について説明する。静止画用補間手段２０１はフィールドメモリを備え、例えば入力映像信号の１フィールド前の信号を補間信号として出力する。動画用補間手段２０２は１水平走査期間（１ライン走査期間。以下、「１Ｈ」と言う。）分の映像信号を遅延する遅延手段を有しており、フィールド内補間により補間信号を生成し出力する。動き検出手段２０３はフレームメモリを備え、フレームメモリ内の映像信号と入力映像信号との差分を求め、差分が大きい個所を動画部として判断し、動き検出信号を出力する。
【０００８】
混合手段２０４は、動き検出手段２０３からの動き検出信号に応じ、動画部には動画用補間手段２０２からの補間信号を得て、その他の部分には静止画用補間手段２０１からの補間信号を得て、補間走査線を生成し出力する。そして、時間軸変換手段２０５により入力映像信号と補間信号との出力タイミングを調節し、プログレッシブ方式の映像信号として出力する。
【０００９】
動画用補間手段２０２におけるフィールド内補間には、隣接する走査線上における画素の信号の平均値を用いるライン平均走査線補間がある。図２４は従来のライン平均走査線補間における動画用補間手段の一構成例を示すブロック図である。図において、加算手段２１２は、入力映像信号と、入力映像信号を１Ｈ分遅延する１Ｈ遅延手段２１１とから入力された信号を加算し、増幅器２１３に出力する。増幅器２１３は、加算手段２１２から入力された映像信号の利得を１／２に増幅し、補間信号を出力する。
【００１０】
従って、隣接する走査線間に補間走査線Ｐを生成する場合、増幅器２１３から出力される補間信号は、補間画素に隣接する画素の平均値となる。即ち、走査線Ｂ、及び走査線Ｃとの間に補間走査線Ｐを生成する場合、補間走査線Ｐ上の補間画素Ｐ０の信号Ｐ(0)は、補間画素Ｐ０と走査線直交方向に隣接する画素Ｂ０、画素Ｃ０の信号Ｂ(0)、Ｃ(0)を用いて、Ｐ(0)＝（Ｂ(0)＋Ｃ(0)）／２と表すことができる。
【００１１】
また、特開２００２−１１２２０３号公報には、走査方向に対し傾斜する画像がある場合において、傾斜方向の解像度劣化を防ぐため、相関性の高い斜め方向の画素を求めて補間信号を生成する走査線補間装置が記載されている。図２５は、特開平２００２−１１２２０３号公報に記載された斜め相関による走査線補間装置において、動画用補間手段の一構成例を示すブロック図である。図において、２２０はインターレース方式の映像信号が入力される入力端子、２２１〜２２３は入力映像信号を１Ｈ分遅延する第１から第３の遅延手段、２２４は入力映像信号における各走査線上の画素のブロックを特定して、ブロック毎にブロック信号を出力するブロック信号生成手段、２２５はブロック信号生成手段２２４からのブロック信号により画素対の相関を検出し、検出結果を出力する相関検出手段、２２６は相関検出手段２２５からの相関検出結果に基づき、相関のある画素を選択して補間信号を生成する補間手段である。
【００１２】
次に動作について説明する。入力されたインターレス方式の映像信号は、第１の遅延手段２２１へ入力され、次に、第１の遅延手段２２１から出力された信号は第２の遅延手段２２２へ入力され、さらに第２の遅延手段２２２から出力された信号は第３の遅延手段２２３に入力される。また、ブロック信号生成手段２２４には４ライン分の走査線信号として、入力映像信号、第１の遅延手段２２１から出力された信号、第２の遅延手段２２２から出力された信号、及び第３の遅延手段２２３から出力された信号が入力される。図２６は、入力映像信号および第１から第３の遅延手段２２１〜２２３から出力された信号における画素を模式的に示した図である。
【００１３】
図において、第１の走査線Ａは第３の遅延手段２２３から出力された走査線であり、走査線方向に画素Ａ０、Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７、Ａ８と順に並び、走査線を形成している。同様に、第２の走査線Ｂは第２の遅延手段２２２から出力された走査線であり、走査線方向に画素Ｂ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７、Ｂ８と順に並び走査線を形成し、第３の走査線Ｃは第１の遅延手段２２１から出力された走査線であり、走査線方向に画素Ｃ０、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８と順に並び走査線を形成し、第４の走査線Ｄは入力映像信号であり走査線方向に画素Ｄ０、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｄ７、Ｄ８と順に並び走査線を形成している。
【００１４】
図２６において、隣接する走査線Ｂ、Ｃの間に補間走査線Ｐを作成する場合を考える。走査線Ｂ上の画素Ｂ４と走査線Ｃ上の画素Ｃ４との間に補間画素Ｐ４を生成する場合、まずブロック信号生成手段２２４は、走査線Ｂ上にある画素を画素Ｂ４を中心に両側３個毎、つまり画素Ｂ１からＢ７を選択する。同様に、画素Ｃ４を中心に走査線Ｃ上にある画素Ｃ１からＣ７を抽出する。
次に、補間画素Ｐ４を中心として点対称の位置関係にある走査線Ｂ上、及び走査線Ｃ上の画素をＢ１−Ｃ７、Ｂ２−Ｃ６、Ｂ３−Ｃ５、Ｂ４−Ｃ４、Ｂ５−Ｃ３、Ｂ６−Ｃ２、Ｂ７−Ｃ１の対として選択し、選択された一方の画素を中心に、走査線方向に３画素、走査線直交方向に３画素を抽出し、抽出された画素で構成される２つの領域３０１、３０２を作成する。なお、図２６には、画素Ｂ５と画素Ｃ３が選択され、領域３０１は画素Ｂ５を中心として画素Ａ４、Ａ５、Ａ６、画素Ｂ４、Ｂ５、Ｂ６および画素Ｃ４、Ｃ５、Ｃ６で構成され、領域３０２は画素Ｃ３を中心として画素Ｂ２、Ｂ３、Ｂ４、画素Ｃ２、Ｃ３、Ｃ４および画素Ｄ２、Ｄ３、Ｄ４で構成された場合を示している。
【００１５】
さらに、領域３０１、および領域３０２を構成する各画素に対して、各領域のの画素を中心として、各画素の信号に対し所定の係数を乗ずるフィルタリング処理を行い、各領域の走査線方向および走査線直交方向の低周波成分を抽出し、上記係数を乗じた画素信号を累積加算する処理を行う。この領域特定、フィルタリング処理および加算処理を、上記選択した画素ごとに行い、加算処理後の値をブロック信号Ｂ１ｂ、Ｂ２ｂ、Ｂ３ｂ、Ｂ４ｂ、Ｂ５ｂ、Ｂ６ｂ、Ｂ７ｂ、及びＣ１ｂ、Ｃ２ｂ、Ｃ３ｂ、Ｃ４ｂ、Ｃ５ｂ、Ｃ６ｂ、Ｃ７ｂ、Ｃ８ｂとして出力する。
【００１６】
例えば、画素Ｂ５を中心とした領域３０１において、画素Ｂ５の信号Ｂ(5)に対して１／４、画素Ａ５、画素Ｂ４、画素Ｂ６及び画素Ｃ５の信号Ａ(5)、Ｂ(4)、Ｂ(6)、及びＣ(5)に対して１／８、画素Ａ４、画素Ａ６、画素Ｃ４、及び画素Ｃ６の信号Ａ(4)、Ａ(6)、Ｃ(4)、及びＣ(6)に対して１／１６と各々所定係数を定め、ブロック信号Ｂ５ｂを
Ｂ５ｂ＝（Ａ(4)／１６）＋（Ａ(5)／８）＋（Ａ(6)／１６）＋（Ｂ(4)／８）＋（Ｂ(5)／４）＋（Ｂ(6)／８）＋（Ｃ(4)／１６）＋（Ｃ(5)／８）＋（Ｃ(6)／１６）
なる計算式から得る。
【００１７】
同様に、画素Ｃ３を中心とした領域３０２において、画素Ｃ３の信号Ｃ(3)に対して１／４、画素Ｂ３、画素Ｃ２、画素Ｃ４及び画素Ｄ３の信号Ｂ(3)、Ｃ(2)、Ｃ(4)及びＤ(3)に対して１／８、画素Ｂ２、画素Ｂ４、画素Ｄ２、及び画素Ｄ４の信号Ｂ(2)、Ｂ(4)、Ｄ(2)及びＤ(4)に対して１／１６と各々所定係数を定め、ブロック信号Ｃ３ｂを
Ｃ３ｂ＝（Ｂ(2)／１６）＋（Ｂ(3)／８）＋（Ｂ(4)／１６）＋（Ｃ(2)／８）＋（Ｃ(3)／４）＋（Ｃ(4)／８）＋（Ｄ(2)／１６）＋（Ｄ(3)／８）＋（Ｄ(4)／１６）
なる計算式から得る。
【００１８】
相関検出手段２２５は、ブロック信号生成手段２２４から出力されるブロック信号について、各画素対毎にその差分の絶対値を求め、差分の絶対値が最も小さい画素対を最も相関性の高い画素対であるとして、その画素対の位置を示す検出信号を補間手段２２６へと出力する。即ち、｜Ｂ１ｂ−Ｃ７ｂ｜、｜Ｂ２ｂ−Ｃ６ｂ｜、｜Ｂ３ｂ−Ｃ５ｂ｜、｜Ｂ４ｂ−Ｃ４ｂ｜、｜Ｂ５ｂ−Ｃ３ｂ｜、｜Ｂ６ｂ−Ｃ２ｂ｜、及び｜Ｂ７ｂ−Ｃ１ｂ｜の値を比較し、最も値の低い画素対を検出する。
【００１９】
補間手段２２６には、１Ｈ遅延手段２２１、２２２による走査線Ｂ、走査線Ｃの信号が入力され、相関検出手段２２５からの検出信号に基づき補間のための画素対を選択し、その画素の信号を加算し、利得を１／２とすることで補間画素Ｐ４を生成して出力する。
【００２０】
図２６に示す補間画素Ｐ４に対し最も相関性が高い画素対は、走査線Ｂ上の画素Ｂ５と走査線Ｃ上の画素Ｃ３の画素対であり、相関検出手段２２５は画素Ｂ５と画素Ｃ３を選択する検出信号を補間手段２２６に出力する。
したがって、画素Ｂ５−画素Ｐ４−画素Ｃ３と結ぶ直線が生成されるので、補間信号による境界線のボケやガタツキは発生せず、良好な補間を行うことができる。
【００２１】
【発明が解決しようとする課題】
しかし、実際の画像には、図２７に示すような幅の狭い線、すなわち、いわゆる細線がある場合がある。このような画像に対し、図２４に示す従来のライン平均走査線補間装置を用いると、補間画素Ｐ４の信号は、走査線Ｂ上の画素Ｂ４の信号Ｂ(4)と走査線Ｃ上の画素Ｃ４の信号Ｃ(4)との平均値により求められるので、画素Ｂ６−画素Ｐ４−画素Ｃ１を結ぶ線は画素Ｙで断線してしまう。その結果、斜め方向解像度が劣化し、境界線の切断やボケ、ガタツキが生じるという問題点がある。
【００２２】
また、同様に、図２７に示すような画像に対し、図２５に示す相関性の高い斜め方向の画素対を求めて補間信号を生成する走査線補間装置を用いると、相関性が高い方向を見出すことができず、補間信号を生成できない。即ち、図２５に示す走査線補間装置では、画素対Ｂ４−Ｃ４、Ｂ２−Ｃ６、及びＢ１−Ｃ７におけるブロック信号の絶対値が等しくなるので相関性も等しいと判断され相関性評価ができなくなるので、補間する画素対の方向を特定できない。
【００２３】
したがって、従来の相関性の高い斜め方向の画素により補間を行う走査線補間装置は、細線については良好な走査線補間を行うことができず、境界線の切断やボケ、ガタツキが生じたり、補間画素の相関方向を特定できないという問題点があった。
【００２４】
本発明は上記のような問題点に鑑みなされたもので、細線に対しても境界線の切断やボケ、ガタツキが生じることなく、良好な走査線補間を行うことができる走査線補間装置および走査線補間方法の提供を目的とする。
【００２５】
【課題を解決するための手段】
本発明に係わる走査線補間装置は、
映像信号の走査線の間を補間する補間走査線を生成する走査線補間装置であって、
上記補間走査線上の補間画素の位置を中心として、上記補間走査線に隣接する走査線上の点対称の位置にある画素を第１の画素対として２組以上選択し、当該第１の画素対における画素と走査線直交方向に隣接する画素を、上記第１の画素対における画素間を結ぶ直線と同一の方向に第２の画素対として選択し、上記第１の画素対における画素間の信号の差分絶対値と、上記第２の画素対における画素間の信号の差分絶対値の和を算出し、この差分絶対値の和の大きさに基づいて、相関性が高い第１の画素対の方向を選択し、該選択された方向を、相関性が高い補間方向の候補として出力する相関方向検出手段と、
上記第１の画素対における一方の画素と、該一方の画素と走査線直交方向に隣接する上記第２の画素対における画素の組と、上記第１の画素対における他方の画素と、該他方の画素と走査線直交方向に隣接する第２の画素対における画素の組を第３の画素対として選択し、
当該第３の画素対における画素の信号の差分を算出し、
算出された第３の画素対における差分が全て第１の所定の値より大きく、
上記第１の画素対における一方の画素とその画素に対して走査線直交方向の一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における上記一方の画素とその画素に対して走査線直交方向の他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互いに不一致であり、
上記第１の画素対における他方の画素とその画素に対して走査線直交方向の一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における上記他方の画素とその画素に対して走査線直交方向の他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互いに不一致であり、かつ
上記第１の画素対における一方の画素とその画素に対して走査線直交方向の一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における他方の画素とその画素に対して走査線直交方向の上記一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互いに一致し、
上記第１の画素対における上記一方の画素とその画素に対して走査線直交方向の他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における上記他方の画素とその画素に対して走査線直交方向の上記他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互い一致する
と判定された場合に、上記第１の画素対における方向に細線が存在することを検出し、検出結果を出力する細線検出手段と、
上記第２の画素対における画素であって、互いに走査線直交方向に隣接する画素の組を第４の画素対として選択し、
上記第２の画素対における画素間の信号の差分と、
当該第４の画素対における画素間の信号の差分と、
上記補間画素と走査線直交方向に隣接する画素間の信号の差分とを算出し、
上記第２の画素対における画素間の信号の差分が第２の所定の値より小さく、
当該第４の画素対における画素間の信号の差分の符号と、上記補間画素と走査線直交方向に隣接する画素間の信号の差分の符号が互いに一致し、
当該第４の画素対における画素間の信号の差分と、上記補間画素と走査線直交方向に隣接する画素間の信号の差分のうちの最大値と最小値の差が第３の所定の値より小さく、かつ、最小値が第４の所定の値より大きい
場合に、上記第１の画素対における方向に斜め方向のエッジが存在することを検出し、検出結果を出力するエッジ検出手段と、
上記相関方向検出手段から出力される補間方向の候補に対し、上記細線検出手段により細線を検出されるか、または上記エッジ検出手段により斜め方向のエッジが検出された場合、上記補間方向の候補を補間方向と決定する相関方向決定手段とを備え、
当該補間方向に基づき上記補間画素の信号を決定し、上記補間走査線を生成することとしたものである。
【００２６】
【発明の実施の形態】
本発明に係わる走査線補間装置は、まず、相関方向検出手段により補間画素を点対称の中心とした複数の方向の中から相関性の高い方向を選択し、その相関方向を画素信号Ｐ(0)を生成するための補間方向の候補として出力する。
出力された補間方向に従い、補間画素が細線上にあるのか、図形のエッジ上にあるのかを細線検出手段、及びエッジ検出手段により検出し、検出結果を相関方向決定手段に出力する。
相関方向決定手段は、検出結果に従い、必要であれば相関方向の候補を補正する。
相関方向決定手段から出力された相関方向の候補に従い、相関方向補間手段は補間方向を決定し、補間画素の画素信号を生成し、補間画素信号を出力する。
なお、相関方向決定手段から出力された相関方向を一旦、孤立方向補正手段に入力し、隣接する画素における方向と比較し、必要であれば方向の補正をしてもよい。
以下、本発明に係わる走査線補間装置を図を用いて説明する。
【００２７】
実施の形態１．
図１に本発明の走査線補間装置の一実施形態の構成を示す。
本実施の形態に係る走査線補間装置は、差分絶対値算出手段４、相関値算出手段５、平均値算出手段６、及び最小相関値方向選択手段７からなる相関方向検出手段１３により相関方向の候補を定め、相関方向決定手段１０において相関方向検出手段１３、細線検出手段８、及びエッジ検出手段９の出力から最終的な相関方向の候補を定め、さらに孤立方向補正手段１１で周囲との整合を取った後、相関方向補間手段１２により相関方向を決定し、補間信号を出力する。
【００２８】
図１において、入力端子２００から入力されたインターレース方式の映像信号は、入力映像信号を１Ｈ分遅延する機能を有する第１の遅延手段１、差分絶対値算出手段４、細線検出手段８、及びエッジ検出手段９に入力される。第１の遅延手段１から出力された信号は、第１の遅延手段１と同様の機能を有する第２の遅延手段２、差分絶対値算出手段４、細線検出手段８、エッジ検出手段９、及び相関方向補間手段１２に入力される。同様に、第２の遅延手段２から出力された信号は、第１の遅延手段１と同様の機能を有する第３の遅延手段３、差分絶対値算出手段４、細線検出手段８、エッジ検出手段９、及び相関方向補間手段１２に入力される。第３の遅延手段３から出力された信号は、差分絶対値算出手段４、細線検出手段８、及びエッジ検出手段９に入力される。
【００２９】
次に相関方向検出手段１３における各手段の機能について説明する。
差分絶対値算出手段４は、入力映像信号、及び第１から第３の遅延手段から出力された信号を受け取り、補間走査線上の補間画素の位置を中心として、点対称の位置にある隣接走査線上の画素を第１の画素対として２組以上選択し、各組における画素間の信号の差分絶対値を算出する。また、第１の画素対における画素と走査線直交方向に隣接する画素を、第１の画素対における画素間を結ぶ直線と同一の方向に第２の画素対として選択し、第２の画素対における画素間の差分絶対値を算出する。そして、それら差分絶対値を相関値算出手段５に出力する。
【００３０】
相関値算出手段５は、差分絶対値算出手段４の出力から同じ方向における第１の画素対における画素間の差分絶対値と第２の画素対における画素間の差分絶対値とを選択し、各方向における相関性を示す値（以下、相関値と呼ぶ）を算出し、平均値算出手段６及び最小相関値方向選択手段７に出力する。平均値算出手段６は、相関値算出手段５の出力である相関値から所定の領域における相関性を検出し、その結果を最小相関値方向選択手段７に出力する。最小相関値方向選択手段７は、相関値算出手段５の出力である相関値と、平均値算出手段６の出力結果から、最も相関性が高い方向（以下、相関方向と呼ぶ）を補間方向の候補として選択する。
【００３１】
次に細線検出手段８の機能について説明する。細線検出手段８は、入力映像信号、及び第１から第３の遅延手段の出力された信号を受取り、各方向における細線の存在を検出し、その検出結果を相関方向決定手段１０に出力する。
さらにエッジ検出手段９は、入力映像信号、及び第１から第３の遅延手段から出力された信号を受取り、各方向における図形のエッジの存在を検出し、その検出結果を相関方向決定手段１０に出力する。すなわちエッジ検出手段９は、細線検出手段８が検出する細線より面積の大きい図形の境界を検出することを目的としている。
【００３２】
相関方向決定手段１０は、細線検出手段８、エッジ検出手段９からの結果に基づき、相関方向検出手段１３からの相関方向を補正して、その結果を孤立方向補正手段１１に出力する。孤立方向補正手段１１は、補間画素における相関方向と、その補間画素に隣接する補間画素の相関方向を比較し、孤立した方向を除去し、その結果を相関方向補間手段１２に出力する。相関方向補間手段１２は孤立方向補正手段１１からの相関方向に基づき、補間画素の信号を最終的に決定し、補間信号を出力する。
【００３３】
図２は、入力映像信号、第１の遅延手段１、第２の遅延手段２、及び第３の遅延手段３から出力された信号おける画素を模式的に示した図である。第１の走査線Ａは、第３の遅延手段３から出力された信号により構成された走査線であり、第２の走査線Ｂは、第２の遅延手段２から出力された信号により構成された走査線であり、第３の走査線Ｃは、第１の遅延手段１から出力された信号により構成された走査線であり、第４の走査線Ｄは、入力映像信号により構成された走査線である。
【００３４】
図において、隣接する走査線Ｂ及び走査線Ｃとの間に、補間走査線Ｐを生成する場合について説明する。補間走査線Ｐ上の補間画素Ｐ０の信号Ｐ(0)とすると、補間画素に走査線直交方向に隣接し走査線Ｂ上にある画素Ｂ０の信号をＢ(0)、補間画素に走査線直交方向に隣接し走査線Ｃ上にある画素Ｃ０の信号をＣ(0)とする。
【００３５】
そして、画素Ｂ０に隣接し走査線走査方向にある画素Ｂ１の信号をＢ(1)とし、画素Ｂ１に走査線方向に隣接する画素Ｂ２の信号をＢ(2)とする。このように、画素Ｂ０から順に走査線走査方向に隣接する画素の位置と信号とを、正の整数を用いて表す。一方、画素Ｂ０に隣接し走査線方向とは逆方向にある画素Ｂ-1の信号をＢ(-1)とし、画素Ｂ-1に走査線方向とは逆方向に隣接する画素Ｂ-2の信号をＢ(-2)とする。このように画素Ｂ０から順に走査線方向とは逆の方向に隣接する画素の位置と信号とを、負の整数を用いて表す。従って、走査線Ｂ上の画素の信号は、画素Ｂ(0)から走査線方向にＢ(1)、Ｂ(2)、Ｂ(3)、・・・と並び、画素Ｂ０から走査線方向とは逆方向にＢ(-1)、Ｂ(-2)、Ｂ(-3)、・・・と並ぶ。
走査線Ｃ上の画素の位置と信号も走査線Ｂと同様に、補間画素Ｐ０に隣接する画素Ｃ０から走査線方向に画素の信号がＣ(1)、Ｃ(2)、Ｃ(3)、・・・と並び、画素Ｃ０から走査線方向とは逆方向にＣ(-1)、Ｃ(-2)、Ｃ(-3)、・・・と並ぶ。
【００３６】
また、補間画素Ｐ(0)を中心として点対称の位置にある画素Ｂaと画素Ｃ-aとを結ぶ直線の方向を方向ａと定める（ａは整数）。即ち、画素Ｐを通り、画素Ｂ０と画素Ｃ０とを結ぶ直線の方向は方向０、画素Ｐ０を通り画素Ｂ１と画素Ｃ-1とを結ぶ直線の方向は方向１、画素Ｐ０を通り画素Ｂ２と画素Ｃ-2とを結ぶ直線の方向は方向２となる。一方、画素Ｐ０を通り画素Ｂ-1と画素Ｃ１とを結ぶ直線の方向は方向−１、画素Ｐ０を通り画素Ｂ-2と画素Ｃ２とを結ぶ直線の方向は方向−２となる。図２には、方向−５から方向５までを示している。
【００３７】
＜相関方向検出手段＞
図１に示した走査線補間装置では、相関方向検出手段１３から出力された相関方向が、補間画素を生成する際の補間方向の最有力候補となる。
まず、相関方向検出手段１３における各手段の動作について、詳細に説明する。
【００３８】
＜差分絶対値算出手段＞
差分絶対値算出手段４で算出された差分絶対値は、相関方向検出手段１３における各手段にて、相関方向の候補を決定するために用いられる。
差分絶対値算出手段４では、まず、補間画素Ｐ０を中心としたそれぞれの方向に対して、走査線Ｂ上、Ｃ上に存在する各方向の画素を第１の画素対として選択し、第１の画素対における画素間の信号の差分絶対値を算出するとともに、第１の画素対における画素と走査線直交方向に隣接する画素を、第１の画素対における画素間を結んだ直線と同一の方向に第２の画素対として選択し、第２の画素対における画素間の信号の差分絶対値も算出する。
ここで、差分絶対値の大きさは、各画素間における信号値の近さを示す。即ち、差分絶対値が小さい場合は、画素間の信号の差が小さいので、画素対の相関性が高い。一方、差分絶対値が大きい場合は、画素間の信号の差が大きいので、画素対の相関性が小さいといえる。
【００３９】
例えば、方向−５の場合について図３に示す。まず、走査線Ｂ上の画素Ｂ-5と走査線Ｃ上の画素Ｃ５とを抽出し、画素Ｂ-5の信号Ｂ(-5)と画素Ｃ５の信号Ｃ(5)との差分絶対値Ｌ２(-5)を算出する。従って、Ｌ２(-5)はＢ(-5)とＣ(5)とを用いて第１の差分絶対値をＬ２(-5)＝｜Ｂ(-5)−Ｃ(5)｜と表すことができる。そして、画素Ｂ-5に走査線直交方向に隣接し走査線Ａ上にある画素Ａ-5、画素Ｂ-5に走査線直交方向に隣接し隣接し走査線Ｃ上にある画素Ｃ-5、画素Ｃ５に走査線直交方向に隣接し走査線Ｂ上にある画素Ｂ５、及び画素Ｃ５に走査線直交方向に隣接し走査線Ｄ上にある画素Ｄ５の各画素を抽出する。さらに、これら画素に対応する信号Ａ(-5)、Ｃ(-5)、Ｂ(5)、及びＤ(5)を、各画素対における画素間を直線で結ぶ場合、画素Ｂ-5と画素Ｃ５とを結ぶ直線と平行なるように、第２の画素対として選択し組み分けする。従って、画素Ａ-5と画素Ｂ５との画素対、画素Ｃ-5と画素Ｄ５との画素対の２組に分けて選択することになる。最後に、第２の差分絶対値Ｌ１(-5)＝｜Ａ(-5)−Ｂ(5)｜、Ｌ３(-5)＝｜Ｃ(-5)−Ｄ(5)｜を算出する。
【００４０】
方向−４の場合も、方向−５の場合と同様となる。即ち、まず、走査線Ｂ上の画素Ｂ-4と走査線Ｃ上の画素Ｃ４とを抽出し、画素Ｂ-4に対応する信号Ｂ(-4)の信号と画素Ｃ４に対応する信号Ｃ(4)との差分絶対値Ｌ２(-4)を算出する。従って、Ｌ２(-4)はＢ(-4)とＣ(4)とを用いて、第１の差分絶対値をＬ２(-4)＝｜Ｂ(-4)−Ｃ(4)｜と表すことができる。そして、画素Ｂ-4に隣接し走査線Ａ上にある画素Ａ-4、画素Ｂ-4に隣接し走査線Ｃ上にある画素Ｃ-4、画素Ｃ４に隣接し走査線Ｂ上にある画素Ｂ４、及び画素Ｃ４に隣接し走査線Ｄ上にある画素Ｄ４を抽出する。さらに、これらの画素に対応する信号Ａ(-4)、Ｃ(-4)、Ｂ(4)、及びＤ(4)を、各画素対における画素間を直線で結ぶ場合、画素Ｂ-4と画素Ｃ４とを結ぶ直線と平行なるように、選択し組み分けする。従って、画素Ａ-4と画素Ｂ４との画素対、画素Ｃ-4と画素Ｄ４との画素対の２組に分けて選択することになる。最後に、第２の差分絶対値Ｌ１(-4)＝｜Ａ(-4)−Ｂ(4)｜、Ｌ３(-4)＝｜Ｃ(-4)−Ｄ(4)｜を算出する。
【００４１】
同様の手順により、方向−３に対しては、画素信号Ａ(-3)、Ｂ(-3)、Ｃ(-3)、Ｂ(3)、Ｃ(3)、及びＤ(3)を用いて第１及び第２の差分絶対値Ｌ１(-3)、Ｌ２(-3)、及びＬ３(-3)を、Ｌ１(-3)＝｜Ａ(-3)−Ｂ(3)｜、Ｌ２(-3)＝｜Ｂ(-3)−Ｃ(3)｜、Ｌ３(-3)＝｜Ｃ(-3)−Ｄ(3)｜と算出し、方向−２に対しては、画素信号Ａ(-2)、Ｂ(-2)、Ｃ(-2)、Ｂ(2)、Ｃ(2)、及びＤ(2)を用いて第１及び第２の差分絶対値Ｌ１(-2)、Ｌ２(-2)、及びＬ３(-2)を、Ｌ１(-2)＝｜Ａ(-2)−Ｂ(2)｜、Ｌ２(-2)＝｜Ｂ(-2)−Ｃ(2)｜、Ｌ３(-2)＝｜Ｃ(-2)−Ｄ(2)｜と算出し、方向−１に対しては、画素信号Ａ(-1)、Ｂ(-1)、Ｃ(-1)、Ｂ(1)、Ｃ(1)、及びＤ(1)を用いて第１及び第２の差分絶対値Ｌ１(-1)、Ｌ２(-1)、及びＬ３(-1)を、Ｌ１(-1)＝｜Ａ(-1)−Ｂ(1)｜、Ｌ２(-1)＝｜Ｂ(-1)−Ｃ(1)｜、Ｌ３(-1)＝｜Ｃ(-1)−Ｄ(1)｜をそれぞれ算出する。
【００４２】
また、方向５の場合について図４に示す。この場合も差分絶対値Ｒ１(5)、Ｒ２(5)、及びＲ３(5)を算出する手順は、上記で説明した手順と同様である。
まず、走査線Ｂ上の画素Ｂ５と走査線Ｃ上の画素Ｃ-5とを抽出し、画素Ｂ５の信号Ｂ(5)と画素Ｃ-5の信号Ｃ(-5)との差分絶対値Ｒ２(5)を算出する。従って、Ｒ２(5)はＢ(5)とＣ(-5)とを用いて、第１の差分絶対値をＲ２(5)＝｜Ｂ(5)−Ｃ(-5)｜と表すことができる。そして、画素Ｂ５に隣接し走査線Ａ上にある画素Ａ５、画素Ｂ５に隣接し走査線Ｃ上にある画素Ｃ５、画素Ｃ-5に隣接し走査線Ｂ上にある画素Ｂ-5、及び画素Ｃ-5に隣接し走査線Ｄ上にある画素Ｄ-5の画素を抽出する。さらに、これら画素に対応する信号Ａ(5)、Ｃ(5)、Ｂ(-5)、及びＤ(-5)を、各画素対における画素間を直線で結ぶ場合、画素Ｂ５と画素Ｃ-5とを結ぶ直線と平行なるように、選択し組み分けする。従って、画素Ａ５と画素Ｂ-5との画素対、画素Ｃ５と画素Ｄ-5との画素対の２組に分けて選択することになる。最後に、第２の差分絶対値Ｒ１(5)＝｜Ａ(5)−Ｂ(-5)｜、Ｒ３(5)＝｜Ｃ(5)−Ｄ(-5)｜を算出する。
【００４３】
同様に、各方向ごとに、方向４の場合における差分絶対値Ｒ１(4)、Ｒ２(4)、及びＲ３(4)、方向３の場合における第１及び第２の差分絶対値Ｒ１(3)、Ｒ２(3)、及びＲ３(3)、方向２の場合における第１及び第２の差分絶対値Ｒ１(2)、Ｒ２(2)、及びＲ３(2)、方向１の場合における第１及び第２の差分絶対値Ｒ１(1)、Ｒ２(1)、及びＲ３(1)をそれぞれ算出する。
【００４４】
図５〜７は差分絶対値算出手段４の一構成例を示すブロック図であり、２１ａ〜２１ｋ、２２ａ〜２２ｋ、２３ａ〜２３ｋ、２４ａ〜２４ｋは１画素分（以下、「１Ｄ」と言う。）の信号を遅延する１Ｄ遅延手段、３１ａ〜３１ｅ、３１ｇ〜３１ｋ、３２ａ〜３２ｅ、３３ｇ〜３３ｋ、３３ａ〜３３ｅ、３３ｇ〜３３ｋは差分算出手段、４１、４２および４３は絶対値算出手段であり、図５〜図７における同一の符号は同一の要素を示す。
【００４５】
入力映像信号及び、第１から第３の１Ｈ遅延手段１〜３からの信号は、それぞれ走査線Ｄ、Ｃ、Ｂ、Ａの信号として入力され、１Ｄ遅延手段により遅延されることで、図２に示すような画素の信号を得る。各画素の信号は、それぞれの方向に対応する画素の対の差分値を得るため、差分算出手段３１ａ〜３１ｅ、３１ｇ〜３１ｋ、３２ａ〜３２ｅ、３３ｇ〜３３ｋ、３３ａ〜３３ｅ、３３ｇ〜３３ｋへと入力され、減算後の差分絶対値は絶対値算出手段４１〜４３で求められ、その値が出力される。
【００４６】
＜相関値算出手段＞
相関値算出手段５は、差分絶対値算出手段４から第１及び第２の差分絶対値Ｌ１(-5)〜Ｌ１(-1)、Ｌ２(-5)〜Ｌ２(-1)、Ｌ３(-5)〜Ｌ３(-1)、Ｒ１(5)〜Ｒ１(1)、Ｒ２(5)〜Ｒ２(1)、及びＲ３(5)〜Ｒ３(1)が入力され、これらの差分絶対値を用い、各方向における差分絶対値を加算した相関値を算出する。
上記で説明したように、差分絶対値は選択された画素対における画素間の信号値の近さを示し、差分絶対値が小さい場合は、画素対の相関性が高く、差分絶対値が大きい場合は、画素対の相関性が小さいといえる。従って、同一方向における差分絶対値を加算した相関値は、値が大きければその方向における相関性が低く、値が小さければ相関性が高い。
【００４７】
図８は、相関値算出手段５の一構成例を示すブロック図であり、５１ａ〜５１ｅおよび５１ｇ〜５１ｋは、各方向における画素対から算出された第１及び第２の差分絶対値を加算する加算手段である。
加算手段５１ａ〜５１ｅは、各方向ａ（ａは負の数）における第１及び第２の差分絶対値Ｌ１(a)、Ｌ２(a)、及びＬ３(a)を加算した相関値ＬＵ(a)＝Ｌ１(a)＋Ｌ２(a)＋Ｌ３(a)を算出する。同様に、加算手段は、各方向ａ（ａは正の数）における第１及び第２の差分絶対値Ｒ１(a)、Ｒ２(a)、及びＲ３(a)を加算した相関値ＲＵ(a)＝Ｒ１(a)＋Ｒ２(a)＋Ｒ３(a)を算出する。この相関値ＬＵ(a)及びＲＵ(a)は、方向ａにおける相関性を示す値である。
【００４８】
＜平均値値算出手段＞
平均値算出手段６は、相関値算出手段５から入力された相関値ＬＵ(-5)からＬＵ(-1)及び相関値ＲＵ(1)からＲＵ(5)を用いて、隣接する方向を考慮した相関性を算出する。隣接する方向を考慮した相関性を算出することにより、全体の傾向を考慮した相関方向を検出でき、誤検出が減る。
【００４９】
平均値算出手段６は、方向−５、−４、及び−３からなる第１の領域、方向−４、−３、及び−２からなる第２の領域、方向−３、−２、及び−１からなる第３の領域、並びに方向５、４、及び３からなる第４の領域、方向４、３、及び２からなる第５の領域、方向３、２、及び１からなる第６の領域の各領域において、相関値の平均値を算出し、最小相関値方向選択手段７に出力する。
【００５０】
図９は、平均値算出手段６の一構成例を示すブロック図であり、６１ａ〜６１ｃ及び６１ｄ〜６１ｆは、相関値の平均値を算出する平均値算出器である。第１の領域（方向−５、−４、−３）については、相関値ＬＵ(-5)、ＬＵ(-4)、及びＬＵ(-3)が平均値算出器６１ａに入力され、３方向での相関値の平均値ＬＵＡ１＝（ＬＵ(-5)＋ＬＵ(-4)＋ＬＵ(-3)）／３を算出する。同様に、第２の領域（方向−４、−３、−２）については、平均値算出器６１ｂが平均値ＬＵＡ２＝（ＬＵ(-4)＋ＬＵ(-3)＋ＬＵ(-2)）／３を算出し、第３の領域（−３、−２、−１）については、平均値算出器６１ｃが平均値ＬＵＡ３＝（ＬＵ(-3)＋ＬＵ(-2)＋ＬＵ(-1)）／３を算出する。
【００５１】
また、第４の領域（方向５、４、３）については、相関値ＲＵ(5)、ＲＵ(4)、及びＲＵ(3)が平均値算出器６１ｄに入力され、３方向での相関値の平均値ＲＵＡ４＝（ＲＵ(5)＋ＲＵ(4)＋ＲＵ(3)）／３を算出する。同様に、第５の領域（方向４、３、２）については、平均値算出器６１ｅが平均値ＲＵＡ５＝（ＲＵ(4)＋ＲＵ(3)＋ＲＵ(2)）／３算出し、第６の領域（３、２、１）については、平均値算出器６１ｆが平均値ＲＵＡ６＝（ＲＵ(3)＋ＲＵ(2)＋ＲＵ(1)）／３を算出する。
【００５２】
＜最小相関値方向選択手段＞
最小相関値方向選択手段７は、相関値算出手段５から入力された各方向における相関値ＬＵ(-5)〜ＬＵ(-1)、及び相関値ＲＵ(5)〜ＲＵ(1)、並びに平均値算出手段６から入力された第１から第６の領域における相関値の平均値ＬＵＡ１〜ＬＵＡ３、及び平均値ＲＵＡ４〜ＲＵＡ６を用いて相関方向を選択し、補間方向の候補として出力する。
【００５３】
まず、最小相関値方向選択手段７は、相関値の平均値が最小となる領域を選択する。そして、選択された領域内において最も小さい相関値を持つ方向を選択し、その方向を最も相関性が高い補間方向の候補として出力する。
即ち、相関値の平均が最小となる領域は、第１から第６の領域の中で最も相関性が高い方向の領域と考えることができ、さらにその領域内で最も相関値が小さい方向は、最も相関性が高い方向と考えられるからである。
【００５４】
図１０は、最小相関値方向選択手段７の一構成例を示すブロック図である。図において、７１ａ〜７１ｆは第１から第６の領域内での最小相関値を持つ方向を検出し、その方向を出力する最小相関値方向検出手段、７２は第１から第６の領域における相関値の平均値から、最小の平均値を持つ領域を選択する最小平均値選択手段、７３は最小平均値選択手段７２が選択した領域において、最も小さい相関値を持つ方向を選択し、その選択した方向を示す信号ｄｉｒ１を出力する相関方向選択手段である。
【００５５】
最小相関値方向検出手段７１ａ〜７１ｆには、第１から第６の領域内における各方向に対応した相関値ＬＵ(a)又はＲＵ(a)が入力され、各領域内で最小の相関値を持つ方向を検出し、その方向を出力する。
例えば、第１の領域（方向−５、−４、−３）については、最小相関値方向検出手段７１ａに各方向の相関値ＬＵ(-5)、ＬＵ(-4)、及びＬＵ(-3)が入力され、その中から最小の相関値を持つ方向を検出し、その方向を出力する。
【００５６】
同様に、第２の領域（方向−４、−３、−２）については、最小相関値方向検出手段７１ｂに相関値ＬＵ(-4)、ＬＵ(-3)、及びＬＵ(-2)が入力される。第３の領域（−３、−２、−１）については、最小相関値方向検出手段７１ｃに相関値ＬＵ(-3)、ＬＵ(-2)、ＬＵ(-1)が入力される。第４の領域（方向５、４、３）については、最小相関値方向検出手段７１ｄに相関値ＲＵ(5)、ＲＵ(4)、及びＲＵ(3)が入力され、第５の領域（方向４、３、２）については、最小相関値方向検出手段７１ｅに相関値ＲＵ(4)、ＲＵ(3)、及びＲＵ(2)が入力され、第６の領域（３、２、１）については、最小相関値方向検出手段７１ｆに相関値ＲＵ(3)、ＲＵ(2)、及びＲＵ(1)が入力される。そして、各最小相関値方向検出手段７１ｂから７１ｆにおいて、各領域内で最小の相関値を持つ方向が検出され、その方向を示す信号が出力される。
【００５７】
なお、各領域内で最小の相関値を持つ方向が２個以上ある場合は、方向０である走査線直交方向に近い方向を検出するものとする。また、方向を示す信号としては、図２で定義した正の値１〜５、負の値−１〜−５、又は垂直方向０のいずれかの値を出力する。
【００５８】
最小平均値選択手段７２は、第１から第６の領域における相関値の平均値ＬＵＡ１〜３、及び相関の平均値ＲＵＡ４〜６から最小値となる領域を選択し、選択された領域を示す信号ｄａｖｇを出力する。選択手順としては、平均値ＬＵＡ１〜３から最小の値となる平均値を抽出し、同様に平均値ＲＵＡ４〜６から最小の値となる領域を抽出し、さらに抽出された両者を比較してより平均値の小さい領域を選択する方法がある。
【００５９】
まず、第１の領域から第３の領域において、例えば平均値ＬＵＡ１が最小の場合、第１の領域が抽出されたことを示す信号ｄａｖｇ＝１を出力する。同様に、平均値ＬＵＡ２が最小の場合、第２の領域が抽出されたことを示す信号ｄａｖｇ＝２を出力する。一方、第４の領域から第６の領域において、例えば平均値ＲＵＡ１が最小の場合、第４の領域が抽出されたことを示す信号ｄａｖｇ＝４を出力する。
次に、抽出された両者の値を比較して、より平均値が小さい領域ａを選択し、信号ｄａｖｇ＝ａ（ａは整数）を出力する。なお、両者の値が同じである場合は、走査線直交方向である０を選択し、方向０が選択されたことを示す信号ｄａｖｇ＝０を出力する。
【００６０】
相関方向選択手段７３は、まず最小平均値選択手段７２において選択された領域ｄａｖｇに対応する最小相関値方向検出手段を特定する。そして、特定された最小相関値方向検出手段における領域内で最小の相関値を持つ方向を選択し、選択した方向を示す信号ｄｉｒ１を補間方向の候補として出力する。例えば、最小平均値選択手段７２が相関値の平均値が最小となる領域として第１の領域を選択した場合、最小平均値選択手段７２は信号ｄａｖｇ＝１を出力する。この信号ｄａｖｇ＝１に基づいて、相関方向選択手段７３は、最小相関値方向検出手段７１ａから出力された、第１の領域内における最小の相関値を持つ方向を出力する。例えば方向１が最小の相関値である場合、相関方向選択手段７３は相関方向ｄｉｒ１＝１を出力する。
【００６１】
同様に、最小平均値選択手段７２が相関値の平均値が最小となる領域として第２の領域を選択した場合、最小平均値選択手段７２は信号ｄａｖｇ＝２を出力する。この信号ｄａｖｇ＝２に基づいて、相関方向選択手段７３は、最小相関値方向検出手段７１ｂから出力された、第２の領域内における最小の相関値を持つ方向を選択する。以下同様に、最小平均値選択手段７２が選択した領域に基づき、最小相関値方向検出手段７１から最小の相関値をもつ領域を出力する。
なお、信号ｄａｖｇ＝０をである場合は、相関性の高い方向が走査線直交方向であるので、相関方向を方向ｄｉｒ１＝０として出力する。
【００６２】
以上の説明したように、相関方向検出手段１３は補間画素Ｐ０を点対称の中心とした１１の方向の中から相関性の高い方向を選択し、その相関方向を画素信号Ｐ(0)を生成するための補間方向の候補として決定する。
また、相関方向検出手段１３は必ず一方向の相関方向を検出するので、補間方向の候補がない事態を防止することができる。
【００６３】
＜細線検出手段＞
次に、相関方向検出手段１３において相関性が高いと判断された方向にはどのような図形が存在しているのかを細線検出手段８とエッジ検出手段９で判断する。特に、細線検出手段８の出力結果と相関方向検出手段１３の出力結果とから、細線の存在が検出可能となる。すなわち、細線検出手段８は上記で説明した相関方向検出手段１３とは関係無く独自に各方向における細線の有無を検出し、各方向ごとの検出結果を相関方向決定手段１０に出力する。相関方向決定手段１０において、相関方向検出手段１３から出力された相関性が高いと判断された方向と、細線検出手段８から出力されたその方向における細線の有無とを比較し、細線の有無を判断する。
また、相関方向検出手段１３は背景上にある画素対を相関性が高いと誤って検出している可能性があるので、相関方向検出手段１３の出力結果と細線検出手段８の出力結果とを比較することによりそのような誤検出を排除することも可能となる。
つまり、本実施の形態に係る発明において細線検出手段８を備えることにより、相関方向検出手段１３にて検出した方向が細線であるかを判断することが可能となる。
【００６４】
細線検出手段８の機能について例を用いて説明する。
例えば、図２における画素Ｂ-5と、画素Ｂ-5に走査線直交方向に隣接する画素Ａ-5、Ｃ-5の合計３画素を考える。幅が狭い細線が存在すると３画素の中間に位置する画素Ｂ-5のみが細線上にあり、その他の上下に位置する２つの画素Ａ-5、Ｃ-5は細線上にはない。従って、中間に位置する画素の信号Ｂ(-5)と上方向に隣接する画素の信号Ａ(-5)との差分値Ｂ(-5)−Ａ(-5)と、中間に位置する画素の信号Ｂ(-5)と下方向に隣接する画素の信号Ｃ(-5)との差分値Ｃ(-5)−Ｂ(-5)とを比較すると、両者の差分値は所定値より大きくなり、かつ両者の符号は反対となる。
【００６５】
同様に、画素Ｃ５と、画素Ｃ５に走査線直交方向に隣接する画素Ｂ５、Ｄ５の合計３画素を考える。この場合も幅が狭い細線が存在すると、差分値Ｃ(５)−Ｂ(５)と、差分値Ｄ(５)−Ｃ(５)とを比較すると、両者の差分値は所定値より大きくなり、かつ両者の符号は反対となる。
さらに、細線が方向−５に存在するとすれば、差分値Ｂ(-5)−Ａ(-5)とＣ(５)−Ｂ(５)とが同一符号となり、差分値Ｃ(-5)−Ｂ(-5)とＤ(５)−Ｃ(５)とが同一符号となる。
細線検出手段８は上記で説明した現象を検出し、細線の存在を検出する。
【００６６】
図１１及び図１２は、細線境界検出手段８の一構成例を示すブロック図である。図１１において、２１ａ〜２１ｋ、２２ａ〜２２ｋ、２３ａ〜２３ｋ、２４ａ〜２４ｋは１Ｄ遅延手段であり、図５〜７におけるものと同一である。８１ａ〜８１ｅ、８１ｇ〜８１ｋ、８２ａ〜８２ｅ、８２ｇ〜８２ｋ、８３ａ〜８３ｅ、８３ｇ〜８３ｋは画素間の信号の差分を算出する差分算出手段である。
図１２において、８４ａ〜８４ｅ、８４ｇ〜８４ｋは各方向毎に、走査線直交方向に隣接する画素の差分値を比較する比較手段である。
【００６７】
入力映像信号及び、第１から第３の１Ｈ遅延手段１〜３からの信号は、それぞれ走査線Ｄ、Ｃ、Ｂ、Ａの信号として細線境界手段８に入力され、１Ｄ遅延手段により遅延されることで、図２に示すような画素の信号を得る。各画素の信号は、走査線直交方向に対応する画素の対の差分値を得るため、差分算出手段８１ａ〜８１ｅ、８１ｇ〜８１ｋ、８２ａ〜８２ｅ、８２ｇ〜８２ｋ、８３ａ〜８３ｅ、８３ｇ〜８３ｋにそれぞれ入力される。
【００６８】
例えば、図３に示すように、方向−５である画素Ｂ-5と画素Ｃ５とが第１の画素対として選択された場合を考える。まず、画素Ｂ-5に隣接し走査線Ａ上にある画素Ａ-5、画素Ｂ-5に隣接し走査線Ｃ上にある画素Ｃ-5、画素Ｃ５に隣接し走査線Ｂ上にある画素Ｂ５、及び画素Ｃ５に隣接し走査線Ｄ上にある画素Ｄ５の各画素を抽出する。さらに、これら画素に対応する信号Ａ(-5)、Ｃ(-5)、Ｂ(5)、及びＤ(5)と、画素Ｂ-5に対応する信号Ｂ(-5)、画素Ｃ５に対応する信号Ｃ(5)から、走査線直交方向に隣接する画素を第３の画素対として選択し組み分けする。従って、画素Ａ-5と画素Ｂ-5との画素対、画素Ｂ-5と画Ｃ-5との画素対、画素Ｂ５と画素Ｃ５との画素対、及び画素Ｃ５と画素Ｄ５との画素対の合計４組に分けて選択することになる。最後に、それぞれの画素対に対応する信号の差分値ｔｌ１(-5)＝Ａ(-5)−Ｂ(-5)、ｔｌ２(-5)＝Ｂ(-5)−Ｃ(-5)、ｔｌ２(5)＝Ｂ(5)−Ｃ(5)、及びｔｌ３(5)＝Ｃ(5)−Ｄ(5)を算出する。
【００６９】
この場合、差分値ｔｌ１(-5)は図１１における差分算出手段８１ｋにより求められ、差分値ｔｌ２(-5)は差分算出手段８２ｋにより求められ、差分値ｔｌ２(5)は差分算出手段８２ａにより求められ、差分値ｔｌ３(5)は差分算出手段８３ａにより求められる。
【００７０】
同様に、方向−４である画素Ｂ-4と画素Ｃ４とが第１の画素対として選択された場合を考える。まず、走査線Ａ上にあり画素Ｂ-4に隣接する画素Ａ-4、走査線Ｃ上にあり画素Ｂ-4に隣接する画素Ｃ-4、走査線Ｂ上にあり画素Ｃ４に隣接する画素Ｂ４、及び走査線Ｄ上にあり画素Ｃ４に隣接する画素Ｄ４の画素をそれぞれ抽出する。さらに、これら画素に対応する信号Ａ(-4)、Ｃ(-4)、Ｂ(4)、及びＤ(4)と、画素Ｂ-4に対応する信号Ｂ(-4)、画素Ｃ４に対応する信号Ｃ(4)から、走査線直交方向に隣接する画素を第３の画素対として選択し組み分けする。従って、画素Ａ-4と画素Ｂ-4との画素対、画素Ｂ-4と画Ｃ-4との画素対、画素Ｂ４と画素Ｃ４との画素対、及び画素Ｃ４と画素Ｄ４との画素対の合計４組に分けて選択することになる。最後に、それぞれの画素に対応する信号の差分値ｔｌ１(-4)＝Ａ(-4)−Ｂ(-4)、ｔｌ２(-4)＝Ｂ(-4)−Ｃ(-4)、及びｔｌ２(4)＝Ｂ(4)−Ｃ(4)、及びｔｌ３(4)＝Ｃ(4)−Ｄ(4)を算出する。
【００７１】
この場合、差分値ｔｌ１(-4)は図１１における差分算出手段８１ｊにより求められ、差分値ｔｌ２(-4)は差分算出手段８２ｊにより求められ、差分値ｔｌ２(4)は差分算出手段８２ｂにより求められ、差分値ｔｌ３(4)は差分算出手段８３ｂにより求められる。
【００７２】
同様に、画素Ｂ-3と画素Ｃ３とを結ぶ方向−３において差分値ｔｌ１(-3)、ｔｌ２(-3)、ｔｌ２(3)及びｔｌ３(3)、画素Ｂ-2と画素Ｃ２とを結ぶ方向−２において差分値ｔｌ１(-2)、ｔｌ２(-2)、ｔｌ２(2)及びｔｌ３(2)、画素Ｂ-1と画素Ｃ１とを結ぶ方向−１において差分値ｔｌ１(-1)、ｔｌ２(-1)、ｔｌ２(1)及びｔｌ３(1)、画素Ｂ１と画素Ｃ-1とを結ぶ方向１において差分値ｔｌ１(1)、ｔｌ２(1)、ｔｌ２(-1)及びｔｌ３(-1)、画素Ｂ２と画素Ｃ-2とを結ぶ方向２において差分値ｔｌ１(2)、ｔｌ２(2)、ｔｌ２(-2)及びｔｌ３(-2)、画素Ｂ３と画素Ｃ-3とを結ぶ方向３において差分値ｔｌ１(3)、ｔｌ２(3)、ｔｌ２(-3)及びｔｌ３(-3)、画素Ｂ４と画素Ｃ-4とを結ぶ方向４において差分値ｔｌ１(4)、ｔｌ２(4)、ｔｌ２(-4)及びｔｌ３(-4)、画素Ｂ５と画素Ｃ-4とを結ぶ方向５において差分値ｔｌ１(5)、ｔｌ２(5)、ｔｌ２(-5)及びｔｌ３(-5)をそれぞれ算出する。
【００７３】
算出された差分値ｔｌ１(-5)からｔｌ(-1)、ｔｌ１(1)からｔｌ(5)、ｔｌ２(-5)からｔ２(-1)、ｔｌ２(1)からｔ２(5)、ｔｌ３(-5)からｔ３(-1)、ｔｌ３(1)からｔ３(5)は、図１２に示す比較手段８４ａ〜８４ｋにそれぞれ入力される。比較手段８４ａ〜８４ｋは、補間画素Ｐ０を中心として点対称の位置にある差分値が入力され、その差分値を所定値ＴＨａと比較し、さらに差分値間の符号を比較する。
【００７４】
例えば、図３に示す方向−５が選択された場合は、Ａ(-5)−Ｂ(-5)によって求められる差分値ｔｌ１(-5)、Ｂ(-5)−Ｃ(-5)によって求められる差分値ｔｌ２(-5)、Ｂ(5)−Ｃ(5)によって求められる差分値ｔｌ２(5)、及びＣ(5)−Ｄ(5)によって求められる差分値ｔｌ３(5)が、比較器８４ａに入力される。
比較手段８４ａは、まず、差分値ｔｌ１(-5)、ｔｌ２(-5)、ｔｌ２(5)、及びｔｌ３(5)をそれぞれ所定値ＴＨａと比較する。さらに、差分値ｔｌ１(-5)、ｔｌ２(-5)、ｔｌ２(5)、及びｔｌ３(5)の符号を判定する。
【００７５】
検出対象の細線は幅が狭い。従って、例えば画素Ａ-5と画素Ｃ-5との間に斜め線が存在する場合、画素Ｂ-5のみが線上にあり、画素Ａ-5及び画素Ｃ-5は線上にない状態となる。この場合、画素Ｂ-5の信号と画素Ａ-5及び画素Ｃ-5の信号とは大きく異なる値を示す。従って画素Ａ-5と画素Ｂ-5との信号の差分値ｔｌ１(-5)と、画素Ｂ-5と画素Ｃ-5との信号の差分値ｔｌ２(-5)は所定値ＴＨａより大きくなり、かつ、差分値ｔｌ１(-5)とｔｌ２(-5)の符号は反対になる。同様に、画素Ｂ５と画素Ｄ５との間に斜め線が存在する場合、画素Ｃ５の信号のみが画素Ｂ５及び画素Ｄ５の信号とは大きく異なる値を示す。従って画素Ｂ５と画素Ｃ５との信号の差分値ｔｌ２(5)と、画素Ｃ５と画素Ｄ５との信号の差分値ｔｌ３(5)は所定値ＴＨａより大きくなり、かつ、差分値ｔｌ２(5)とｔｌ３(5)の符号は反対になる。
【００７６】
以上より、図３における画素Ｂ-5と画素Ｃ５が細線上にあるとすると、差分値ｔｌ１(-5)、ｔｌ２(-5)、ｔｌ２(5)、及びｔｌ３(5)のすべてが所定値ＴＨａより大きく、かつ、差分値ｔｌ１(-5)の符号とｔｌ２(-5)の符号は反対となり、差分値ｔｌ２(5)の符号とｔｌ３(5)の符号は反対であり、さらに、差分値ｔｌ１(-5)の符号とｔｌ２(5)の符号が同一、差分値ｔｌ２(-5)の符号とｔｌ３(5)の符号が同一となる。この条件を全て満たすとき、方向−５に斜め線が存在するとして、フラグ信号ｔｈｆｌａｇ(-5)＝１を出力する。一方、該当しない条件が一つでもある場合は、方向−５に細線は存在しないとして、フラグ信号ｔｈｆｌａｇ(-5)＝０を出力する。
【００７７】
同様に、方向−４から−１に対し、比較手段８４ｂから８４ｅにおいて差分値と差分値符号を比較し、細線が存在するとして検出される場合は各々フラグ信号ｔｈｆｌａｇ(-a)＝１を出力し、線の存在しないと検出された場合はｔｈｆｌａｇ(-a)＝０を出力する（ａは整数）。
【００７８】
また、図４に示すように、画素Ｂ５と画素Ｃ-5を結ぶ方向５が選択された場合も上記場合と同様である。画素Ｃ-5に隣接する画素Ｂ-5、及び画素Ｄ-5、並びに画素Ｂ５に隣接する画素Ａ５、及び画素Ｃ５をそれぞれ抽出する。さらに、これら画素に対応する信号Ｂ(-5)、Ｄ(-5)、Ａ(5)、及びＣ(5)と、画素Ｂ5に対応する信号Ｂ(5)、画素Ｃ-５に対応する信号Ｃ(-5)を、画素Ｂ-5と画素Ｃ-5との画素対、画素Ｃ-5と画Ｄ-5との画素対、画素Ａ５と画素Ｂ５との画素対、及び画素Ｂ５と画素Ｃ５との画素対の合計４組に分けて選択することになる。最後に、それぞれの画素に対応する信号の差分値ｔｌ２(-5)＝Ｂ(-5)−Ｃ(-5)、ｔｌ３(-5)＝Ｃ(-5)−Ｄ(-5)、ｔｌ１(5)＝Ａ(5)−Ｂ(5)、及びｔｌ２(5)＝Ｂ(5)−Ｃ(5)を算出する。なお、ｔｌ２(-5)及びｔｌ２(5)は方向−５を算出した際に既に算出してある。
【００７９】
この場合、差分ｔｌ３(-5)は図１１における差分算出手段８３ｋにより求められ、差分ｔｌ１(5)は差分算出手段８１ｋにより求められる。
【００８０】
そして、差分値ｔｌ１(5)、ｔｌ２(5)、ｔｌ２(-5)、及びｔｌ３(-5)のすべてが所定値ＴＨａより大きく、かつ、差分値ｔｌ１(5)の符号とｔｌ２(5)の符号は反対であること、及び差分値ｔｌ２(-5)の符号とｔｌ３(-5)の符号は反対であり、さらに、差分値ｔｌ１(5)の符号とｔｌ２(-5)の符号が同一であり、差分値ｔｌ２(5)の符号とｔｌ３(-5)の符号が同一である場合、方向５に斜め線が存在するとして、フラグ信号ｔｈｆｌａｇ(5)＝１を出力する。該当しない条件がある場合は細線が存在しないとして、フラグ信号ｔｈｆｌａｇ(5)＝０を出力する。
【００８１】
同様に、画素Ｂ４と画素Ｃ-4を結ぶ方向４が選択された場合は、新たに差分値ｔｌ３(-4)＝Ｃ(-4)−Ｄ(-4)、及びｔｌ１(4)＝Ａ(4)−Ｂ(4)が算出され、画素Ｂ３と画素Ｃ-3を結ぶ方向３が選択された場合は、新たに差分値ｔｌ３(-3)＝Ｃ(-3)−Ｄ(-3)、及びｔｌ１(3)＝Ａ(3)−Ｂ(3)が算出され、画素Ｂ２と画素Ｃ-2を結ぶ方向２が選択された場合は、新たに差分値ｔｌ３(-2)＝Ｃ(-2)−Ｄ(-2)、及びｔｌ１(2)＝Ａ(2)−Ｂ(2)が算出され、画素Ｂ１と画素Ｃ-1を結ぶ方向１が選択された場合は、新たに差分値ｔｌ３(-1)＝Ｃ(-1)−Ｄ(-1)、及びｔｌ１(1)＝Ａ(1)−Ｂ(1)がそれぞれ算出される。
【００８２】
そして、新たに算出された差分値や既に算出された差分値が、図１２に示す比較手段８４ｇ〜８４ｋにそれぞれ入力される。各方向４から１に対し、比較手段８４ｇから８４ｋにおいて差分値と差分値符号を比較し、細線が存在するとして検出される場合は各々フラグ信号ｔｈｆｌａｇ(a)＝１を出力し、細線が存在しないと検出された場合はフラグ信号ｔｈｆｌａｇ(a)＝０を出力する（ａは整数）。
【００８３】
従って、方向−５から−１、及び方向５から１の合計１０方向についてフラグ信号ｔｈｆｌａｇ(a)が出力される。これらのフラグ信号ｔｈｆｌａｇ(a)は、後述する相関方向決定手段１０において必要となる。すなわち、相関方向決定手段１０において、相関方向検出手段１３から出力された補間方向の候補が細線であるか否かを判定するために、フラグ信号ｔｈｆｌａｇ(a)が用いられる。
【００８４】
＜エッジ検出手段＞
次にエッジ検出手段９の動作を説明する。上記で説明した細線検出手段８は、細線を検出することを目的としていたが、エッジ検出手段９は、細線よりは面積の大きい画像を検出することを目的としており、具体的には図形の境界線、すなわちエッジを検出する。
細線検出手段８において説明した通り、相関方向検出手段１３は背景上にある画素対を相関性が高いと誤って検出している可能性がある。したがって、そのような誤検出を排除するために、エッジ検出手段９により各方向のエッジの存在を検出し、後述する相関方向決定手段１０において相関方向とエッジの存在との整合をとり、補間方向を決定する。
なお、検出のために用いられる差分値は、第２の差分絶対値Ｌ１(a)とＬ３(ａ)、又はＲ１(a)とＲ３(ａ)、補間画素Ｐ０に走査線直交方向に隣接する画素Ｂ０と画素Ｃ０における信号Ｂ(0)、Ｃ(0)の差分値、及びＬ１(a)とＬ３(ａ)を算出する際に使用した画素を走査線直交方向に選択した第４の画素対における画素間の第４の差分値である。
【００８５】
図１３は、方向−５の場合におけるエッジ検出手段９の動作を説明するため図であり、図１５は、方向−５の場合におけるエッジ検出手段９の一構成例を示すブロック図である。図１５において、２１ａ〜２１ｋ、２２ａ〜２２ｋ、２３ａ〜２３ｋ、２４ａ〜２４ｋは１Ｄの信号を遅延する１Ｄ遅延手段であり、図５〜７におけるものと同一である。９１〜９５は差分算出手段、９６、９７は差分絶対値算出手段である。
【００８６】
方向−５の場合、まず、画素Ｂ-5、及び画素Ｃ５とが第１の画素対として選択される。そして、画素Ｂ-5に隣接し走査線Ａ上にある画素Ａ-5、画素Ｂ-5に隣接し走査線Ｃ上にある画素Ｃ-5、画素Ｃ５に隣接し走査線Ｂ上にある画素Ｂ５、及び画素Ｃ５に隣接し走査線Ｄ上にある画素Ｄ５の各画素を抽出する。さらに、これら画素に対応する信号Ａ(-5)、Ｃ(-5)、Ｂ(5)、及びＤ(5)を、各画素対における画素間を直線で結ぶ場合、画素Ｂ-5と画素Ｃ５とを結ぶ直線と平行なるように、第２の画素対として選択し組み分けする。従って、画素Ａ-5と画素Ｂ５との画素対、画素Ｃ-5と画素Ｄ５との画素対の２組に分けて選択することになる。最後に、第２の差分絶対値Ｌ１(-5)＝｜Ａ(-5)−Ｂ(5)｜、Ｌ３(-5)＝｜Ｃ(-5)−Ｄ(5)｜を算出する。なお、Ｌ１(-5)、Ｌ３(-5)は、差分絶対値算出手段４において算出した値を用いてもよい。
次に、第２の画素対における画素を走査線直交方向に第４の画素対として選択し、第４の画素対における画素間の信号の差分である第４の差分値ＬＴｒ(-5)＝Ａ(-5)−Ｃ(-5)、ＲＴｒ(-5)＝Ｂ(5)−Ｄ(5)を算出する。
最後に、補間画素Ｐ０に走査線直交方向に隣接する画素Ｂ０と画素Ｃ０との信号の差分値ＣＴｒ＝Ｂ(0)−Ｃ(0)を算出する。
【００８７】
差分値ＣＴｒ＝Ｂ(0)−Ｃ(0)を算出するのは図１５における差分算出手段９１、第４の差分値ＬＴｒ(-5)＝Ａ(-5)−Ｃ(-5)、ＲＴｒ(-5)＝Ｂ(5)−Ｄ(5)を算出するのは差分算出手段９２、９４である。また、第２の差分絶対値Ｌ１(-5)＝｜Ａ(-5)−Ｂ(5)｜、Ｌ３(-5)＝｜Ｃ(-5)−Ｄ(5)｜は、差分算出手段９３、９５及び差分絶対値算出手段９６、９７により算出される。
【００８８】
次に、得られたＬ１(-5)、Ｌ３(-5)、ＬＴｒ(-5)、ＲＴｒ(-5)、及びＣＴｒから、方向−５において図形のエッジが存在するか否かを検出する。
図１６は、方向ａ（ａは整数）において図形のエッジの検出を行うエッジ検出手段の一構成例を示すブロック図である。
図において、１０１は第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒから最大値を検出する最大値検出手段、１０２は第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒから最小値を検出する最小値検出手段、１０３は第４の差分値ＬＴｒ(a)、ＲＴｒ(a)と、差分値ＣＴｒとの符号の一致を判定する符号一致判定手段、１０４は最大値検出手段１０１により検出した最大値と、最小値検出手段１０２により検出した最小値との差分絶対値を求める差分絶対値演算手段、１０５は差分絶対値算出手段１０４により算出された値と所定値とを比較する比較手段ａ、１０６は最小値検出手段１０２により検出した最小値を所定値とを比較する比較手段ｂ、１０７は第２の差分絶対値Ｌ１(a)、Ｌ３(a)又はＲ１(a)、Ｒ３(a)を所定値と比較する比較手段ｃであり、１０８はエッジ検出を判定する判定手段である。
【００８９】
最大値検出手段１０１は、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒから最大値を検出し、検出した値を最大値ｎｍａｘとして出力する。
同様に最小値検出手段１０２は、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒから最小値を検出し、検出した値を最小値ｎｍｉｎとして出力する。
符号一致判定手段１０３は第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒの符号が同一か否かを判定する。
【００９０】
方向−５において図形のエッジがある場合は、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒの符号がすべて同一でなければならない。そこで、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒの符号がすべて同一である場合はフラグ信号ｆｄ３＝１を出力し、一つでも異なる符号の値がある場合はフラグ信号ｆｄ３＝０を出力する。
【００９１】
差分絶対値算出手段１０４は、最大値検出手段１０１から出力された最大値ｎｍａｘと、最小値検出手段１０２から出力された最小値ｎｍｉｎとから差分絶対値を算出し、算出した差分絶対値を比較手段ｂ１０６に出力する。
比較手段ａ１０５は、差分絶対値演算手段１０４から出力された差分絶対値を所定値ＴＨｂと比較する。方向−５において図形のエッジがある場合は、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒの符号は同一でなければならず、かつ近似した値でなければならない。何故なら、最大値と最小値の差が大きい場合は方向−５以外に図形のエッジがあると判断できるからである。
【００９２】
従って、最大値と最小値との差分絶対値が所定値ＴＨｂより小さい場合、方向−５に図形のエッジが存在するとして比較手段ａ１０５はフラグ信号ｆｄ１＝１を出力する。一方、差分絶対値が所定値ＴＨｂより大きい場合は、フラグ信号ｆｄ１＝０を出力する。
【００９３】
比較手段ｂ１０６は、最小値検出手段１０２から出力された最小値ｎｍｉｎを所定値ＴＨｃと比較する。方向−５に図形のエッジが存在する場合は、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒのいずれかである最小値ｎｍｉｎは所定値ＴＨｃより大きくなる。
従って、最小値ｎｍｉｎが所定値ＴＨｃより大きい場合、比較手段ｂ１０６はフラグ信号ｆｄ２＝１を出力する。一方、最小値ｎｍｉｎが所定値ＴＨｃより小さい場合は、フラグ信号ｆｄ２＝０を出力する。
【００９４】
比較手段ｃ１０７は、第２の差分絶対値Ｌ１(a)とＬ３(a)、又はＲ１(a)とＲ３(a)の値をそれぞれ所定値ＴＨｄと比較する。方向−５に図形のエッジがある場合は、図形の内側にある画素の信号は近似した値でなければならず、かつ、図形の外側にある画素の信号も近似した値でなければならない。
従って、方向−５に図形のエッジがある場合は、第２の差分絶対値Ｌ１(a)とＬ３(a)、又はＲ１(a)とＲ３(a)のどちらの値も所定値ＴＨｄより小さくなる。第２の差分絶対値が所定値ＴＨｄより小さい場合、比較手段ｃ１０７はフラグ信号ｆｄ４＝１を出力し、どちらか一方でも所定値ＴＨｄより大きい場合はフラグ信号ｆｄ４＝０を出力する。
【００９５】
判定手段１０８は、フラグ信号ｆｄ１〜４に基づき、方向ａに図形のエッジがあるかを判定する。判定は、フラグ信号ｆｄ１〜４の条件が全て１の場合に図形のエッジを検出し、フラグ信号ｂｕｎｄｆｌａｇ(a)＝１を出力する。フラグ信号ｆｄ１〜４の条件のうち一つでも０であれば、図形のエッジはないと判定してフラグ信号ｂｕｎｄｆｌａｇ(a)＝０を出力する。
【００９６】
上記と同様な手順により、方向−４から−１に対しても、第２の差分絶対値Ｌ１(a)、Ｌ３(a)、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)を算出し、それぞれの方向について図形のエッジの判定を行い、フラグ信号ｂｕｎｄｆｌａｇ(a)を出力する。
【００９７】
また、方向５の場合について図１４に示す。操作手順は、上記と同様である。まず、画素Ｂ５、及び画素Ｃ-5とが第１の画素対として選択される。そして、画素Ａ５と画素Ｂ-5、画素Ｃ５と画素Ｄ-5のそれぞれの画素対が第２の画素対として選択される。さらに、画素Ａ５と画素Ｃ５、画素Ｂ-5と画素Ｄ-5のそれぞれの画素対が第４の画素対として選択される。
画素対が選択された後、第２の差分絶対値Ｒ１(5)＝｜Ａ(5)−Ｂ(-5)｜、Ｒ３(5)＝｜Ｃ(5)−Ｄ(-5)｜、第４の差分値ＲＴｒ(5)＝Ａ(5)−Ｃ(5)、ＬＴｒ(5)＝Ｂ(-5)−Ｄ(-5)、差分値ＣＴｒを算出する。
【００９８】
算出した値を図１６を用いて説明した手順により処理し、方向５に図形のエッジが存在するか否かを検出し、図形のエッジが存在すると判定した場合は、フラグ信号ｂｕｎｄｆｌａｇ(a)＝１を出力し、図形のエッジが存在しない判定した場合はフラグ信号ｂｕｎｄｆｌａｇ(a)＝０を出力する。
同様に、方向４から１に対しても第２の差分絶対値Ｒ１(a)、Ｒ３(a)、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)を算出し、それぞれの方向について図形のエッジの判定を行い、フラグ信号を出力する。
【００９９】
従って、方向−５から−１、及び方向５から１の合計１０方向についてフラグ信号ｂｕｎｄｆｌａｇ(a)が出力される。これらのフラグ信号ｂｕｎｄｆｌａｇ(a)は、後述する相関方向決定手段１０において必要となる。すなわち、相関方向決定手段１０において、相関方向検出手段１３から出力された補間方向の候補が図形のエッジであるか否かを判定するために、フラグ信号ｂｕｎｄｆｌａｇ(a)が用いられる。
【０１００】
＜相関方向決定手段＞
相関方向決定手段１０には、相関方向検出手段１３から出力された相関方向ｄｉｒ１と、細線検出手段８から出力されたフラグ信号ｔｈｆｌａｇと、エッジ検出手段９から出力されたフラグ信号ｂｕｎｄｆｌａｇとが入力される。
相関方向決定手段１０は、これらの信号から相関方向ｄｉｒ１における細線、図形のエッジを検出し、補間方向を決定する。
【０１０１】
図１７は、相関方向決定手段１０の処理を示すフローチャートである。処理手順は以下の通りである。
まず、相関方向検出手段１３から出力された相関方向を補間方向の最有力候補として扱う。次に、その相関方向が背景等の誤検出でないかを確認するため、細線検出手段８及びエッジ検出手段９の検出結果と相関方向を比較する。この時、細線または図形のエッジと検出された場合は、相関方向を補間方向として決定する。なお、必要であれば相関方向を補正する。
以下、図１７を用いて、相関方向決定手段１０の処理の詳細を説明する。
【０１０２】
まず、相関方向決定手段１０には、相関方向検出手段１３から出力された相関方向ｄｉｒ１＝ａが入力される（ｓ１）。この相関方向ｄｉｒ１＝ａが補間方向の最有力候補である。
そして、選択相関方向ｄｉｒ１の値ａが、走査線直交方向である０か０以外であるかを判断する（ｓ２）。ところで走査線Ｂ上、Ｃ上にあり補間画素Ｐ０に最も近い画素は、補間画素Ｐ０に隣接する画素Ｂ０、Ｃ０である。従って、通常は画素Ｂ０、Ｃ０を結ぶ走査線直交方向である方向０が、補間画素Ｐ０と相関が高いと考えられる。したがって、相関方向検出手段１３にて検出された方向ｄｉｒ１が０であれば、相関方向を方向０に確定する（ｓ３）。
【０１０３】
ｄｉｒ１＝０でない場合は、方向ｄｉｒ１＝ａに対応するフラグ信号ｔｈｆｌａｇ(ａ)に従う（ｓ４）。すなわち、方向ａにおいて細線が検出されたと判定された場合は、細線検出手段８からフラグ信号ｔｈｆｌａｇ(ａ)＝１が出力されている。方向ｄｉｒ１＝ａとフラグ信号ｔｈｆｌａｇ(ａ)＝１の両者の条件がそろった場合は、検出された方向は細線上にあると判断できるので、相関方向を方向ｄｉｒ１＝ａに確定する（ｓ５）。
一方、方向ａにおいて細線が検出され無かった場合は、フラグ信号ｔｈｆｌａｇ(ａ)＝０となる。この場合は、方向ｄｉｒ１＝ａに対応するエッジ検出手段９から出力されたフラグ信号ｂｕｎｄｆｌａｇ(ａ)に従う（ｓ６）。すなわち、方向ａにおいて図形のエッジが検出されたと判定された場合は、エッジ検出手段９からフラグ信号ｂｕｎｄｆｌａｇ(ａ)＝１が出力されている。方向ｄｉｒ１＝ａとフラグ信号ｂｕｎｄｆｌａｇ(ａ)＝１の両者の条件がそろった場合は、検出された方向は図形のエッジ上にあると判断できるので、相関方向を方向ｄｉｒ１＝ａに確定する（ｓ７）。
【０１０４】
方向ａにおけるフラグ信号がｔｈｆｌａｇ(ａ)＝０、かつｂｕｎｄｆｌａｇ(ａ)＝０であり、細線及び図形のエッジが検出されていない場合は、通常、補間画素Ｐ０と最も相関性の高いと考えられる走査線直交方向に相関方向を補正する（ｓ８）。
【０１０５】
図１８は、相関方向決定手段１０の一構成例を示すブロック図である。
図において、１２１は相関方向ｄｉｒ１＝ａに対応した各フラグ信号を選択する選択手段、１２２、１２３は切換手段である。
【０１０６】
選択手段１２１は、細線検出手段８から出力されたすべてのフラグ信号ｔｈｆｌａｇと、エッジ検出手段９から出力されたすべてのフラグ信号ｂｕｎｄｆｌａｇとが入力され、相関方向検出手段１３から出力された相関方向ｄｉｒ１＝ａに基づいて、フラグ信号ｔｈｆｌａｇ(ａ)とフラグ信号ｂｕｎｄｆｌａｇ(ａ)とを選択する。
切換手段ａ１２２は、選択手段１２１において選択したフラグ信号がｂｕｎｄｆｌａｇ(ａ)＝１である場合は、入力された相関方向ｄｉｒ１＝ａをそのまま切換手段ｂ１２３に出力し、フラグ信号ｂｕｎｄｆｌａｇ(ａ)＝０である場合は、相関方向ｄｉｒ１を０に切換えて出力する。
切換手段ｂ１２３は、選択手段１２１において選択したフラグ信号がｔｈｆｌａｇ(ａ)＝１である場合は、相関方向ｄｉｒ２（＝ｄｉｒ１）＝ａとして出力し、フラグ信号ｔｈｆｌａｇ(ａ)＝０である場合は、相関方向ｄｉｒ２（＝ｄｉｒ１）＝０と切換えて出力する。
【０１０７】
＜孤立方向補正手段＞
次に孤立方向補正手段１１について説明する。孤立方向補正手段１１は、相関方向決定手段１０から出力された相関方向ｄｉｒ２に基づき、補間画素と相関方向と、その補間画素と隣接する画素の相関方向とを比較する。その結果により必要であれば、相関方向の補正を行う。補間画素の相関方向と、隣接する画素の相関方向とが大きく異なっている場合は、補間画素の相関方向が誤っていると考えられるからである。
【０１０８】
図１９は孤立方向補正手段１１の一構成例を示すブロック図であり、１３０ａ〜１３０ｃは１Ｄ遅延手段、１３１、１３２は差分絶対値算出手段、１３３，１３４は比較手段、１３６は孤立方向判定手段、１３５は方向切換手段である。
例えば、補間画素Ｐ(-1)における相関方向ｄｉｒ２が入力される場合を考える。まず、補間画素Ｐ(-1)における相関方向ｄｉｒ２は１Ｄ遅延手段１３０ａ、１３０ｃ、及び差分絶対値算出手段ｂ１３２に入力される。１Ｄ遅延手段１３０ａは入力された相関方向ｄｉｒ２を１Ｄ分遅延し、相関方向ｄｉｒ３として出力する。さらに、１Ｄ遅延手段１３０ｂは入力された相関方向ｄｉｒ３を１Ｄ分遅延し、相関方向ｄｉｒ４として出力する。従って、相関方向ｄｉｒ３は補間画素Ｐ(0)に対応した相関方向となり、相関方向ｄｉｒ４は補間画素Ｐ(1)に対応した相関方向となる。
【０１０９】
差分絶対値演算手段ａ１３１は、１Ｄ遅延手段１３０ａから出力された補間画素Ｐ(0)に対応する相関方向ｄｉｒ３と、１Ｄ遅延手段１３０ｂから出力された補間画素Ｐ(1)に対応する相関方向ｄｉｒ４との差分絶対値を算出して比較手段ａ１３３に出力する。同様に、差分絶対値演算手段ｂ１３２は、入力された補間画素Ｐ(-1)に対応する相関方向ｄｉｒ２と、１Ｄ遅延手段１３０ａから出力された補間画素Ｐ(0)に対応する相関方向ｄｉｒ３との差分絶対値を算出して比較手段ｂ１３４に出力する。
比較手段ａ１３３は差分絶対値を所定値ＴＨｉと比較し、差分絶対値が所定値ＴＨｉ以内であればフラグ信号ｔｈ１＝１を出力し、所定値ＴＨｉより大きければフラグ信号ｔｈ１＝０を出力する。
同様に、比較手段ｂ１３４は差分絶対値を所定値ＴＨｉと比較し、差分絶対値が所定値ＴＨｉ以内であればフラグ信号ｔｈ２＝１を出力し、所定値ＴＨｉより大きければフラグ信号ｔｈ２＝０を出力する。
なお、所定値ＴＨｉは任意の値をとすることができる。
【０１１０】
孤立方向判定手段１３６は、比較手段ａ１３３から入力されたフラグ信号がｔｈ１＝０、かつ、比較手段ｂ１３４から入力されたフラグ信号がｔｈ２＝０である場合は、フラグ信号ｔｈ３＝０を出力する。それ以外の、フラグ信号ｔｈ１とｔｈ２の値が両者とも１である場合、またはどちらか一方の値が１である場合は、フラグ信号ｔｈ３＝１を出力する。
方向切換手段１３５は、孤立方向判定手段１３６から入力されたフラグ信号ｔｈ３の値が１である場合は、相関方向ｄｉｒ３＝ａをそのまま補間画素Ｐ０における相関方向ｄｉｒ５＝ａとして出力する。また、孤立方向判定手段１３６から入力されたフラグ信号ｔｈ３の値が０である場合は、補間画素Ｐ０におけるｄｉｒ３＝ａは隣接する画素の相関方向との相関性が低く、孤立した方向であると判定して相関方向ｄｉｒ５を例えば走査線直交方向である０に切換えて出力する。なお、切換える値は０以外にも、隣接するどちらか一方の画素の相関方向と同じにしてもよい。
【０１１１】
このように、画像の背景部を相関方向として誤検出した場合等でも、孤立方向補正手段１１により相関方向を補正するので、周囲から孤立した相関方向を除去できる。
【０１１２】
＜相関方向補間手段＞
次に相関方向補間手段１２について説明する。相関方向補間手段１２は、孤立方向補正手段１１から出力された相関方向ｄｉｒ５に基づいて、走査線Ｂ上の画素および走査線Ｃ上の画素を選択し、補間画素の信号Ｐ(0)を生成する。
図２０は、相関方向補間手段１２の一構成例を示すブロック図であり、図において、１４１ａ〜１４１ｋ、１４２ａ〜１４２ｋは１Ｄ遅延手段、１４３は相関方向ｄｉｒ５に従い走査線Ｂ上の画素を選択する画素選択手段Ｂ、１４４は相関方向ｄｉｒ５に従い走査線Ｃ上の画素を選択する画素選択手段Ｃ、１４５は加算器、１４６は利得１／２の増幅器である。
【０１１３】
相関方向補間手段１２には、第１及び第２の１Ｈ遅延手段１、２から出力されたの信号がそれぞれ走査線Ｃ、Ｂの信号として入力される。そして、走査線Ｂ上の各画素の信号は画素選択手段Ｂ１４３に入力され、走査線Ｃ上の各画素の信号は画素選択手段Ｃ１４４に入力される。また、画素選択手段１４３、１４４には走査線上の画素信号と、孤立方向補正手段１１から出力された補間画素Ｐ０における相関方向ｄｉｒ５が入力される。画素選択手段１４３、１４４は相関方向ｄｉｒ５に基づいて走査線Ｂ上、Ｃ上の画素を選択し、その画素に対応する信号を加算器１４５で加算し、増幅器１４６で利得を１／２として補間画素Ｐ０の信号Ｐ(0)を生成し、補間画素信号として出力する。
【０１１４】
図２１は、図２７において説明した細線がある場合について、本実施の形態における走査線補間装置を適応した場合を説明する図である。図において、白い画素、例えば画素Ｂ０、Ｂ１等の画素信号を０、黒い画素、例えば画素Ｂ２、Ｂ３等の画素信号を１とする。
【０１１５】
まず、補間画素Ｐ０を中心として各方向における差分絶対値を計算する。Ｌ２(-5)＝｜Ｂ(-5)−Ｃ(5)｜＝０、Ｌ１(-5)＝｜Ａ(-5)−Ｂ(5)｜＝０、Ｌ３(-5)＝｜Ｃ(-5)−Ｄ(5)｜＝０、となる。同様に、Ｌ１(-4)＝１、Ｌ２(-4)＝Ｌ３(-4)＝０、Ｌ１(-3)＝１、Ｌ２(-3)＝０、Ｌ３(-3)＝１、Ｌ１(-2)＝１、Ｌ２(-2)＝０、Ｌ３(-2)＝１、Ｌ１(-1)＝０、Ｌ２(-1)＝０、Ｌ３(-1)＝１、となる。さらに、Ｒ２(5)＝｜Ｂ(5)−Ｃ(-5)｜＝０、Ｒ１(5)＝｜Ａ(5)−Ｂ(-5)｜＝０、Ｒ３(5)＝｜Ｃ(5)−Ｄ(-5)｜＝０、となる。さらに同様に、Ｒ１(4)＝０、Ｒ２(4)＝１、Ｒ３(4)＝０、Ｒ１(3)＝Ｒ２(3)＝Ｒ３(3)＝０、Ｒ１(2)＝Ｒ２(2)＝Ｒ３(2)＝０、Ｒ１(1)＝０、Ｒ２(1)＝１、Ｒ３(1)＝０、となる。これら差分絶対値の算出が差分絶対値算出手段４にて行われる。
【０１１６】
次に、相関値を算出する。絶対値演算手段４にて算出した値を用いて、ＬＵ(-5)＝Ｌ１(-5)＋Ｌ２(-5)＋Ｌ３(-5)＝０となる。同様に、ＬＵ(-4)＝１、ＬＵ(-3)＝ＬＵ(-3)＝ＬＵ(-2)＝２、ＬＵ(-1)＝１、となる。さらに同様に、ＲＵ(5)＝０、ＲＵ(4)＝１、ＲＵ(3)＝ＲＵ(2)＝０、ＲＵ(1)＝１となる。これら相関値の算出が相関値算出手段５にて行われる。
【０１１７】
さらに、相関値の平均値を算出する。相関値算出手段５にて算出した値を用いて、ＬＵＡ１＝（ＬＵ(-5)＋ＬＵ(-4)＋ＬＵ(-3)）／３＝１となる。同様に、ＬＵＡ２＝５／３、ＬＵＡ３＝５／３となる。さらに同様に、ＲＵＡ４＝ＲＵＡ５＝ＲＵＡ６＝１／３となる。これらの値の算出は平均値算出手段６にて行われる。
【０１１８】
相関値算出手段５と平均値算出手段６にて算出した値が最小相関値方向選択手段７に入力される。最小相関値方向選択手段７では、まず相関値の平均値が小さい領域を選択する。この場合、ＬＵＡａのグループで最小値となるのはＬＵＡ１である。ＲＵＡａのグループではすべての平均値が同じとなるので、走査線直交方向に最も近いＲＵＡ６となる。ＬＵＡ１とＲＵＡ６を比較するとＲＵＡ６が走査線直交方向に近いので、最終的に選択される領域はＲＵＡ６となる。領域ＲＵＡ６において最小の相関値を持つ方向は方向２と方向３である。走査線直交方向に近い方向は方向２である。従って最小相関値方向選択手段７から出力される相関方向はｄｉｒ１＝２である。このｄｉｒ１＝２が補間方向の最有力候補となる。
【０１１９】
次に、細線の検出を行う。細線の有無を検出ために、各方向において走査線直交方向に隣接する画素の信号の差分を算出する。差分値はｔｌ１(-5)＝Ａ(-5)−Ｂ(-5)＝０、ｔｌ２(-5)＝Ｂ(-5)−Ｃ(-5)＝０、ｔｌ２(5)＝Ｂ(5)−Ｃ(5)＝０、ｔｌ３(5)＝Ｃ(5)−Ｄ(5)＝０、となる。同様に、ｔｌ１(-4)＝ｔｌ２(-4)＝０、ｔｌ２(4)＝１、ｔｌ３(4)＝０。ｔｌ１(-3)＝０、ｔｌ２(-3)＝−１、ｔｌ２(3)＝１、ｔｌ３(3)＝０。ｔｌ１(-2)＝０、ｔｌ２(-2)＝−１、ｔｌ２(2)＝１、ｔｌ３(2)＝０。ｔｌ１(-1)＝０、ｔｌ２(-1)＝−１、ｔｌ２(1)＝ｔｌ３(1)＝０。さらに同様に、ｔｌ１(5)＝ｔｌ３(-5)＝０。ｔｌ１(4)＝−１、ｔｌ３(-4)＝０。ｔｌ１(3)＝−１、ｔｌ３(-3)＝１。ｔｌ１(2)＝−１、ｔｌ３(-2)＝１。ｔｌ１(1)＝０、ｔｌ３(-1)＝１、となる。
さらに算出された差分値を所定比較値と比較し、方向ａに細線が存在すると判断された場合はフラグ信号ｔｈｆｌａｇ(a)＝１、細線が存在しないと判断された場合はフラグ信号ｔｈｆｌａｇ(a)＝０を出力する。従って、ｔｈｆｌａｇ(-5)＝ｔｈｆｌａｇ(-4)＝ｔｈｆｌａｇ(-3)＝ｔｈｆｌａｇ(-2)＝ｔｈｆｌａｇ(-1)＝０、ｔｈｆｌａｇ(5)＝ｔｈｆｌａｇ(4)＝０、ｔｈｆｌａｇ(3)＝ｔｈｆｌａｇ(2)＝１、ｔｈｆｌａｇ(-1)＝０、となる。これらのフラグ信号ｔｈｆｌａｇ(a)の出力までが細線検出手段８にて行われる。
【０１２０】
さらに、相関方向決定手段１０の機能を説明する。相関方向決定手段１０は相関方向決定手段１３内の最小相関方向選択手段７から相関方向ｄｉｒ１＝２が入力される。この方向ｄｉｒ１＝２が補間方向の最有力候補である。また、細線検出手段８からは、上記で説明した各方向における細線の存在の有無についてのフラグ信号が入力される。
方向ｄｉｒ１＝２、すなわち方向２において細線検出手段８から入力されたフラグ信号ｔｈｆｌａｇ(2)の値は１である。従って、相関方向検出手段１３から入力された方向ｄｉｒ１＝２は、細線上にある方向であることが分かる。従って相関方向決定手段１０は、相関方向ｄｉｒ２を方向ｄｉｒ１と同じ値である２として出力する。このｄｉｒ２＝２が最終的な相関方向となり、補間方向の候補となる。
【０１２１】
さらに、図２１の画像の場合、補間画素Ｐ０に左右で隣接する補間画素Ｐ-1、Ｐ１に対応する相関方向は、それぞれ方向０と方向２である。孤立方向補正手段１１はこれらの隣接画素の相関方向から補間画素Ｐ０の相関方向２は適当であると判断し、相関方向決定手段１０から出力された方向ｄｉｒ２＝２を補正せず、相関方向としてｄｉｒ５＝２を出力する。このｄｉｒ５＝２が最終的な補間方向である。ｄｉｒ５＝２が入力された相関方向補間手段１２は、画素Ｂ２の信号Ｂ(2)と画素Ｃ-2の信号Ｃ(-2)とを加算し、その加算値を１／２倍して補間信号Ｐ(0)を出力する。
【０１２２】
同様の手順により、補間画素Ｐ１の相関方向を検出すると、補間画素Ｐ０と同様にｄｉｒ５＝２となる。従って、補間画素Ｐ０の画素信号Ｐ(0)は信号Ｂ(2)と信号Ｃ(-2)により決定され、補間画素Ｐ１の画素信号Ｐ(1)は信号Ｂ(3)と信号Ｃ(-1)により決定されるので、細線は切断されることはなく補間される。
【０１２３】
また、図２２は、図２６において説明した図形のエッジがある場合について、本実施の形態で説明した走査線補間装置を適用した場合を説明する図である。上記で説明した手順と同様な処理を行うと、相関方向検出手段１３から出力される相関方向はｄｉｒ１＝１である。なお、方向１における細線境界手段８からの出力されるフラグ信号はｔｈｆｌａｇ(1)＝０であるが、斜め境界判定手段９から出力されるフラグ信号はｂｕｎｄｆｌａｇ(1)＝１であるので、相関方向決定手段１０はｄｉｒ１と同じ値であるｄｉｒ２＝１を出力する。補間画素Ｐ０に左右で隣接する補間画素Ｐ-1、Ｐ１に対応する相関方向はともに方向１であるので、孤立方向補正手段１１はｄｉｒ２と同じ値であるｄｉｒ５＝１を出力する。ｄｉｒ５＝１が入力された相関方向補間手段１２は、画素Ｂ１の信号Ｂ(1)と画素Ｃ-1の信号Ｃ(-1)とを加算し、その加算値を１／２倍して補間信号Ｐ(0)を出力する。
したがって、補間画素Ｐ０の画素信号Ｐ(0)は、エッジ部における画素対で補間することができ、エッジのボケやガタツキを抑えることができる。
【０１２４】
なお、本実施の形態１における走査線補間装置は、補間画素Ｐ０を中心とした方向−５〜−１、０、及び１〜５の合計１１の方向を相関方向の候補として選定しているがこれに限られるものではなく、７方向や１３方向を候補としてもよい。
【０１２５】
また、本実施の形態では相関方向決定手段１０において、相関方向検出手段１３から出力された相関方向を細線検出手段８の出力結果と比較した後、エッジ検出手段９との出力結果と比較したが、先にエッジ検出手段９の出力結果と比較した後、細線検出手段８の出力結果と比較してもよい。
【０１２６】
また、孤立方向補正手段１１は、補間画素Ｐ０の相関方向を補間画素Ｐ０に左右で隣接する画素Ｐ-1、及び画素Ｐ１における相関方向とから判断しているが、比較する画素の範囲は隣接する画素に限らず、画素Ｐ-2、画素Ｐ２や、画素Ｐ-3、画素Ｐ３を考慮して補間画素Ｐ０の相関方向を決定してもよい。
【０１２７】
さらに、本実施の形態１で説明した走査線補間装置を図２３における動画用補間手段２０２として用いてもよい。
【０１２８】
さらに、本実施の形態１では、走査線補間装置をハードウェアで構成するよう説明しているが、ソフトウェアの処理により実現できることは言うまでもない。
【０１２９】
【発明の効果】
本発明に係る走査線補間装置によれば、補間走査線上の補間画素の位置を中心として、補間走査線に隣接する走査線上の点対称の位置にある画素を第１の画素対として２組以上選択し、第１の画素対における画素と走査線直交方向に隣接する画素を、第１の画素対における画素間を結ぶ直線と同一の方向に第２の画素対として選択し、第１の画素対における画素間の信号の差分と、第２の画素対における画素間の信号の差分とに基づいて補間方向の候補を出力する相関方向検出手段と、第１の画素対における画素と、第１の画素対における画素と走査線直交方向に隣接する第２の画素対における画素とを第３の画素対として選択し、第３の画素対における画素の信号の差分に基づいて細線を検出し、検出結果を出力する細線検出手段と、第２の画素対における画素を走査線直交方向に第４の画素対として選択し、第２の画素対における画素間の信号と、第４の画素対における画素間の信号と、補間画素と走査線直交方向に隣接する画素間の信号の差分とに基づいてエッジを検出し、検出結果を出力するエッジ検出手段と、相関検出手段からの出力と、細線検出手段からの出力と、エッジ検出手段からの出力とに基づいて補間方向を決定する相関方向決定手段とを備え、補間方向に基づき補間画素の信号を決定し、補間走査線を生成することとしたので、細線に対しても境界線の切断やボケ、ガタツキが生じることなく、良好な走査線補間を行うことができる。
【図面の簡単な説明】
【図１】 実施の形態１における走査線補間装置の構成を示すブロック図である。
【図２】 実施の形態１における映像信号の画素を模式的に示した図である。
【図３】 実施の形態１における走査線補間装置の動作を説明する図である。
【図４】 実施の形態１における走査線補間装置の動作を説明する図である。
【図５】 実施の形態１における差分絶対値算出手段の構成例を示すブロック図である。
【図６】 実施の形態１における差分絶対値算出手段の構成例を示すブロック図である。
【図７】 実施の形態１における差分絶対値算出手段の構成例を示すブロック図である。
【図８】 実施の形態１における相関値算出手段の構成例を示すブロック図である。
【図９】 実施の形態１における平均値算出手段の構成例を示すブロック図である。
【図１０】 実施の形態１における最小相関値方向選択手段の構成例を示すブロック図である。
【図１１】 実施の形態１における細線検出手段の構成例を示すブロック図である。
【図１２】 実施の形態１における細線検出手段の構成例を示すブロック図である。
【図１３】 実施の形態１におけるエッジ検出手段の動作を説明する図である。
【図１４】 実施の形態１におけるエッジ検出手段の動作を説明する図である。
【図１５】 実施の形態１におけるエッジ検出手段の構成例を示すブロック図である。
【図１６】 実施の形態１におけるエッジ検出手段の構成例を示すブロック図である。
【図１７】 実施の形態１における相関方向決定手段の動作を示すフローチャートである。
【図１８】 実施の形態１における相関方向決定手段の構成例を示すブロック図である。
【図１９】 実施の形態１における孤立方向補正手段の構成例を示すブロック図である。
【図２０】 実施の形態１における相関方向補間手段の構成例を示すブロック図である。
【図２１】 実施の形態１における走査線補間装置の動作を説明する図である。
【図２２】 実施の形態１における走査線補間装置の動作を説明する図である。
【図２３】 従来の走査線補間装置の構成を示すブロック図である。
【図２４】 従来の走査線補間装置の構成を示すブロック図である。
【図２５】 従来の走査線補間装置の構成を示すブロック図である。
【図２６】 従来の走査線補間装置の動作を説明する図である。
【図２７】 従来の走査線補間装置の動作を説明する図である。
【符号の説明】
１ 第１の１Ｈ遅延手段、２ 第２の１Ｈ遅延手段、３ 第３の１Ｈ遅延手段、４ 差分絶対値算出手段、５ 相関値算出手段、６ 平均値算出手段、７ 最小相関値方向選択手段、８ 細線検出手段、９ エッジ検出手段、１０ 相関方向決定手段、１１ 孤立方向補正手段、１２ 相関方向補間手段、１３ 相関方向検出手段、２１ １Ｄ遅延手段、２２ １Ｄ遅延手段、２３ １Ｄ遅延手段、２４ １Ｄ遅延手段、３１ 、差分算出手段、３２ 差分算出手段、３３ 差分算出手段、５１ 加算手段、６１ 平均値算出手段、７１ 最小相関値方向検出手段、７２ 最小平均値選択手段、７３ 相関方向選択手段、８１ 差分算出手段、８２ 差分算出手段、８３ 差分算出手段、８４ 比較手段、９１ 差分算出手段、９２ 差分算出手段、９３ 差分算出手段、９４ 差分算出手段、９５差分算出手段、９６ 絶対値算出手段、９７ 絶対値算出手段、１０１ 最大値検出手段、１０２ 最小値検出手段、１０３ 符号一致判定手段、１０４ 差分絶対値算出手段、１０５ 比較手段、１０６ 比較手段、１０７ 比較手段、１０８ 判定手段、１２１ 選択手段、１２２ 切換手段、１２３ 切換手段、１３０ １Ｄ遅延手段、１３１ 差分絶対値算出手段、１３２ 差分絶対値算出手段、１３３ 比較手段、１３４ 比較手段、１３５ 方向切換手段、１３６ 孤立方向判定手段、１４１ １Ｄ遅延手段、１４２ １Ｄ遅延手段、１４３ 画素選択手段、１４４ 画素選択手段、１４５ 加算器、１４６ 増幅器。
【発明の属する技術分野】
この発明は、画像の解像度を変換するための画像補間装置および方法に関し、特にインターレース方式の映像信号をプログレッシブ方式の映像信号に走査線変換する走査線補間装置および走査線補間方法に関する。
【０００２】
【従来の技術】
飛越走査であるインターレース方式の映像では、１フレームの映像信号が２フィールドの映像信号により構成される。即ち、第１フィールドの映像信号が走査された後、第２フィールドの映像信号が走査され１フレームの映像信号となる。また、１フレーム内の走査線は、第１フィールドの走査線と第２フィールドの走査線とが交互に位置するので、第１フィールドの走査線に両側で隣接する走査線は第２フィールドの走査線となり、第２フィールドの走査線に両側で隣接する走査線は第１フィールドの走査線となる。一方、順次走査であるプログレッシブ方式の映像では、１フレームの映像信号が１フィールドの映像信号により構成されており、１フレーム内の隣接する走査線は同一フィールドの走査線である。
【０００３】
従って、インターレース方式の映像信号をプログレッシブ方式の映像信号に変換する場合には、インタレース方式の第１フィールドの映像信号からプログレッシブ方式の１フレームの映像信号を生成し、インターレース方式の第２フィールドの映像信号からプログレッシブ方式の１フレームの映像信号を生成する必要がある。このため、インターレース方式の１フィールドの映像信号に対し補間により走査線を追加し、プログレッシブ方式の１フレームの映像信号に変換する走査線変換を行わなければならない。
【０００４】
このような走査線変換は、インターレス方式の映像が静止画像である場合には、一方のフィールド走査線を隣接する他方のフィールド走査線の間にはめ込み補間走査線を生成する、いわゆるフィールド間補間といわれる走査変換が行われる。一方、インターレス方式の映像信号が動画像である場合には、同一フィールド内の隣接走査線上の画素を用いて補間走査線を生成する、いわゆるフィールド内補間といわれる走査変換が行われる（例えば、特許文献１及び特許文献２参照）。
【０００５】
【特許文献１】
特開平３−１７９８９０号公報（第３−４項、第４図）
【特許文献２】
特開２００２−１１２２０３号公報（第４−６項、第１図）
【０００６】
図２３は、特開平３−１７９８９０号公報に示されている、一般的な走査線補間装置の一構成例を示すブロック図である。図において、２００はインターレース方式の映像信号が入力される映像信号入力端子、２０１は入力映像信号からフィールド間補間により補間信号を生成する静止画用補間手段、２０２は入力映像信号からフィールド内補間により補間信号を生成する動画用補間手段、２０３は入力映像信号の動きを検出する動き検出手段、２０４は動き検出手段２０３の動き検出結果に基づいて静止画補間信号と動画補間信号とを混合する混合手段、２０５は混合手段２０４からの補間信号を入力映像信号の走査線間にはめ込むとともに、入力映像信号と補間信号との出力タイミング調整を行い、プログレッシブ方式の映像信号を出力する時間軸変換手段である。
【０００７】
次に動作について説明する。静止画用補間手段２０１はフィールドメモリを備え、例えば入力映像信号の１フィールド前の信号を補間信号として出力する。動画用補間手段２０２は１水平走査期間（１ライン走査期間。以下、「１Ｈ」と言う。）分の映像信号を遅延する遅延手段を有しており、フィールド内補間により補間信号を生成し出力する。動き検出手段２０３はフレームメモリを備え、フレームメモリ内の映像信号と入力映像信号との差分を求め、差分が大きい個所を動画部として判断し、動き検出信号を出力する。
【０００８】
混合手段２０４は、動き検出手段２０３からの動き検出信号に応じ、動画部には動画用補間手段２０２からの補間信号を得て、その他の部分には静止画用補間手段２０１からの補間信号を得て、補間走査線を生成し出力する。そして、時間軸変換手段２０５により入力映像信号と補間信号との出力タイミングを調節し、プログレッシブ方式の映像信号として出力する。
【０００９】
動画用補間手段２０２におけるフィールド内補間には、隣接する走査線上における画素の信号の平均値を用いるライン平均走査線補間がある。図２４は従来のライン平均走査線補間における動画用補間手段の一構成例を示すブロック図である。図において、加算手段２１２は、入力映像信号と、入力映像信号を１Ｈ分遅延する１Ｈ遅延手段２１１とから入力された信号を加算し、増幅器２１３に出力する。増幅器２１３は、加算手段２１２から入力された映像信号の利得を１／２に増幅し、補間信号を出力する。
【００１０】
従って、隣接する走査線間に補間走査線Ｐを生成する場合、増幅器２１３から出力される補間信号は、補間画素に隣接する画素の平均値となる。即ち、走査線Ｂ、及び走査線Ｃとの間に補間走査線Ｐを生成する場合、補間走査線Ｐ上の補間画素Ｐ０の信号Ｐ(0)は、補間画素Ｐ０と走査線直交方向に隣接する画素Ｂ０、画素Ｃ０の信号Ｂ(0)、Ｃ(0)を用いて、Ｐ(0)＝（Ｂ(0)＋Ｃ(0)）／２と表すことができる。
【００１１】
また、特開２００２−１１２２０３号公報には、走査方向に対し傾斜する画像がある場合において、傾斜方向の解像度劣化を防ぐため、相関性の高い斜め方向の画素を求めて補間信号を生成する走査線補間装置が記載されている。図２５は、特開平２００２−１１２２０３号公報に記載された斜め相関による走査線補間装置において、動画用補間手段の一構成例を示すブロック図である。図において、２２０はインターレース方式の映像信号が入力される入力端子、２２１〜２２３は入力映像信号を１Ｈ分遅延する第１から第３の遅延手段、２２４は入力映像信号における各走査線上の画素のブロックを特定して、ブロック毎にブロック信号を出力するブロック信号生成手段、２２５はブロック信号生成手段２２４からのブロック信号により画素対の相関を検出し、検出結果を出力する相関検出手段、２２６は相関検出手段２２５からの相関検出結果に基づき、相関のある画素を選択して補間信号を生成する補間手段である。
【００１２】
次に動作について説明する。入力されたインターレス方式の映像信号は、第１の遅延手段２２１へ入力され、次に、第１の遅延手段２２１から出力された信号は第２の遅延手段２２２へ入力され、さらに第２の遅延手段２２２から出力された信号は第３の遅延手段２２３に入力される。また、ブロック信号生成手段２２４には４ライン分の走査線信号として、入力映像信号、第１の遅延手段２２１から出力された信号、第２の遅延手段２２２から出力された信号、及び第３の遅延手段２２３から出力された信号が入力される。図２６は、入力映像信号および第１から第３の遅延手段２２１〜２２３から出力された信号における画素を模式的に示した図である。
【００１３】
図において、第１の走査線Ａは第３の遅延手段２２３から出力された走査線であり、走査線方向に画素Ａ０、Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７、Ａ８と順に並び、走査線を形成している。同様に、第２の走査線Ｂは第２の遅延手段２２２から出力された走査線であり、走査線方向に画素Ｂ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７、Ｂ８と順に並び走査線を形成し、第３の走査線Ｃは第１の遅延手段２２１から出力された走査線であり、走査線方向に画素Ｃ０、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８と順に並び走査線を形成し、第４の走査線Ｄは入力映像信号であり走査線方向に画素Ｄ０、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｄ７、Ｄ８と順に並び走査線を形成している。
【００１４】
図２６において、隣接する走査線Ｂ、Ｃの間に補間走査線Ｐを作成する場合を考える。走査線Ｂ上の画素Ｂ４と走査線Ｃ上の画素Ｃ４との間に補間画素Ｐ４を生成する場合、まずブロック信号生成手段２２４は、走査線Ｂ上にある画素を画素Ｂ４を中心に両側３個毎、つまり画素Ｂ１からＢ７を選択する。同様に、画素Ｃ４を中心に走査線Ｃ上にある画素Ｃ１からＣ７を抽出する。
次に、補間画素Ｐ４を中心として点対称の位置関係にある走査線Ｂ上、及び走査線Ｃ上の画素をＢ１−Ｃ７、Ｂ２−Ｃ６、Ｂ３−Ｃ５、Ｂ４−Ｃ４、Ｂ５−Ｃ３、Ｂ６−Ｃ２、Ｂ７−Ｃ１の対として選択し、選択された一方の画素を中心に、走査線方向に３画素、走査線直交方向に３画素を抽出し、抽出された画素で構成される２つの領域３０１、３０２を作成する。なお、図２６には、画素Ｂ５と画素Ｃ３が選択され、領域３０１は画素Ｂ５を中心として画素Ａ４、Ａ５、Ａ６、画素Ｂ４、Ｂ５、Ｂ６および画素Ｃ４、Ｃ５、Ｃ６で構成され、領域３０２は画素Ｃ３を中心として画素Ｂ２、Ｂ３、Ｂ４、画素Ｃ２、Ｃ３、Ｃ４および画素Ｄ２、Ｄ３、Ｄ４で構成された場合を示している。
【００１５】
さらに、領域３０１、および領域３０２を構成する各画素に対して、各領域のの画素を中心として、各画素の信号に対し所定の係数を乗ずるフィルタリング処理を行い、各領域の走査線方向および走査線直交方向の低周波成分を抽出し、上記係数を乗じた画素信号を累積加算する処理を行う。この領域特定、フィルタリング処理および加算処理を、上記選択した画素ごとに行い、加算処理後の値をブロック信号Ｂ１ｂ、Ｂ２ｂ、Ｂ３ｂ、Ｂ４ｂ、Ｂ５ｂ、Ｂ６ｂ、Ｂ７ｂ、及びＣ１ｂ、Ｃ２ｂ、Ｃ３ｂ、Ｃ４ｂ、Ｃ５ｂ、Ｃ６ｂ、Ｃ７ｂ、Ｃ８ｂとして出力する。
【００１６】
例えば、画素Ｂ５を中心とした領域３０１において、画素Ｂ５の信号Ｂ(5)に対して１／４、画素Ａ５、画素Ｂ４、画素Ｂ６及び画素Ｃ５の信号Ａ(5)、Ｂ(4)、Ｂ(6)、及びＣ(5)に対して１／８、画素Ａ４、画素Ａ６、画素Ｃ４、及び画素Ｃ６の信号Ａ(4)、Ａ(6)、Ｃ(4)、及びＣ(6)に対して１／１６と各々所定係数を定め、ブロック信号Ｂ５ｂを
Ｂ５ｂ＝（Ａ(4)／１６）＋（Ａ(5)／８）＋（Ａ(6)／１６）＋（Ｂ(4)／８）＋（Ｂ(5)／４）＋（Ｂ(6)／８）＋（Ｃ(4)／１６）＋（Ｃ(5)／８）＋（Ｃ(6)／１６）
なる計算式から得る。
【００１７】
同様に、画素Ｃ３を中心とした領域３０２において、画素Ｃ３の信号Ｃ(3)に対して１／４、画素Ｂ３、画素Ｃ２、画素Ｃ４及び画素Ｄ３の信号Ｂ(3)、Ｃ(2)、Ｃ(4)及びＤ(3)に対して１／８、画素Ｂ２、画素Ｂ４、画素Ｄ２、及び画素Ｄ４の信号Ｂ(2)、Ｂ(4)、Ｄ(2)及びＤ(4)に対して１／１６と各々所定係数を定め、ブロック信号Ｃ３ｂを
Ｃ３ｂ＝（Ｂ(2)／１６）＋（Ｂ(3)／８）＋（Ｂ(4)／１６）＋（Ｃ(2)／８）＋（Ｃ(3)／４）＋（Ｃ(4)／８）＋（Ｄ(2)／１６）＋（Ｄ(3)／８）＋（Ｄ(4)／１６）
なる計算式から得る。
【００１８】
相関検出手段２２５は、ブロック信号生成手段２２４から出力されるブロック信号について、各画素対毎にその差分の絶対値を求め、差分の絶対値が最も小さい画素対を最も相関性の高い画素対であるとして、その画素対の位置を示す検出信号を補間手段２２６へと出力する。即ち、｜Ｂ１ｂ−Ｃ７ｂ｜、｜Ｂ２ｂ−Ｃ６ｂ｜、｜Ｂ３ｂ−Ｃ５ｂ｜、｜Ｂ４ｂ−Ｃ４ｂ｜、｜Ｂ５ｂ−Ｃ３ｂ｜、｜Ｂ６ｂ−Ｃ２ｂ｜、及び｜Ｂ７ｂ−Ｃ１ｂ｜の値を比較し、最も値の低い画素対を検出する。
【００１９】
補間手段２２６には、１Ｈ遅延手段２２１、２２２による走査線Ｂ、走査線Ｃの信号が入力され、相関検出手段２２５からの検出信号に基づき補間のための画素対を選択し、その画素の信号を加算し、利得を１／２とすることで補間画素Ｐ４を生成して出力する。
【００２０】
図２６に示す補間画素Ｐ４に対し最も相関性が高い画素対は、走査線Ｂ上の画素Ｂ５と走査線Ｃ上の画素Ｃ３の画素対であり、相関検出手段２２５は画素Ｂ５と画素Ｃ３を選択する検出信号を補間手段２２６に出力する。
したがって、画素Ｂ５−画素Ｐ４−画素Ｃ３と結ぶ直線が生成されるので、補間信号による境界線のボケやガタツキは発生せず、良好な補間を行うことができる。
【００２１】
【発明が解決しようとする課題】
しかし、実際の画像には、図２７に示すような幅の狭い線、すなわち、いわゆる細線がある場合がある。このような画像に対し、図２４に示す従来のライン平均走査線補間装置を用いると、補間画素Ｐ４の信号は、走査線Ｂ上の画素Ｂ４の信号Ｂ(4)と走査線Ｃ上の画素Ｃ４の信号Ｃ(4)との平均値により求められるので、画素Ｂ６−画素Ｐ４−画素Ｃ１を結ぶ線は画素Ｙで断線してしまう。その結果、斜め方向解像度が劣化し、境界線の切断やボケ、ガタツキが生じるという問題点がある。
【００２２】
また、同様に、図２７に示すような画像に対し、図２５に示す相関性の高い斜め方向の画素対を求めて補間信号を生成する走査線補間装置を用いると、相関性が高い方向を見出すことができず、補間信号を生成できない。即ち、図２５に示す走査線補間装置では、画素対Ｂ４−Ｃ４、Ｂ２−Ｃ６、及びＢ１−Ｃ７におけるブロック信号の絶対値が等しくなるので相関性も等しいと判断され相関性評価ができなくなるので、補間する画素対の方向を特定できない。
【００２３】
したがって、従来の相関性の高い斜め方向の画素により補間を行う走査線補間装置は、細線については良好な走査線補間を行うことができず、境界線の切断やボケ、ガタツキが生じたり、補間画素の相関方向を特定できないという問題点があった。
【００２４】
本発明は上記のような問題点に鑑みなされたもので、細線に対しても境界線の切断やボケ、ガタツキが生じることなく、良好な走査線補間を行うことができる走査線補間装置および走査線補間方法の提供を目的とする。
【００２５】
【課題を解決するための手段】
本発明に係わる走査線補間装置は、
映像信号の走査線の間を補間する補間走査線を生成する走査線補間装置であって、
上記補間走査線上の補間画素の位置を中心として、上記補間走査線に隣接する走査線上の点対称の位置にある画素を第１の画素対として２組以上選択し、当該第１の画素対における画素と走査線直交方向に隣接する画素を、上記第１の画素対における画素間を結ぶ直線と同一の方向に第２の画素対として選択し、上記第１の画素対における画素間の信号の差分絶対値と、上記第２の画素対における画素間の信号の差分絶対値の和を算出し、この差分絶対値の和の大きさに基づいて、相関性が高い第１の画素対の方向を選択し、該選択された方向を、相関性が高い補間方向の候補として出力する相関方向検出手段と、
上記第１の画素対における一方の画素と、該一方の画素と走査線直交方向に隣接する上記第２の画素対における画素の組と、上記第１の画素対における他方の画素と、該他方の画素と走査線直交方向に隣接する第２の画素対における画素の組を第３の画素対として選択し、
当該第３の画素対における画素の信号の差分を算出し、
算出された第３の画素対における差分が全て第１の所定の値より大きく、
上記第１の画素対における一方の画素とその画素に対して走査線直交方向の一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における上記一方の画素とその画素に対して走査線直交方向の他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互いに不一致であり、
上記第１の画素対における他方の画素とその画素に対して走査線直交方向の一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における上記他方の画素とその画素に対して走査線直交方向の他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互いに不一致であり、かつ
上記第１の画素対における一方の画素とその画素に対して走査線直交方向の一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における他方の画素とその画素に対して走査線直交方向の上記一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互いに一致し、
上記第１の画素対における上記一方の画素とその画素に対して走査線直交方向の他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における上記他方の画素とその画素に対して走査線直交方向の上記他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互い一致する
と判定された場合に、上記第１の画素対における方向に細線が存在することを検出し、検出結果を出力する細線検出手段と、
上記第２の画素対における画素であって、互いに走査線直交方向に隣接する画素の組を第４の画素対として選択し、
上記第２の画素対における画素間の信号の差分と、
当該第４の画素対における画素間の信号の差分と、
上記補間画素と走査線直交方向に隣接する画素間の信号の差分とを算出し、
上記第２の画素対における画素間の信号の差分が第２の所定の値より小さく、
当該第４の画素対における画素間の信号の差分の符号と、上記補間画素と走査線直交方向に隣接する画素間の信号の差分の符号が互いに一致し、
当該第４の画素対における画素間の信号の差分と、上記補間画素と走査線直交方向に隣接する画素間の信号の差分のうちの最大値と最小値の差が第３の所定の値より小さく、かつ、最小値が第４の所定の値より大きい
場合に、上記第１の画素対における方向に斜め方向のエッジが存在することを検出し、検出結果を出力するエッジ検出手段と、
上記相関方向検出手段から出力される補間方向の候補に対し、上記細線検出手段により細線を検出されるか、または上記エッジ検出手段により斜め方向のエッジが検出された場合、上記補間方向の候補を補間方向と決定する相関方向決定手段とを備え、
当該補間方向に基づき上記補間画素の信号を決定し、上記補間走査線を生成することとしたものである。
【００２６】
【発明の実施の形態】
本発明に係わる走査線補間装置は、まず、相関方向検出手段により補間画素を点対称の中心とした複数の方向の中から相関性の高い方向を選択し、その相関方向を画素信号Ｐ(0)を生成するための補間方向の候補として出力する。
出力された補間方向に従い、補間画素が細線上にあるのか、図形のエッジ上にあるのかを細線検出手段、及びエッジ検出手段により検出し、検出結果を相関方向決定手段に出力する。
相関方向決定手段は、検出結果に従い、必要であれば相関方向の候補を補正する。
相関方向決定手段から出力された相関方向の候補に従い、相関方向補間手段は補間方向を決定し、補間画素の画素信号を生成し、補間画素信号を出力する。
なお、相関方向決定手段から出力された相関方向を一旦、孤立方向補正手段に入力し、隣接する画素における方向と比較し、必要であれば方向の補正をしてもよい。
以下、本発明に係わる走査線補間装置を図を用いて説明する。
【００２７】
実施の形態１．
図１に本発明の走査線補間装置の一実施形態の構成を示す。
本実施の形態に係る走査線補間装置は、差分絶対値算出手段４、相関値算出手段５、平均値算出手段６、及び最小相関値方向選択手段７からなる相関方向検出手段１３により相関方向の候補を定め、相関方向決定手段１０において相関方向検出手段１３、細線検出手段８、及びエッジ検出手段９の出力から最終的な相関方向の候補を定め、さらに孤立方向補正手段１１で周囲との整合を取った後、相関方向補間手段１２により相関方向を決定し、補間信号を出力する。
【００２８】
図１において、入力端子２００から入力されたインターレース方式の映像信号は、入力映像信号を１Ｈ分遅延する機能を有する第１の遅延手段１、差分絶対値算出手段４、細線検出手段８、及びエッジ検出手段９に入力される。第１の遅延手段１から出力された信号は、第１の遅延手段１と同様の機能を有する第２の遅延手段２、差分絶対値算出手段４、細線検出手段８、エッジ検出手段９、及び相関方向補間手段１２に入力される。同様に、第２の遅延手段２から出力された信号は、第１の遅延手段１と同様の機能を有する第３の遅延手段３、差分絶対値算出手段４、細線検出手段８、エッジ検出手段９、及び相関方向補間手段１２に入力される。第３の遅延手段３から出力された信号は、差分絶対値算出手段４、細線検出手段８、及びエッジ検出手段９に入力される。
【００２９】
次に相関方向検出手段１３における各手段の機能について説明する。
差分絶対値算出手段４は、入力映像信号、及び第１から第３の遅延手段から出力された信号を受け取り、補間走査線上の補間画素の位置を中心として、点対称の位置にある隣接走査線上の画素を第１の画素対として２組以上選択し、各組における画素間の信号の差分絶対値を算出する。また、第１の画素対における画素と走査線直交方向に隣接する画素を、第１の画素対における画素間を結ぶ直線と同一の方向に第２の画素対として選択し、第２の画素対における画素間の差分絶対値を算出する。そして、それら差分絶対値を相関値算出手段５に出力する。
【００３０】
相関値算出手段５は、差分絶対値算出手段４の出力から同じ方向における第１の画素対における画素間の差分絶対値と第２の画素対における画素間の差分絶対値とを選択し、各方向における相関性を示す値（以下、相関値と呼ぶ）を算出し、平均値算出手段６及び最小相関値方向選択手段７に出力する。平均値算出手段６は、相関値算出手段５の出力である相関値から所定の領域における相関性を検出し、その結果を最小相関値方向選択手段７に出力する。最小相関値方向選択手段７は、相関値算出手段５の出力である相関値と、平均値算出手段６の出力結果から、最も相関性が高い方向（以下、相関方向と呼ぶ）を補間方向の候補として選択する。
【００３１】
次に細線検出手段８の機能について説明する。細線検出手段８は、入力映像信号、及び第１から第３の遅延手段の出力された信号を受取り、各方向における細線の存在を検出し、その検出結果を相関方向決定手段１０に出力する。
さらにエッジ検出手段９は、入力映像信号、及び第１から第３の遅延手段から出力された信号を受取り、各方向における図形のエッジの存在を検出し、その検出結果を相関方向決定手段１０に出力する。すなわちエッジ検出手段９は、細線検出手段８が検出する細線より面積の大きい図形の境界を検出することを目的としている。
【００３２】
相関方向決定手段１０は、細線検出手段８、エッジ検出手段９からの結果に基づき、相関方向検出手段１３からの相関方向を補正して、その結果を孤立方向補正手段１１に出力する。孤立方向補正手段１１は、補間画素における相関方向と、その補間画素に隣接する補間画素の相関方向を比較し、孤立した方向を除去し、その結果を相関方向補間手段１２に出力する。相関方向補間手段１２は孤立方向補正手段１１からの相関方向に基づき、補間画素の信号を最終的に決定し、補間信号を出力する。
【００３３】
図２は、入力映像信号、第１の遅延手段１、第２の遅延手段２、及び第３の遅延手段３から出力された信号おける画素を模式的に示した図である。第１の走査線Ａは、第３の遅延手段３から出力された信号により構成された走査線であり、第２の走査線Ｂは、第２の遅延手段２から出力された信号により構成された走査線であり、第３の走査線Ｃは、第１の遅延手段１から出力された信号により構成された走査線であり、第４の走査線Ｄは、入力映像信号により構成された走査線である。
【００３４】
図において、隣接する走査線Ｂ及び走査線Ｃとの間に、補間走査線Ｐを生成する場合について説明する。補間走査線Ｐ上の補間画素Ｐ０の信号Ｐ(0)とすると、補間画素に走査線直交方向に隣接し走査線Ｂ上にある画素Ｂ０の信号をＢ(0)、補間画素に走査線直交方向に隣接し走査線Ｃ上にある画素Ｃ０の信号をＣ(0)とする。
【００３５】
そして、画素Ｂ０に隣接し走査線走査方向にある画素Ｂ１の信号をＢ(1)とし、画素Ｂ１に走査線方向に隣接する画素Ｂ２の信号をＢ(2)とする。このように、画素Ｂ０から順に走査線走査方向に隣接する画素の位置と信号とを、正の整数を用いて表す。一方、画素Ｂ０に隣接し走査線方向とは逆方向にある画素Ｂ-1の信号をＢ(-1)とし、画素Ｂ-1に走査線方向とは逆方向に隣接する画素Ｂ-2の信号をＢ(-2)とする。このように画素Ｂ０から順に走査線方向とは逆の方向に隣接する画素の位置と信号とを、負の整数を用いて表す。従って、走査線Ｂ上の画素の信号は、画素Ｂ(0)から走査線方向にＢ(1)、Ｂ(2)、Ｂ(3)、・・・と並び、画素Ｂ０から走査線方向とは逆方向にＢ(-1)、Ｂ(-2)、Ｂ(-3)、・・・と並ぶ。
走査線Ｃ上の画素の位置と信号も走査線Ｂと同様に、補間画素Ｐ０に隣接する画素Ｃ０から走査線方向に画素の信号がＣ(1)、Ｃ(2)、Ｃ(3)、・・・と並び、画素Ｃ０から走査線方向とは逆方向にＣ(-1)、Ｃ(-2)、Ｃ(-3)、・・・と並ぶ。
【００３６】
また、補間画素Ｐ(0)を中心として点対称の位置にある画素Ｂaと画素Ｃ-aとを結ぶ直線の方向を方向ａと定める（ａは整数）。即ち、画素Ｐを通り、画素Ｂ０と画素Ｃ０とを結ぶ直線の方向は方向０、画素Ｐ０を通り画素Ｂ１と画素Ｃ-1とを結ぶ直線の方向は方向１、画素Ｐ０を通り画素Ｂ２と画素Ｃ-2とを結ぶ直線の方向は方向２となる。一方、画素Ｐ０を通り画素Ｂ-1と画素Ｃ１とを結ぶ直線の方向は方向−１、画素Ｐ０を通り画素Ｂ-2と画素Ｃ２とを結ぶ直線の方向は方向−２となる。図２には、方向−５から方向５までを示している。
【００３７】
＜相関方向検出手段＞
図１に示した走査線補間装置では、相関方向検出手段１３から出力された相関方向が、補間画素を生成する際の補間方向の最有力候補となる。
まず、相関方向検出手段１３における各手段の動作について、詳細に説明する。
【００３８】
＜差分絶対値算出手段＞
差分絶対値算出手段４で算出された差分絶対値は、相関方向検出手段１３における各手段にて、相関方向の候補を決定するために用いられる。
差分絶対値算出手段４では、まず、補間画素Ｐ０を中心としたそれぞれの方向に対して、走査線Ｂ上、Ｃ上に存在する各方向の画素を第１の画素対として選択し、第１の画素対における画素間の信号の差分絶対値を算出するとともに、第１の画素対における画素と走査線直交方向に隣接する画素を、第１の画素対における画素間を結んだ直線と同一の方向に第２の画素対として選択し、第２の画素対における画素間の信号の差分絶対値も算出する。
ここで、差分絶対値の大きさは、各画素間における信号値の近さを示す。即ち、差分絶対値が小さい場合は、画素間の信号の差が小さいので、画素対の相関性が高い。一方、差分絶対値が大きい場合は、画素間の信号の差が大きいので、画素対の相関性が小さいといえる。
【００３９】
例えば、方向−５の場合について図３に示す。まず、走査線Ｂ上の画素Ｂ-5と走査線Ｃ上の画素Ｃ５とを抽出し、画素Ｂ-5の信号Ｂ(-5)と画素Ｃ５の信号Ｃ(5)との差分絶対値Ｌ２(-5)を算出する。従って、Ｌ２(-5)はＢ(-5)とＣ(5)とを用いて第１の差分絶対値をＬ２(-5)＝｜Ｂ(-5)−Ｃ(5)｜と表すことができる。そして、画素Ｂ-5に走査線直交方向に隣接し走査線Ａ上にある画素Ａ-5、画素Ｂ-5に走査線直交方向に隣接し隣接し走査線Ｃ上にある画素Ｃ-5、画素Ｃ５に走査線直交方向に隣接し走査線Ｂ上にある画素Ｂ５、及び画素Ｃ５に走査線直交方向に隣接し走査線Ｄ上にある画素Ｄ５の各画素を抽出する。さらに、これら画素に対応する信号Ａ(-5)、Ｃ(-5)、Ｂ(5)、及びＤ(5)を、各画素対における画素間を直線で結ぶ場合、画素Ｂ-5と画素Ｃ５とを結ぶ直線と平行なるように、第２の画素対として選択し組み分けする。従って、画素Ａ-5と画素Ｂ５との画素対、画素Ｃ-5と画素Ｄ５との画素対の２組に分けて選択することになる。最後に、第２の差分絶対値Ｌ１(-5)＝｜Ａ(-5)−Ｂ(5)｜、Ｌ３(-5)＝｜Ｃ(-5)−Ｄ(5)｜を算出する。
【００４０】
方向−４の場合も、方向−５の場合と同様となる。即ち、まず、走査線Ｂ上の画素Ｂ-4と走査線Ｃ上の画素Ｃ４とを抽出し、画素Ｂ-4に対応する信号Ｂ(-4)の信号と画素Ｃ４に対応する信号Ｃ(4)との差分絶対値Ｌ２(-4)を算出する。従って、Ｌ２(-4)はＢ(-4)とＣ(4)とを用いて、第１の差分絶対値をＬ２(-4)＝｜Ｂ(-4)−Ｃ(4)｜と表すことができる。そして、画素Ｂ-4に隣接し走査線Ａ上にある画素Ａ-4、画素Ｂ-4に隣接し走査線Ｃ上にある画素Ｃ-4、画素Ｃ４に隣接し走査線Ｂ上にある画素Ｂ４、及び画素Ｃ４に隣接し走査線Ｄ上にある画素Ｄ４を抽出する。さらに、これらの画素に対応する信号Ａ(-4)、Ｃ(-4)、Ｂ(4)、及びＤ(4)を、各画素対における画素間を直線で結ぶ場合、画素Ｂ-4と画素Ｃ４とを結ぶ直線と平行なるように、選択し組み分けする。従って、画素Ａ-4と画素Ｂ４との画素対、画素Ｃ-4と画素Ｄ４との画素対の２組に分けて選択することになる。最後に、第２の差分絶対値Ｌ１(-4)＝｜Ａ(-4)−Ｂ(4)｜、Ｌ３(-4)＝｜Ｃ(-4)−Ｄ(4)｜を算出する。
【００４１】
同様の手順により、方向−３に対しては、画素信号Ａ(-3)、Ｂ(-3)、Ｃ(-3)、Ｂ(3)、Ｃ(3)、及びＤ(3)を用いて第１及び第２の差分絶対値Ｌ１(-3)、Ｌ２(-3)、及びＬ３(-3)を、Ｌ１(-3)＝｜Ａ(-3)−Ｂ(3)｜、Ｌ２(-3)＝｜Ｂ(-3)−Ｃ(3)｜、Ｌ３(-3)＝｜Ｃ(-3)−Ｄ(3)｜と算出し、方向−２に対しては、画素信号Ａ(-2)、Ｂ(-2)、Ｃ(-2)、Ｂ(2)、Ｃ(2)、及びＤ(2)を用いて第１及び第２の差分絶対値Ｌ１(-2)、Ｌ２(-2)、及びＬ３(-2)を、Ｌ１(-2)＝｜Ａ(-2)−Ｂ(2)｜、Ｌ２(-2)＝｜Ｂ(-2)−Ｃ(2)｜、Ｌ３(-2)＝｜Ｃ(-2)−Ｄ(2)｜と算出し、方向−１に対しては、画素信号Ａ(-1)、Ｂ(-1)、Ｃ(-1)、Ｂ(1)、Ｃ(1)、及びＤ(1)を用いて第１及び第２の差分絶対値Ｌ１(-1)、Ｌ２(-1)、及びＬ３(-1)を、Ｌ１(-1)＝｜Ａ(-1)−Ｂ(1)｜、Ｌ２(-1)＝｜Ｂ(-1)−Ｃ(1)｜、Ｌ３(-1)＝｜Ｃ(-1)−Ｄ(1)｜をそれぞれ算出する。
【００４２】
また、方向５の場合について図４に示す。この場合も差分絶対値Ｒ１(5)、Ｒ２(5)、及びＲ３(5)を算出する手順は、上記で説明した手順と同様である。
まず、走査線Ｂ上の画素Ｂ５と走査線Ｃ上の画素Ｃ-5とを抽出し、画素Ｂ５の信号Ｂ(5)と画素Ｃ-5の信号Ｃ(-5)との差分絶対値Ｒ２(5)を算出する。従って、Ｒ２(5)はＢ(5)とＣ(-5)とを用いて、第１の差分絶対値をＲ２(5)＝｜Ｂ(5)−Ｃ(-5)｜と表すことができる。そして、画素Ｂ５に隣接し走査線Ａ上にある画素Ａ５、画素Ｂ５に隣接し走査線Ｃ上にある画素Ｃ５、画素Ｃ-5に隣接し走査線Ｂ上にある画素Ｂ-5、及び画素Ｃ-5に隣接し走査線Ｄ上にある画素Ｄ-5の画素を抽出する。さらに、これら画素に対応する信号Ａ(5)、Ｃ(5)、Ｂ(-5)、及びＤ(-5)を、各画素対における画素間を直線で結ぶ場合、画素Ｂ５と画素Ｃ-5とを結ぶ直線と平行なるように、選択し組み分けする。従って、画素Ａ５と画素Ｂ-5との画素対、画素Ｃ５と画素Ｄ-5との画素対の２組に分けて選択することになる。最後に、第２の差分絶対値Ｒ１(5)＝｜Ａ(5)−Ｂ(-5)｜、Ｒ３(5)＝｜Ｃ(5)−Ｄ(-5)｜を算出する。
【００４３】
同様に、各方向ごとに、方向４の場合における差分絶対値Ｒ１(4)、Ｒ２(4)、及びＲ３(4)、方向３の場合における第１及び第２の差分絶対値Ｒ１(3)、Ｒ２(3)、及びＲ３(3)、方向２の場合における第１及び第２の差分絶対値Ｒ１(2)、Ｒ２(2)、及びＲ３(2)、方向１の場合における第１及び第２の差分絶対値Ｒ１(1)、Ｒ２(1)、及びＲ３(1)をそれぞれ算出する。
【００４４】
図５〜７は差分絶対値算出手段４の一構成例を示すブロック図であり、２１ａ〜２１ｋ、２２ａ〜２２ｋ、２３ａ〜２３ｋ、２４ａ〜２４ｋは１画素分（以下、「１Ｄ」と言う。）の信号を遅延する１Ｄ遅延手段、３１ａ〜３１ｅ、３１ｇ〜３１ｋ、３２ａ〜３２ｅ、３３ｇ〜３３ｋ、３３ａ〜３３ｅ、３３ｇ〜３３ｋは差分算出手段、４１、４２および４３は絶対値算出手段であり、図５〜図７における同一の符号は同一の要素を示す。
【００４５】
入力映像信号及び、第１から第３の１Ｈ遅延手段１〜３からの信号は、それぞれ走査線Ｄ、Ｃ、Ｂ、Ａの信号として入力され、１Ｄ遅延手段により遅延されることで、図２に示すような画素の信号を得る。各画素の信号は、それぞれの方向に対応する画素の対の差分値を得るため、差分算出手段３１ａ〜３１ｅ、３１ｇ〜３１ｋ、３２ａ〜３２ｅ、３３ｇ〜３３ｋ、３３ａ〜３３ｅ、３３ｇ〜３３ｋへと入力され、減算後の差分絶対値は絶対値算出手段４１〜４３で求められ、その値が出力される。
【００４６】
＜相関値算出手段＞
相関値算出手段５は、差分絶対値算出手段４から第１及び第２の差分絶対値Ｌ１(-5)〜Ｌ１(-1)、Ｌ２(-5)〜Ｌ２(-1)、Ｌ３(-5)〜Ｌ３(-1)、Ｒ１(5)〜Ｒ１(1)、Ｒ２(5)〜Ｒ２(1)、及びＲ３(5)〜Ｒ３(1)が入力され、これらの差分絶対値を用い、各方向における差分絶対値を加算した相関値を算出する。
上記で説明したように、差分絶対値は選択された画素対における画素間の信号値の近さを示し、差分絶対値が小さい場合は、画素対の相関性が高く、差分絶対値が大きい場合は、画素対の相関性が小さいといえる。従って、同一方向における差分絶対値を加算した相関値は、値が大きければその方向における相関性が低く、値が小さければ相関性が高い。
【００４７】
図８は、相関値算出手段５の一構成例を示すブロック図であり、５１ａ〜５１ｅおよび５１ｇ〜５１ｋは、各方向における画素対から算出された第１及び第２の差分絶対値を加算する加算手段である。
加算手段５１ａ〜５１ｅは、各方向ａ（ａは負の数）における第１及び第２の差分絶対値Ｌ１(a)、Ｌ２(a)、及びＬ３(a)を加算した相関値ＬＵ(a)＝Ｌ１(a)＋Ｌ２(a)＋Ｌ３(a)を算出する。同様に、加算手段は、各方向ａ（ａは正の数）における第１及び第２の差分絶対値Ｒ１(a)、Ｒ２(a)、及びＲ３(a)を加算した相関値ＲＵ(a)＝Ｒ１(a)＋Ｒ２(a)＋Ｒ３(a)を算出する。この相関値ＬＵ(a)及びＲＵ(a)は、方向ａにおける相関性を示す値である。
【００４８】
＜平均値値算出手段＞
平均値算出手段６は、相関値算出手段５から入力された相関値ＬＵ(-5)からＬＵ(-1)及び相関値ＲＵ(1)からＲＵ(5)を用いて、隣接する方向を考慮した相関性を算出する。隣接する方向を考慮した相関性を算出することにより、全体の傾向を考慮した相関方向を検出でき、誤検出が減る。
【００４９】
平均値算出手段６は、方向−５、−４、及び−３からなる第１の領域、方向−４、−３、及び−２からなる第２の領域、方向−３、−２、及び−１からなる第３の領域、並びに方向５、４、及び３からなる第４の領域、方向４、３、及び２からなる第５の領域、方向３、２、及び１からなる第６の領域の各領域において、相関値の平均値を算出し、最小相関値方向選択手段７に出力する。
【００５０】
図９は、平均値算出手段６の一構成例を示すブロック図であり、６１ａ〜６１ｃ及び６１ｄ〜６１ｆは、相関値の平均値を算出する平均値算出器である。第１の領域（方向−５、−４、−３）については、相関値ＬＵ(-5)、ＬＵ(-4)、及びＬＵ(-3)が平均値算出器６１ａに入力され、３方向での相関値の平均値ＬＵＡ１＝（ＬＵ(-5)＋ＬＵ(-4)＋ＬＵ(-3)）／３を算出する。同様に、第２の領域（方向−４、−３、−２）については、平均値算出器６１ｂが平均値ＬＵＡ２＝（ＬＵ(-4)＋ＬＵ(-3)＋ＬＵ(-2)）／３を算出し、第３の領域（−３、−２、−１）については、平均値算出器６１ｃが平均値ＬＵＡ３＝（ＬＵ(-3)＋ＬＵ(-2)＋ＬＵ(-1)）／３を算出する。
【００５１】
また、第４の領域（方向５、４、３）については、相関値ＲＵ(5)、ＲＵ(4)、及びＲＵ(3)が平均値算出器６１ｄに入力され、３方向での相関値の平均値ＲＵＡ４＝（ＲＵ(5)＋ＲＵ(4)＋ＲＵ(3)）／３を算出する。同様に、第５の領域（方向４、３、２）については、平均値算出器６１ｅが平均値ＲＵＡ５＝（ＲＵ(4)＋ＲＵ(3)＋ＲＵ(2)）／３算出し、第６の領域（３、２、１）については、平均値算出器６１ｆが平均値ＲＵＡ６＝（ＲＵ(3)＋ＲＵ(2)＋ＲＵ(1)）／３を算出する。
【００５２】
＜最小相関値方向選択手段＞
最小相関値方向選択手段７は、相関値算出手段５から入力された各方向における相関値ＬＵ(-5)〜ＬＵ(-1)、及び相関値ＲＵ(5)〜ＲＵ(1)、並びに平均値算出手段６から入力された第１から第６の領域における相関値の平均値ＬＵＡ１〜ＬＵＡ３、及び平均値ＲＵＡ４〜ＲＵＡ６を用いて相関方向を選択し、補間方向の候補として出力する。
【００５３】
まず、最小相関値方向選択手段７は、相関値の平均値が最小となる領域を選択する。そして、選択された領域内において最も小さい相関値を持つ方向を選択し、その方向を最も相関性が高い補間方向の候補として出力する。
即ち、相関値の平均が最小となる領域は、第１から第６の領域の中で最も相関性が高い方向の領域と考えることができ、さらにその領域内で最も相関値が小さい方向は、最も相関性が高い方向と考えられるからである。
【００５４】
図１０は、最小相関値方向選択手段７の一構成例を示すブロック図である。図において、７１ａ〜７１ｆは第１から第６の領域内での最小相関値を持つ方向を検出し、その方向を出力する最小相関値方向検出手段、７２は第１から第６の領域における相関値の平均値から、最小の平均値を持つ領域を選択する最小平均値選択手段、７３は最小平均値選択手段７２が選択した領域において、最も小さい相関値を持つ方向を選択し、その選択した方向を示す信号ｄｉｒ１を出力する相関方向選択手段である。
【００５５】
最小相関値方向検出手段７１ａ〜７１ｆには、第１から第６の領域内における各方向に対応した相関値ＬＵ(a)又はＲＵ(a)が入力され、各領域内で最小の相関値を持つ方向を検出し、その方向を出力する。
例えば、第１の領域（方向−５、−４、−３）については、最小相関値方向検出手段７１ａに各方向の相関値ＬＵ(-5)、ＬＵ(-4)、及びＬＵ(-3)が入力され、その中から最小の相関値を持つ方向を検出し、その方向を出力する。
【００５６】
同様に、第２の領域（方向−４、−３、−２）については、最小相関値方向検出手段７１ｂに相関値ＬＵ(-4)、ＬＵ(-3)、及びＬＵ(-2)が入力される。第３の領域（−３、−２、−１）については、最小相関値方向検出手段７１ｃに相関値ＬＵ(-3)、ＬＵ(-2)、ＬＵ(-1)が入力される。第４の領域（方向５、４、３）については、最小相関値方向検出手段７１ｄに相関値ＲＵ(5)、ＲＵ(4)、及びＲＵ(3)が入力され、第５の領域（方向４、３、２）については、最小相関値方向検出手段７１ｅに相関値ＲＵ(4)、ＲＵ(3)、及びＲＵ(2)が入力され、第６の領域（３、２、１）については、最小相関値方向検出手段７１ｆに相関値ＲＵ(3)、ＲＵ(2)、及びＲＵ(1)が入力される。そして、各最小相関値方向検出手段７１ｂから７１ｆにおいて、各領域内で最小の相関値を持つ方向が検出され、その方向を示す信号が出力される。
【００５７】
なお、各領域内で最小の相関値を持つ方向が２個以上ある場合は、方向０である走査線直交方向に近い方向を検出するものとする。また、方向を示す信号としては、図２で定義した正の値１〜５、負の値−１〜−５、又は垂直方向０のいずれかの値を出力する。
【００５８】
最小平均値選択手段７２は、第１から第６の領域における相関値の平均値ＬＵＡ１〜３、及び相関の平均値ＲＵＡ４〜６から最小値となる領域を選択し、選択された領域を示す信号ｄａｖｇを出力する。選択手順としては、平均値ＬＵＡ１〜３から最小の値となる平均値を抽出し、同様に平均値ＲＵＡ４〜６から最小の値となる領域を抽出し、さらに抽出された両者を比較してより平均値の小さい領域を選択する方法がある。
【００５９】
まず、第１の領域から第３の領域において、例えば平均値ＬＵＡ１が最小の場合、第１の領域が抽出されたことを示す信号ｄａｖｇ＝１を出力する。同様に、平均値ＬＵＡ２が最小の場合、第２の領域が抽出されたことを示す信号ｄａｖｇ＝２を出力する。一方、第４の領域から第６の領域において、例えば平均値ＲＵＡ１が最小の場合、第４の領域が抽出されたことを示す信号ｄａｖｇ＝４を出力する。
次に、抽出された両者の値を比較して、より平均値が小さい領域ａを選択し、信号ｄａｖｇ＝ａ（ａは整数）を出力する。なお、両者の値が同じである場合は、走査線直交方向である０を選択し、方向０が選択されたことを示す信号ｄａｖｇ＝０を出力する。
【００６０】
相関方向選択手段７３は、まず最小平均値選択手段７２において選択された領域ｄａｖｇに対応する最小相関値方向検出手段を特定する。そして、特定された最小相関値方向検出手段における領域内で最小の相関値を持つ方向を選択し、選択した方向を示す信号ｄｉｒ１を補間方向の候補として出力する。例えば、最小平均値選択手段７２が相関値の平均値が最小となる領域として第１の領域を選択した場合、最小平均値選択手段７２は信号ｄａｖｇ＝１を出力する。この信号ｄａｖｇ＝１に基づいて、相関方向選択手段７３は、最小相関値方向検出手段７１ａから出力された、第１の領域内における最小の相関値を持つ方向を出力する。例えば方向１が最小の相関値である場合、相関方向選択手段７３は相関方向ｄｉｒ１＝１を出力する。
【００６１】
同様に、最小平均値選択手段７２が相関値の平均値が最小となる領域として第２の領域を選択した場合、最小平均値選択手段７２は信号ｄａｖｇ＝２を出力する。この信号ｄａｖｇ＝２に基づいて、相関方向選択手段７３は、最小相関値方向検出手段７１ｂから出力された、第２の領域内における最小の相関値を持つ方向を選択する。以下同様に、最小平均値選択手段７２が選択した領域に基づき、最小相関値方向検出手段７１から最小の相関値をもつ領域を出力する。
なお、信号ｄａｖｇ＝０をである場合は、相関性の高い方向が走査線直交方向であるので、相関方向を方向ｄｉｒ１＝０として出力する。
【００６２】
以上の説明したように、相関方向検出手段１３は補間画素Ｐ０を点対称の中心とした１１の方向の中から相関性の高い方向を選択し、その相関方向を画素信号Ｐ(0)を生成するための補間方向の候補として決定する。
また、相関方向検出手段１３は必ず一方向の相関方向を検出するので、補間方向の候補がない事態を防止することができる。
【００６３】
＜細線検出手段＞
次に、相関方向検出手段１３において相関性が高いと判断された方向にはどのような図形が存在しているのかを細線検出手段８とエッジ検出手段９で判断する。特に、細線検出手段８の出力結果と相関方向検出手段１３の出力結果とから、細線の存在が検出可能となる。すなわち、細線検出手段８は上記で説明した相関方向検出手段１３とは関係無く独自に各方向における細線の有無を検出し、各方向ごとの検出結果を相関方向決定手段１０に出力する。相関方向決定手段１０において、相関方向検出手段１３から出力された相関性が高いと判断された方向と、細線検出手段８から出力されたその方向における細線の有無とを比較し、細線の有無を判断する。
また、相関方向検出手段１３は背景上にある画素対を相関性が高いと誤って検出している可能性があるので、相関方向検出手段１３の出力結果と細線検出手段８の出力結果とを比較することによりそのような誤検出を排除することも可能となる。
つまり、本実施の形態に係る発明において細線検出手段８を備えることにより、相関方向検出手段１３にて検出した方向が細線であるかを判断することが可能となる。
【００６４】
細線検出手段８の機能について例を用いて説明する。
例えば、図２における画素Ｂ-5と、画素Ｂ-5に走査線直交方向に隣接する画素Ａ-5、Ｃ-5の合計３画素を考える。幅が狭い細線が存在すると３画素の中間に位置する画素Ｂ-5のみが細線上にあり、その他の上下に位置する２つの画素Ａ-5、Ｃ-5は細線上にはない。従って、中間に位置する画素の信号Ｂ(-5)と上方向に隣接する画素の信号Ａ(-5)との差分値Ｂ(-5)−Ａ(-5)と、中間に位置する画素の信号Ｂ(-5)と下方向に隣接する画素の信号Ｃ(-5)との差分値Ｃ(-5)−Ｂ(-5)とを比較すると、両者の差分値は所定値より大きくなり、かつ両者の符号は反対となる。
【００６５】
同様に、画素Ｃ５と、画素Ｃ５に走査線直交方向に隣接する画素Ｂ５、Ｄ５の合計３画素を考える。この場合も幅が狭い細線が存在すると、差分値Ｃ(５)−Ｂ(５)と、差分値Ｄ(５)−Ｃ(５)とを比較すると、両者の差分値は所定値より大きくなり、かつ両者の符号は反対となる。
さらに、細線が方向−５に存在するとすれば、差分値Ｂ(-5)−Ａ(-5)とＣ(５)−Ｂ(５)とが同一符号となり、差分値Ｃ(-5)−Ｂ(-5)とＤ(５)−Ｃ(５)とが同一符号となる。
細線検出手段８は上記で説明した現象を検出し、細線の存在を検出する。
【００６６】
図１１及び図１２は、細線境界検出手段８の一構成例を示すブロック図である。図１１において、２１ａ〜２１ｋ、２２ａ〜２２ｋ、２３ａ〜２３ｋ、２４ａ〜２４ｋは１Ｄ遅延手段であり、図５〜７におけるものと同一である。８１ａ〜８１ｅ、８１ｇ〜８１ｋ、８２ａ〜８２ｅ、８２ｇ〜８２ｋ、８３ａ〜８３ｅ、８３ｇ〜８３ｋは画素間の信号の差分を算出する差分算出手段である。
図１２において、８４ａ〜８４ｅ、８４ｇ〜８４ｋは各方向毎に、走査線直交方向に隣接する画素の差分値を比較する比較手段である。
【００６７】
入力映像信号及び、第１から第３の１Ｈ遅延手段１〜３からの信号は、それぞれ走査線Ｄ、Ｃ、Ｂ、Ａの信号として細線境界手段８に入力され、１Ｄ遅延手段により遅延されることで、図２に示すような画素の信号を得る。各画素の信号は、走査線直交方向に対応する画素の対の差分値を得るため、差分算出手段８１ａ〜８１ｅ、８１ｇ〜８１ｋ、８２ａ〜８２ｅ、８２ｇ〜８２ｋ、８３ａ〜８３ｅ、８３ｇ〜８３ｋにそれぞれ入力される。
【００６８】
例えば、図３に示すように、方向−５である画素Ｂ-5と画素Ｃ５とが第１の画素対として選択された場合を考える。まず、画素Ｂ-5に隣接し走査線Ａ上にある画素Ａ-5、画素Ｂ-5に隣接し走査線Ｃ上にある画素Ｃ-5、画素Ｃ５に隣接し走査線Ｂ上にある画素Ｂ５、及び画素Ｃ５に隣接し走査線Ｄ上にある画素Ｄ５の各画素を抽出する。さらに、これら画素に対応する信号Ａ(-5)、Ｃ(-5)、Ｂ(5)、及びＤ(5)と、画素Ｂ-5に対応する信号Ｂ(-5)、画素Ｃ５に対応する信号Ｃ(5)から、走査線直交方向に隣接する画素を第３の画素対として選択し組み分けする。従って、画素Ａ-5と画素Ｂ-5との画素対、画素Ｂ-5と画Ｃ-5との画素対、画素Ｂ５と画素Ｃ５との画素対、及び画素Ｃ５と画素Ｄ５との画素対の合計４組に分けて選択することになる。最後に、それぞれの画素対に対応する信号の差分値ｔｌ１(-5)＝Ａ(-5)−Ｂ(-5)、ｔｌ２(-5)＝Ｂ(-5)−Ｃ(-5)、ｔｌ２(5)＝Ｂ(5)−Ｃ(5)、及びｔｌ３(5)＝Ｃ(5)−Ｄ(5)を算出する。
【００６９】
この場合、差分値ｔｌ１(-5)は図１１における差分算出手段８１ｋにより求められ、差分値ｔｌ２(-5)は差分算出手段８２ｋにより求められ、差分値ｔｌ２(5)は差分算出手段８２ａにより求められ、差分値ｔｌ３(5)は差分算出手段８３ａにより求められる。
【００７０】
同様に、方向−４である画素Ｂ-4と画素Ｃ４とが第１の画素対として選択された場合を考える。まず、走査線Ａ上にあり画素Ｂ-4に隣接する画素Ａ-4、走査線Ｃ上にあり画素Ｂ-4に隣接する画素Ｃ-4、走査線Ｂ上にあり画素Ｃ４に隣接する画素Ｂ４、及び走査線Ｄ上にあり画素Ｃ４に隣接する画素Ｄ４の画素をそれぞれ抽出する。さらに、これら画素に対応する信号Ａ(-4)、Ｃ(-4)、Ｂ(4)、及びＤ(4)と、画素Ｂ-4に対応する信号Ｂ(-4)、画素Ｃ４に対応する信号Ｃ(4)から、走査線直交方向に隣接する画素を第３の画素対として選択し組み分けする。従って、画素Ａ-4と画素Ｂ-4との画素対、画素Ｂ-4と画Ｃ-4との画素対、画素Ｂ４と画素Ｃ４との画素対、及び画素Ｃ４と画素Ｄ４との画素対の合計４組に分けて選択することになる。最後に、それぞれの画素に対応する信号の差分値ｔｌ１(-4)＝Ａ(-4)−Ｂ(-4)、ｔｌ２(-4)＝Ｂ(-4)−Ｃ(-4)、及びｔｌ２(4)＝Ｂ(4)−Ｃ(4)、及びｔｌ３(4)＝Ｃ(4)−Ｄ(4)を算出する。
【００７１】
この場合、差分値ｔｌ１(-4)は図１１における差分算出手段８１ｊにより求められ、差分値ｔｌ２(-4)は差分算出手段８２ｊにより求められ、差分値ｔｌ２(4)は差分算出手段８２ｂにより求められ、差分値ｔｌ３(4)は差分算出手段８３ｂにより求められる。
【００７２】
同様に、画素Ｂ-3と画素Ｃ３とを結ぶ方向−３において差分値ｔｌ１(-3)、ｔｌ２(-3)、ｔｌ２(3)及びｔｌ３(3)、画素Ｂ-2と画素Ｃ２とを結ぶ方向−２において差分値ｔｌ１(-2)、ｔｌ２(-2)、ｔｌ２(2)及びｔｌ３(2)、画素Ｂ-1と画素Ｃ１とを結ぶ方向−１において差分値ｔｌ１(-1)、ｔｌ２(-1)、ｔｌ２(1)及びｔｌ３(1)、画素Ｂ１と画素Ｃ-1とを結ぶ方向１において差分値ｔｌ１(1)、ｔｌ２(1)、ｔｌ２(-1)及びｔｌ３(-1)、画素Ｂ２と画素Ｃ-2とを結ぶ方向２において差分値ｔｌ１(2)、ｔｌ２(2)、ｔｌ２(-2)及びｔｌ３(-2)、画素Ｂ３と画素Ｃ-3とを結ぶ方向３において差分値ｔｌ１(3)、ｔｌ２(3)、ｔｌ２(-3)及びｔｌ３(-3)、画素Ｂ４と画素Ｃ-4とを結ぶ方向４において差分値ｔｌ１(4)、ｔｌ２(4)、ｔｌ２(-4)及びｔｌ３(-4)、画素Ｂ５と画素Ｃ-4とを結ぶ方向５において差分値ｔｌ１(5)、ｔｌ２(5)、ｔｌ２(-5)及びｔｌ３(-5)をそれぞれ算出する。
【００７３】
算出された差分値ｔｌ１(-5)からｔｌ(-1)、ｔｌ１(1)からｔｌ(5)、ｔｌ２(-5)からｔ２(-1)、ｔｌ２(1)からｔ２(5)、ｔｌ３(-5)からｔ３(-1)、ｔｌ３(1)からｔ３(5)は、図１２に示す比較手段８４ａ〜８４ｋにそれぞれ入力される。比較手段８４ａ〜８４ｋは、補間画素Ｐ０を中心として点対称の位置にある差分値が入力され、その差分値を所定値ＴＨａと比較し、さらに差分値間の符号を比較する。
【００７４】
例えば、図３に示す方向−５が選択された場合は、Ａ(-5)−Ｂ(-5)によって求められる差分値ｔｌ１(-5)、Ｂ(-5)−Ｃ(-5)によって求められる差分値ｔｌ２(-5)、Ｂ(5)−Ｃ(5)によって求められる差分値ｔｌ２(5)、及びＣ(5)−Ｄ(5)によって求められる差分値ｔｌ３(5)が、比較器８４ａに入力される。
比較手段８４ａは、まず、差分値ｔｌ１(-5)、ｔｌ２(-5)、ｔｌ２(5)、及びｔｌ３(5)をそれぞれ所定値ＴＨａと比較する。さらに、差分値ｔｌ１(-5)、ｔｌ２(-5)、ｔｌ２(5)、及びｔｌ３(5)の符号を判定する。
【００７５】
検出対象の細線は幅が狭い。従って、例えば画素Ａ-5と画素Ｃ-5との間に斜め線が存在する場合、画素Ｂ-5のみが線上にあり、画素Ａ-5及び画素Ｃ-5は線上にない状態となる。この場合、画素Ｂ-5の信号と画素Ａ-5及び画素Ｃ-5の信号とは大きく異なる値を示す。従って画素Ａ-5と画素Ｂ-5との信号の差分値ｔｌ１(-5)と、画素Ｂ-5と画素Ｃ-5との信号の差分値ｔｌ２(-5)は所定値ＴＨａより大きくなり、かつ、差分値ｔｌ１(-5)とｔｌ２(-5)の符号は反対になる。同様に、画素Ｂ５と画素Ｄ５との間に斜め線が存在する場合、画素Ｃ５の信号のみが画素Ｂ５及び画素Ｄ５の信号とは大きく異なる値を示す。従って画素Ｂ５と画素Ｃ５との信号の差分値ｔｌ２(5)と、画素Ｃ５と画素Ｄ５との信号の差分値ｔｌ３(5)は所定値ＴＨａより大きくなり、かつ、差分値ｔｌ２(5)とｔｌ３(5)の符号は反対になる。
【００７６】
以上より、図３における画素Ｂ-5と画素Ｃ５が細線上にあるとすると、差分値ｔｌ１(-5)、ｔｌ２(-5)、ｔｌ２(5)、及びｔｌ３(5)のすべてが所定値ＴＨａより大きく、かつ、差分値ｔｌ１(-5)の符号とｔｌ２(-5)の符号は反対となり、差分値ｔｌ２(5)の符号とｔｌ３(5)の符号は反対であり、さらに、差分値ｔｌ１(-5)の符号とｔｌ２(5)の符号が同一、差分値ｔｌ２(-5)の符号とｔｌ３(5)の符号が同一となる。この条件を全て満たすとき、方向−５に斜め線が存在するとして、フラグ信号ｔｈｆｌａｇ(-5)＝１を出力する。一方、該当しない条件が一つでもある場合は、方向−５に細線は存在しないとして、フラグ信号ｔｈｆｌａｇ(-5)＝０を出力する。
【００７７】
同様に、方向−４から−１に対し、比較手段８４ｂから８４ｅにおいて差分値と差分値符号を比較し、細線が存在するとして検出される場合は各々フラグ信号ｔｈｆｌａｇ(-a)＝１を出力し、線の存在しないと検出された場合はｔｈｆｌａｇ(-a)＝０を出力する（ａは整数）。
【００７８】
また、図４に示すように、画素Ｂ５と画素Ｃ-5を結ぶ方向５が選択された場合も上記場合と同様である。画素Ｃ-5に隣接する画素Ｂ-5、及び画素Ｄ-5、並びに画素Ｂ５に隣接する画素Ａ５、及び画素Ｃ５をそれぞれ抽出する。さらに、これら画素に対応する信号Ｂ(-5)、Ｄ(-5)、Ａ(5)、及びＣ(5)と、画素Ｂ5に対応する信号Ｂ(5)、画素Ｃ-５に対応する信号Ｃ(-5)を、画素Ｂ-5と画素Ｃ-5との画素対、画素Ｃ-5と画Ｄ-5との画素対、画素Ａ５と画素Ｂ５との画素対、及び画素Ｂ５と画素Ｃ５との画素対の合計４組に分けて選択することになる。最後に、それぞれの画素に対応する信号の差分値ｔｌ２(-5)＝Ｂ(-5)−Ｃ(-5)、ｔｌ３(-5)＝Ｃ(-5)−Ｄ(-5)、ｔｌ１(5)＝Ａ(5)−Ｂ(5)、及びｔｌ２(5)＝Ｂ(5)−Ｃ(5)を算出する。なお、ｔｌ２(-5)及びｔｌ２(5)は方向−５を算出した際に既に算出してある。
【００７９】
この場合、差分ｔｌ３(-5)は図１１における差分算出手段８３ｋにより求められ、差分ｔｌ１(5)は差分算出手段８１ｋにより求められる。
【００８０】
そして、差分値ｔｌ１(5)、ｔｌ２(5)、ｔｌ２(-5)、及びｔｌ３(-5)のすべてが所定値ＴＨａより大きく、かつ、差分値ｔｌ１(5)の符号とｔｌ２(5)の符号は反対であること、及び差分値ｔｌ２(-5)の符号とｔｌ３(-5)の符号は反対であり、さらに、差分値ｔｌ１(5)の符号とｔｌ２(-5)の符号が同一であり、差分値ｔｌ２(5)の符号とｔｌ３(-5)の符号が同一である場合、方向５に斜め線が存在するとして、フラグ信号ｔｈｆｌａｇ(5)＝１を出力する。該当しない条件がある場合は細線が存在しないとして、フラグ信号ｔｈｆｌａｇ(5)＝０を出力する。
【００８１】
同様に、画素Ｂ４と画素Ｃ-4を結ぶ方向４が選択された場合は、新たに差分値ｔｌ３(-4)＝Ｃ(-4)−Ｄ(-4)、及びｔｌ１(4)＝Ａ(4)−Ｂ(4)が算出され、画素Ｂ３と画素Ｃ-3を結ぶ方向３が選択された場合は、新たに差分値ｔｌ３(-3)＝Ｃ(-3)−Ｄ(-3)、及びｔｌ１(3)＝Ａ(3)−Ｂ(3)が算出され、画素Ｂ２と画素Ｃ-2を結ぶ方向２が選択された場合は、新たに差分値ｔｌ３(-2)＝Ｃ(-2)−Ｄ(-2)、及びｔｌ１(2)＝Ａ(2)−Ｂ(2)が算出され、画素Ｂ１と画素Ｃ-1を結ぶ方向１が選択された場合は、新たに差分値ｔｌ３(-1)＝Ｃ(-1)−Ｄ(-1)、及びｔｌ１(1)＝Ａ(1)−Ｂ(1)がそれぞれ算出される。
【００８２】
そして、新たに算出された差分値や既に算出された差分値が、図１２に示す比較手段８４ｇ〜８４ｋにそれぞれ入力される。各方向４から１に対し、比較手段８４ｇから８４ｋにおいて差分値と差分値符号を比較し、細線が存在するとして検出される場合は各々フラグ信号ｔｈｆｌａｇ(a)＝１を出力し、細線が存在しないと検出された場合はフラグ信号ｔｈｆｌａｇ(a)＝０を出力する（ａは整数）。
【００８３】
従って、方向−５から−１、及び方向５から１の合計１０方向についてフラグ信号ｔｈｆｌａｇ(a)が出力される。これらのフラグ信号ｔｈｆｌａｇ(a)は、後述する相関方向決定手段１０において必要となる。すなわち、相関方向決定手段１０において、相関方向検出手段１３から出力された補間方向の候補が細線であるか否かを判定するために、フラグ信号ｔｈｆｌａｇ(a)が用いられる。
【００８４】
＜エッジ検出手段＞
次にエッジ検出手段９の動作を説明する。上記で説明した細線検出手段８は、細線を検出することを目的としていたが、エッジ検出手段９は、細線よりは面積の大きい画像を検出することを目的としており、具体的には図形の境界線、すなわちエッジを検出する。
細線検出手段８において説明した通り、相関方向検出手段１３は背景上にある画素対を相関性が高いと誤って検出している可能性がある。したがって、そのような誤検出を排除するために、エッジ検出手段９により各方向のエッジの存在を検出し、後述する相関方向決定手段１０において相関方向とエッジの存在との整合をとり、補間方向を決定する。
なお、検出のために用いられる差分値は、第２の差分絶対値Ｌ１(a)とＬ３(ａ)、又はＲ１(a)とＲ３(ａ)、補間画素Ｐ０に走査線直交方向に隣接する画素Ｂ０と画素Ｃ０における信号Ｂ(0)、Ｃ(0)の差分値、及びＬ１(a)とＬ３(ａ)を算出する際に使用した画素を走査線直交方向に選択した第４の画素対における画素間の第４の差分値である。
【００８５】
図１３は、方向−５の場合におけるエッジ検出手段９の動作を説明するため図であり、図１５は、方向−５の場合におけるエッジ検出手段９の一構成例を示すブロック図である。図１５において、２１ａ〜２１ｋ、２２ａ〜２２ｋ、２３ａ〜２３ｋ、２４ａ〜２４ｋは１Ｄの信号を遅延する１Ｄ遅延手段であり、図５〜７におけるものと同一である。９１〜９５は差分算出手段、９６、９７は差分絶対値算出手段である。
【００８６】
方向−５の場合、まず、画素Ｂ-5、及び画素Ｃ５とが第１の画素対として選択される。そして、画素Ｂ-5に隣接し走査線Ａ上にある画素Ａ-5、画素Ｂ-5に隣接し走査線Ｃ上にある画素Ｃ-5、画素Ｃ５に隣接し走査線Ｂ上にある画素Ｂ５、及び画素Ｃ５に隣接し走査線Ｄ上にある画素Ｄ５の各画素を抽出する。さらに、これら画素に対応する信号Ａ(-5)、Ｃ(-5)、Ｂ(5)、及びＤ(5)を、各画素対における画素間を直線で結ぶ場合、画素Ｂ-5と画素Ｃ５とを結ぶ直線と平行なるように、第２の画素対として選択し組み分けする。従って、画素Ａ-5と画素Ｂ５との画素対、画素Ｃ-5と画素Ｄ５との画素対の２組に分けて選択することになる。最後に、第２の差分絶対値Ｌ１(-5)＝｜Ａ(-5)−Ｂ(5)｜、Ｌ３(-5)＝｜Ｃ(-5)−Ｄ(5)｜を算出する。なお、Ｌ１(-5)、Ｌ３(-5)は、差分絶対値算出手段４において算出した値を用いてもよい。
次に、第２の画素対における画素を走査線直交方向に第４の画素対として選択し、第４の画素対における画素間の信号の差分である第４の差分値ＬＴｒ(-5)＝Ａ(-5)−Ｃ(-5)、ＲＴｒ(-5)＝Ｂ(5)−Ｄ(5)を算出する。
最後に、補間画素Ｐ０に走査線直交方向に隣接する画素Ｂ０と画素Ｃ０との信号の差分値ＣＴｒ＝Ｂ(0)−Ｃ(0)を算出する。
【００８７】
差分値ＣＴｒ＝Ｂ(0)−Ｃ(0)を算出するのは図１５における差分算出手段９１、第４の差分値ＬＴｒ(-5)＝Ａ(-5)−Ｃ(-5)、ＲＴｒ(-5)＝Ｂ(5)−Ｄ(5)を算出するのは差分算出手段９２、９４である。また、第２の差分絶対値Ｌ１(-5)＝｜Ａ(-5)−Ｂ(5)｜、Ｌ３(-5)＝｜Ｃ(-5)−Ｄ(5)｜は、差分算出手段９３、９５及び差分絶対値算出手段９６、９７により算出される。
【００８８】
次に、得られたＬ１(-5)、Ｌ３(-5)、ＬＴｒ(-5)、ＲＴｒ(-5)、及びＣＴｒから、方向−５において図形のエッジが存在するか否かを検出する。
図１６は、方向ａ（ａは整数）において図形のエッジの検出を行うエッジ検出手段の一構成例を示すブロック図である。
図において、１０１は第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒから最大値を検出する最大値検出手段、１０２は第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒから最小値を検出する最小値検出手段、１０３は第４の差分値ＬＴｒ(a)、ＲＴｒ(a)と、差分値ＣＴｒとの符号の一致を判定する符号一致判定手段、１０４は最大値検出手段１０１により検出した最大値と、最小値検出手段１０２により検出した最小値との差分絶対値を求める差分絶対値演算手段、１０５は差分絶対値算出手段１０４により算出された値と所定値とを比較する比較手段ａ、１０６は最小値検出手段１０２により検出した最小値を所定値とを比較する比較手段ｂ、１０７は第２の差分絶対値Ｌ１(a)、Ｌ３(a)又はＲ１(a)、Ｒ３(a)を所定値と比較する比較手段ｃであり、１０８はエッジ検出を判定する判定手段である。
【００８９】
最大値検出手段１０１は、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒから最大値を検出し、検出した値を最大値ｎｍａｘとして出力する。
同様に最小値検出手段１０２は、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒから最小値を検出し、検出した値を最小値ｎｍｉｎとして出力する。
符号一致判定手段１０３は第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒの符号が同一か否かを判定する。
【００９０】
方向−５において図形のエッジがある場合は、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒの符号がすべて同一でなければならない。そこで、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒの符号がすべて同一である場合はフラグ信号ｆｄ３＝１を出力し、一つでも異なる符号の値がある場合はフラグ信号ｆｄ３＝０を出力する。
【００９１】
差分絶対値算出手段１０４は、最大値検出手段１０１から出力された最大値ｎｍａｘと、最小値検出手段１０２から出力された最小値ｎｍｉｎとから差分絶対値を算出し、算出した差分絶対値を比較手段ｂ１０６に出力する。
比較手段ａ１０５は、差分絶対値演算手段１０４から出力された差分絶対値を所定値ＴＨｂと比較する。方向−５において図形のエッジがある場合は、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒの符号は同一でなければならず、かつ近似した値でなければならない。何故なら、最大値と最小値の差が大きい場合は方向−５以外に図形のエッジがあると判断できるからである。
【００９２】
従って、最大値と最小値との差分絶対値が所定値ＴＨｂより小さい場合、方向−５に図形のエッジが存在するとして比較手段ａ１０５はフラグ信号ｆｄ１＝１を出力する。一方、差分絶対値が所定値ＴＨｂより大きい場合は、フラグ信号ｆｄ１＝０を出力する。
【００９３】
比較手段ｂ１０６は、最小値検出手段１０２から出力された最小値ｎｍｉｎを所定値ＴＨｃと比較する。方向−５に図形のエッジが存在する場合は、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)、及び差分値ＣＴｒのいずれかである最小値ｎｍｉｎは所定値ＴＨｃより大きくなる。
従って、最小値ｎｍｉｎが所定値ＴＨｃより大きい場合、比較手段ｂ１０６はフラグ信号ｆｄ２＝１を出力する。一方、最小値ｎｍｉｎが所定値ＴＨｃより小さい場合は、フラグ信号ｆｄ２＝０を出力する。
【００９４】
比較手段ｃ１０７は、第２の差分絶対値Ｌ１(a)とＬ３(a)、又はＲ１(a)とＲ３(a)の値をそれぞれ所定値ＴＨｄと比較する。方向−５に図形のエッジがある場合は、図形の内側にある画素の信号は近似した値でなければならず、かつ、図形の外側にある画素の信号も近似した値でなければならない。
従って、方向−５に図形のエッジがある場合は、第２の差分絶対値Ｌ１(a)とＬ３(a)、又はＲ１(a)とＲ３(a)のどちらの値も所定値ＴＨｄより小さくなる。第２の差分絶対値が所定値ＴＨｄより小さい場合、比較手段ｃ１０７はフラグ信号ｆｄ４＝１を出力し、どちらか一方でも所定値ＴＨｄより大きい場合はフラグ信号ｆｄ４＝０を出力する。
【００９５】
判定手段１０８は、フラグ信号ｆｄ１〜４に基づき、方向ａに図形のエッジがあるかを判定する。判定は、フラグ信号ｆｄ１〜４の条件が全て１の場合に図形のエッジを検出し、フラグ信号ｂｕｎｄｆｌａｇ(a)＝１を出力する。フラグ信号ｆｄ１〜４の条件のうち一つでも０であれば、図形のエッジはないと判定してフラグ信号ｂｕｎｄｆｌａｇ(a)＝０を出力する。
【００９６】
上記と同様な手順により、方向−４から−１に対しても、第２の差分絶対値Ｌ１(a)、Ｌ３(a)、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)を算出し、それぞれの方向について図形のエッジの判定を行い、フラグ信号ｂｕｎｄｆｌａｇ(a)を出力する。
【００９７】
また、方向５の場合について図１４に示す。操作手順は、上記と同様である。まず、画素Ｂ５、及び画素Ｃ-5とが第１の画素対として選択される。そして、画素Ａ５と画素Ｂ-5、画素Ｃ５と画素Ｄ-5のそれぞれの画素対が第２の画素対として選択される。さらに、画素Ａ５と画素Ｃ５、画素Ｂ-5と画素Ｄ-5のそれぞれの画素対が第４の画素対として選択される。
画素対が選択された後、第２の差分絶対値Ｒ１(5)＝｜Ａ(5)−Ｂ(-5)｜、Ｒ３(5)＝｜Ｃ(5)−Ｄ(-5)｜、第４の差分値ＲＴｒ(5)＝Ａ(5)−Ｃ(5)、ＬＴｒ(5)＝Ｂ(-5)−Ｄ(-5)、差分値ＣＴｒを算出する。
【００９８】
算出した値を図１６を用いて説明した手順により処理し、方向５に図形のエッジが存在するか否かを検出し、図形のエッジが存在すると判定した場合は、フラグ信号ｂｕｎｄｆｌａｇ(a)＝１を出力し、図形のエッジが存在しない判定した場合はフラグ信号ｂｕｎｄｆｌａｇ(a)＝０を出力する。
同様に、方向４から１に対しても第２の差分絶対値Ｒ１(a)、Ｒ３(a)、第４の差分値ＬＴｒ(a)、ＲＴｒ(a)を算出し、それぞれの方向について図形のエッジの判定を行い、フラグ信号を出力する。
【００９９】
従って、方向−５から−１、及び方向５から１の合計１０方向についてフラグ信号ｂｕｎｄｆｌａｇ(a)が出力される。これらのフラグ信号ｂｕｎｄｆｌａｇ(a)は、後述する相関方向決定手段１０において必要となる。すなわち、相関方向決定手段１０において、相関方向検出手段１３から出力された補間方向の候補が図形のエッジであるか否かを判定するために、フラグ信号ｂｕｎｄｆｌａｇ(a)が用いられる。
【０１００】
＜相関方向決定手段＞
相関方向決定手段１０には、相関方向検出手段１３から出力された相関方向ｄｉｒ１と、細線検出手段８から出力されたフラグ信号ｔｈｆｌａｇと、エッジ検出手段９から出力されたフラグ信号ｂｕｎｄｆｌａｇとが入力される。
相関方向決定手段１０は、これらの信号から相関方向ｄｉｒ１における細線、図形のエッジを検出し、補間方向を決定する。
【０１０１】
図１７は、相関方向決定手段１０の処理を示すフローチャートである。処理手順は以下の通りである。
まず、相関方向検出手段１３から出力された相関方向を補間方向の最有力候補として扱う。次に、その相関方向が背景等の誤検出でないかを確認するため、細線検出手段８及びエッジ検出手段９の検出結果と相関方向を比較する。この時、細線または図形のエッジと検出された場合は、相関方向を補間方向として決定する。なお、必要であれば相関方向を補正する。
以下、図１７を用いて、相関方向決定手段１０の処理の詳細を説明する。
【０１０２】
まず、相関方向決定手段１０には、相関方向検出手段１３から出力された相関方向ｄｉｒ１＝ａが入力される（ｓ１）。この相関方向ｄｉｒ１＝ａが補間方向の最有力候補である。
そして、選択相関方向ｄｉｒ１の値ａが、走査線直交方向である０か０以外であるかを判断する（ｓ２）。ところで走査線Ｂ上、Ｃ上にあり補間画素Ｐ０に最も近い画素は、補間画素Ｐ０に隣接する画素Ｂ０、Ｃ０である。従って、通常は画素Ｂ０、Ｃ０を結ぶ走査線直交方向である方向０が、補間画素Ｐ０と相関が高いと考えられる。したがって、相関方向検出手段１３にて検出された方向ｄｉｒ１が０であれば、相関方向を方向０に確定する（ｓ３）。
【０１０３】
ｄｉｒ１＝０でない場合は、方向ｄｉｒ１＝ａに対応するフラグ信号ｔｈｆｌａｇ(ａ)に従う（ｓ４）。すなわち、方向ａにおいて細線が検出されたと判定された場合は、細線検出手段８からフラグ信号ｔｈｆｌａｇ(ａ)＝１が出力されている。方向ｄｉｒ１＝ａとフラグ信号ｔｈｆｌａｇ(ａ)＝１の両者の条件がそろった場合は、検出された方向は細線上にあると判断できるので、相関方向を方向ｄｉｒ１＝ａに確定する（ｓ５）。
一方、方向ａにおいて細線が検出され無かった場合は、フラグ信号ｔｈｆｌａｇ(ａ)＝０となる。この場合は、方向ｄｉｒ１＝ａに対応するエッジ検出手段９から出力されたフラグ信号ｂｕｎｄｆｌａｇ(ａ)に従う（ｓ６）。すなわち、方向ａにおいて図形のエッジが検出されたと判定された場合は、エッジ検出手段９からフラグ信号ｂｕｎｄｆｌａｇ(ａ)＝１が出力されている。方向ｄｉｒ１＝ａとフラグ信号ｂｕｎｄｆｌａｇ(ａ)＝１の両者の条件がそろった場合は、検出された方向は図形のエッジ上にあると判断できるので、相関方向を方向ｄｉｒ１＝ａに確定する（ｓ７）。
【０１０４】
方向ａにおけるフラグ信号がｔｈｆｌａｇ(ａ)＝０、かつｂｕｎｄｆｌａｇ(ａ)＝０であり、細線及び図形のエッジが検出されていない場合は、通常、補間画素Ｐ０と最も相関性の高いと考えられる走査線直交方向に相関方向を補正する（ｓ８）。
【０１０５】
図１８は、相関方向決定手段１０の一構成例を示すブロック図である。
図において、１２１は相関方向ｄｉｒ１＝ａに対応した各フラグ信号を選択する選択手段、１２２、１２３は切換手段である。
【０１０６】
選択手段１２１は、細線検出手段８から出力されたすべてのフラグ信号ｔｈｆｌａｇと、エッジ検出手段９から出力されたすべてのフラグ信号ｂｕｎｄｆｌａｇとが入力され、相関方向検出手段１３から出力された相関方向ｄｉｒ１＝ａに基づいて、フラグ信号ｔｈｆｌａｇ(ａ)とフラグ信号ｂｕｎｄｆｌａｇ(ａ)とを選択する。
切換手段ａ１２２は、選択手段１２１において選択したフラグ信号がｂｕｎｄｆｌａｇ(ａ)＝１である場合は、入力された相関方向ｄｉｒ１＝ａをそのまま切換手段ｂ１２３に出力し、フラグ信号ｂｕｎｄｆｌａｇ(ａ)＝０である場合は、相関方向ｄｉｒ１を０に切換えて出力する。
切換手段ｂ１２３は、選択手段１２１において選択したフラグ信号がｔｈｆｌａｇ(ａ)＝１である場合は、相関方向ｄｉｒ２（＝ｄｉｒ１）＝ａとして出力し、フラグ信号ｔｈｆｌａｇ(ａ)＝０である場合は、相関方向ｄｉｒ２（＝ｄｉｒ１）＝０と切換えて出力する。
【０１０７】
＜孤立方向補正手段＞
次に孤立方向補正手段１１について説明する。孤立方向補正手段１１は、相関方向決定手段１０から出力された相関方向ｄｉｒ２に基づき、補間画素と相関方向と、その補間画素と隣接する画素の相関方向とを比較する。その結果により必要であれば、相関方向の補正を行う。補間画素の相関方向と、隣接する画素の相関方向とが大きく異なっている場合は、補間画素の相関方向が誤っていると考えられるからである。
【０１０８】
図１９は孤立方向補正手段１１の一構成例を示すブロック図であり、１３０ａ〜１３０ｃは１Ｄ遅延手段、１３１、１３２は差分絶対値算出手段、１３３，１３４は比較手段、１３６は孤立方向判定手段、１３５は方向切換手段である。
例えば、補間画素Ｐ(-1)における相関方向ｄｉｒ２が入力される場合を考える。まず、補間画素Ｐ(-1)における相関方向ｄｉｒ２は１Ｄ遅延手段１３０ａ、１３０ｃ、及び差分絶対値算出手段ｂ１３２に入力される。１Ｄ遅延手段１３０ａは入力された相関方向ｄｉｒ２を１Ｄ分遅延し、相関方向ｄｉｒ３として出力する。さらに、１Ｄ遅延手段１３０ｂは入力された相関方向ｄｉｒ３を１Ｄ分遅延し、相関方向ｄｉｒ４として出力する。従って、相関方向ｄｉｒ３は補間画素Ｐ(0)に対応した相関方向となり、相関方向ｄｉｒ４は補間画素Ｐ(1)に対応した相関方向となる。
【０１０９】
差分絶対値演算手段ａ１３１は、１Ｄ遅延手段１３０ａから出力された補間画素Ｐ(0)に対応する相関方向ｄｉｒ３と、１Ｄ遅延手段１３０ｂから出力された補間画素Ｐ(1)に対応する相関方向ｄｉｒ４との差分絶対値を算出して比較手段ａ１３３に出力する。同様に、差分絶対値演算手段ｂ１３２は、入力された補間画素Ｐ(-1)に対応する相関方向ｄｉｒ２と、１Ｄ遅延手段１３０ａから出力された補間画素Ｐ(0)に対応する相関方向ｄｉｒ３との差分絶対値を算出して比較手段ｂ１３４に出力する。
比較手段ａ１３３は差分絶対値を所定値ＴＨｉと比較し、差分絶対値が所定値ＴＨｉ以内であればフラグ信号ｔｈ１＝１を出力し、所定値ＴＨｉより大きければフラグ信号ｔｈ１＝０を出力する。
同様に、比較手段ｂ１３４は差分絶対値を所定値ＴＨｉと比較し、差分絶対値が所定値ＴＨｉ以内であればフラグ信号ｔｈ２＝１を出力し、所定値ＴＨｉより大きければフラグ信号ｔｈ２＝０を出力する。
なお、所定値ＴＨｉは任意の値をとすることができる。
【０１１０】
孤立方向判定手段１３６は、比較手段ａ１３３から入力されたフラグ信号がｔｈ１＝０、かつ、比較手段ｂ１３４から入力されたフラグ信号がｔｈ２＝０である場合は、フラグ信号ｔｈ３＝０を出力する。それ以外の、フラグ信号ｔｈ１とｔｈ２の値が両者とも１である場合、またはどちらか一方の値が１である場合は、フラグ信号ｔｈ３＝１を出力する。
方向切換手段１３５は、孤立方向判定手段１３６から入力されたフラグ信号ｔｈ３の値が１である場合は、相関方向ｄｉｒ３＝ａをそのまま補間画素Ｐ０における相関方向ｄｉｒ５＝ａとして出力する。また、孤立方向判定手段１３６から入力されたフラグ信号ｔｈ３の値が０である場合は、補間画素Ｐ０におけるｄｉｒ３＝ａは隣接する画素の相関方向との相関性が低く、孤立した方向であると判定して相関方向ｄｉｒ５を例えば走査線直交方向である０に切換えて出力する。なお、切換える値は０以外にも、隣接するどちらか一方の画素の相関方向と同じにしてもよい。
【０１１１】
このように、画像の背景部を相関方向として誤検出した場合等でも、孤立方向補正手段１１により相関方向を補正するので、周囲から孤立した相関方向を除去できる。
【０１１２】
＜相関方向補間手段＞
次に相関方向補間手段１２について説明する。相関方向補間手段１２は、孤立方向補正手段１１から出力された相関方向ｄｉｒ５に基づいて、走査線Ｂ上の画素および走査線Ｃ上の画素を選択し、補間画素の信号Ｐ(0)を生成する。
図２０は、相関方向補間手段１２の一構成例を示すブロック図であり、図において、１４１ａ〜１４１ｋ、１４２ａ〜１４２ｋは１Ｄ遅延手段、１４３は相関方向ｄｉｒ５に従い走査線Ｂ上の画素を選択する画素選択手段Ｂ、１４４は相関方向ｄｉｒ５に従い走査線Ｃ上の画素を選択する画素選択手段Ｃ、１４５は加算器、１４６は利得１／２の増幅器である。
【０１１３】
相関方向補間手段１２には、第１及び第２の１Ｈ遅延手段１、２から出力されたの信号がそれぞれ走査線Ｃ、Ｂの信号として入力される。そして、走査線Ｂ上の各画素の信号は画素選択手段Ｂ１４３に入力され、走査線Ｃ上の各画素の信号は画素選択手段Ｃ１４４に入力される。また、画素選択手段１４３、１４４には走査線上の画素信号と、孤立方向補正手段１１から出力された補間画素Ｐ０における相関方向ｄｉｒ５が入力される。画素選択手段１４３、１４４は相関方向ｄｉｒ５に基づいて走査線Ｂ上、Ｃ上の画素を選択し、その画素に対応する信号を加算器１４５で加算し、増幅器１４６で利得を１／２として補間画素Ｐ０の信号Ｐ(0)を生成し、補間画素信号として出力する。
【０１１４】
図２１は、図２７において説明した細線がある場合について、本実施の形態における走査線補間装置を適応した場合を説明する図である。図において、白い画素、例えば画素Ｂ０、Ｂ１等の画素信号を０、黒い画素、例えば画素Ｂ２、Ｂ３等の画素信号を１とする。
【０１１５】
まず、補間画素Ｐ０を中心として各方向における差分絶対値を計算する。Ｌ２(-5)＝｜Ｂ(-5)−Ｃ(5)｜＝０、Ｌ１(-5)＝｜Ａ(-5)−Ｂ(5)｜＝０、Ｌ３(-5)＝｜Ｃ(-5)−Ｄ(5)｜＝０、となる。同様に、Ｌ１(-4)＝１、Ｌ２(-4)＝Ｌ３(-4)＝０、Ｌ１(-3)＝１、Ｌ２(-3)＝０、Ｌ３(-3)＝１、Ｌ１(-2)＝１、Ｌ２(-2)＝０、Ｌ３(-2)＝１、Ｌ１(-1)＝０、Ｌ２(-1)＝０、Ｌ３(-1)＝１、となる。さらに、Ｒ２(5)＝｜Ｂ(5)−Ｃ(-5)｜＝０、Ｒ１(5)＝｜Ａ(5)−Ｂ(-5)｜＝０、Ｒ３(5)＝｜Ｃ(5)−Ｄ(-5)｜＝０、となる。さらに同様に、Ｒ１(4)＝０、Ｒ２(4)＝１、Ｒ３(4)＝０、Ｒ１(3)＝Ｒ２(3)＝Ｒ３(3)＝０、Ｒ１(2)＝Ｒ２(2)＝Ｒ３(2)＝０、Ｒ１(1)＝０、Ｒ２(1)＝１、Ｒ３(1)＝０、となる。これら差分絶対値の算出が差分絶対値算出手段４にて行われる。
【０１１６】
次に、相関値を算出する。絶対値演算手段４にて算出した値を用いて、ＬＵ(-5)＝Ｌ１(-5)＋Ｌ２(-5)＋Ｌ３(-5)＝０となる。同様に、ＬＵ(-4)＝１、ＬＵ(-3)＝ＬＵ(-3)＝ＬＵ(-2)＝２、ＬＵ(-1)＝１、となる。さらに同様に、ＲＵ(5)＝０、ＲＵ(4)＝１、ＲＵ(3)＝ＲＵ(2)＝０、ＲＵ(1)＝１となる。これら相関値の算出が相関値算出手段５にて行われる。
【０１１７】
さらに、相関値の平均値を算出する。相関値算出手段５にて算出した値を用いて、ＬＵＡ１＝（ＬＵ(-5)＋ＬＵ(-4)＋ＬＵ(-3)）／３＝１となる。同様に、ＬＵＡ２＝５／３、ＬＵＡ３＝５／３となる。さらに同様に、ＲＵＡ４＝ＲＵＡ５＝ＲＵＡ６＝１／３となる。これらの値の算出は平均値算出手段６にて行われる。
【０１１８】
相関値算出手段５と平均値算出手段６にて算出した値が最小相関値方向選択手段７に入力される。最小相関値方向選択手段７では、まず相関値の平均値が小さい領域を選択する。この場合、ＬＵＡａのグループで最小値となるのはＬＵＡ１である。ＲＵＡａのグループではすべての平均値が同じとなるので、走査線直交方向に最も近いＲＵＡ６となる。ＬＵＡ１とＲＵＡ６を比較するとＲＵＡ６が走査線直交方向に近いので、最終的に選択される領域はＲＵＡ６となる。領域ＲＵＡ６において最小の相関値を持つ方向は方向２と方向３である。走査線直交方向に近い方向は方向２である。従って最小相関値方向選択手段７から出力される相関方向はｄｉｒ１＝２である。このｄｉｒ１＝２が補間方向の最有力候補となる。
【０１１９】
次に、細線の検出を行う。細線の有無を検出ために、各方向において走査線直交方向に隣接する画素の信号の差分を算出する。差分値はｔｌ１(-5)＝Ａ(-5)−Ｂ(-5)＝０、ｔｌ２(-5)＝Ｂ(-5)−Ｃ(-5)＝０、ｔｌ２(5)＝Ｂ(5)−Ｃ(5)＝０、ｔｌ３(5)＝Ｃ(5)−Ｄ(5)＝０、となる。同様に、ｔｌ１(-4)＝ｔｌ２(-4)＝０、ｔｌ２(4)＝１、ｔｌ３(4)＝０。ｔｌ１(-3)＝０、ｔｌ２(-3)＝−１、ｔｌ２(3)＝１、ｔｌ３(3)＝０。ｔｌ１(-2)＝０、ｔｌ２(-2)＝−１、ｔｌ２(2)＝１、ｔｌ３(2)＝０。ｔｌ１(-1)＝０、ｔｌ２(-1)＝−１、ｔｌ２(1)＝ｔｌ３(1)＝０。さらに同様に、ｔｌ１(5)＝ｔｌ３(-5)＝０。ｔｌ１(4)＝−１、ｔｌ３(-4)＝０。ｔｌ１(3)＝−１、ｔｌ３(-3)＝１。ｔｌ１(2)＝−１、ｔｌ３(-2)＝１。ｔｌ１(1)＝０、ｔｌ３(-1)＝１、となる。
さらに算出された差分値を所定比較値と比較し、方向ａに細線が存在すると判断された場合はフラグ信号ｔｈｆｌａｇ(a)＝１、細線が存在しないと判断された場合はフラグ信号ｔｈｆｌａｇ(a)＝０を出力する。従って、ｔｈｆｌａｇ(-5)＝ｔｈｆｌａｇ(-4)＝ｔｈｆｌａｇ(-3)＝ｔｈｆｌａｇ(-2)＝ｔｈｆｌａｇ(-1)＝０、ｔｈｆｌａｇ(5)＝ｔｈｆｌａｇ(4)＝０、ｔｈｆｌａｇ(3)＝ｔｈｆｌａｇ(2)＝１、ｔｈｆｌａｇ(-1)＝０、となる。これらのフラグ信号ｔｈｆｌａｇ(a)の出力までが細線検出手段８にて行われる。
【０１２０】
さらに、相関方向決定手段１０の機能を説明する。相関方向決定手段１０は相関方向決定手段１３内の最小相関方向選択手段７から相関方向ｄｉｒ１＝２が入力される。この方向ｄｉｒ１＝２が補間方向の最有力候補である。また、細線検出手段８からは、上記で説明した各方向における細線の存在の有無についてのフラグ信号が入力される。
方向ｄｉｒ１＝２、すなわち方向２において細線検出手段８から入力されたフラグ信号ｔｈｆｌａｇ(2)の値は１である。従って、相関方向検出手段１３から入力された方向ｄｉｒ１＝２は、細線上にある方向であることが分かる。従って相関方向決定手段１０は、相関方向ｄｉｒ２を方向ｄｉｒ１と同じ値である２として出力する。このｄｉｒ２＝２が最終的な相関方向となり、補間方向の候補となる。
【０１２１】
さらに、図２１の画像の場合、補間画素Ｐ０に左右で隣接する補間画素Ｐ-1、Ｐ１に対応する相関方向は、それぞれ方向０と方向２である。孤立方向補正手段１１はこれらの隣接画素の相関方向から補間画素Ｐ０の相関方向２は適当であると判断し、相関方向決定手段１０から出力された方向ｄｉｒ２＝２を補正せず、相関方向としてｄｉｒ５＝２を出力する。このｄｉｒ５＝２が最終的な補間方向である。ｄｉｒ５＝２が入力された相関方向補間手段１２は、画素Ｂ２の信号Ｂ(2)と画素Ｃ-2の信号Ｃ(-2)とを加算し、その加算値を１／２倍して補間信号Ｐ(0)を出力する。
【０１２２】
同様の手順により、補間画素Ｐ１の相関方向を検出すると、補間画素Ｐ０と同様にｄｉｒ５＝２となる。従って、補間画素Ｐ０の画素信号Ｐ(0)は信号Ｂ(2)と信号Ｃ(-2)により決定され、補間画素Ｐ１の画素信号Ｐ(1)は信号Ｂ(3)と信号Ｃ(-1)により決定されるので、細線は切断されることはなく補間される。
【０１２３】
また、図２２は、図２６において説明した図形のエッジがある場合について、本実施の形態で説明した走査線補間装置を適用した場合を説明する図である。上記で説明した手順と同様な処理を行うと、相関方向検出手段１３から出力される相関方向はｄｉｒ１＝１である。なお、方向１における細線境界手段８からの出力されるフラグ信号はｔｈｆｌａｇ(1)＝０であるが、斜め境界判定手段９から出力されるフラグ信号はｂｕｎｄｆｌａｇ(1)＝１であるので、相関方向決定手段１０はｄｉｒ１と同じ値であるｄｉｒ２＝１を出力する。補間画素Ｐ０に左右で隣接する補間画素Ｐ-1、Ｐ１に対応する相関方向はともに方向１であるので、孤立方向補正手段１１はｄｉｒ２と同じ値であるｄｉｒ５＝１を出力する。ｄｉｒ５＝１が入力された相関方向補間手段１２は、画素Ｂ１の信号Ｂ(1)と画素Ｃ-1の信号Ｃ(-1)とを加算し、その加算値を１／２倍して補間信号Ｐ(0)を出力する。
したがって、補間画素Ｐ０の画素信号Ｐ(0)は、エッジ部における画素対で補間することができ、エッジのボケやガタツキを抑えることができる。
【０１２４】
なお、本実施の形態１における走査線補間装置は、補間画素Ｐ０を中心とした方向−５〜−１、０、及び１〜５の合計１１の方向を相関方向の候補として選定しているがこれに限られるものではなく、７方向や１３方向を候補としてもよい。
【０１２５】
また、本実施の形態では相関方向決定手段１０において、相関方向検出手段１３から出力された相関方向を細線検出手段８の出力結果と比較した後、エッジ検出手段９との出力結果と比較したが、先にエッジ検出手段９の出力結果と比較した後、細線検出手段８の出力結果と比較してもよい。
【０１２６】
また、孤立方向補正手段１１は、補間画素Ｐ０の相関方向を補間画素Ｐ０に左右で隣接する画素Ｐ-1、及び画素Ｐ１における相関方向とから判断しているが、比較する画素の範囲は隣接する画素に限らず、画素Ｐ-2、画素Ｐ２や、画素Ｐ-3、画素Ｐ３を考慮して補間画素Ｐ０の相関方向を決定してもよい。
【０１２７】
さらに、本実施の形態１で説明した走査線補間装置を図２３における動画用補間手段２０２として用いてもよい。
【０１２８】
さらに、本実施の形態１では、走査線補間装置をハードウェアで構成するよう説明しているが、ソフトウェアの処理により実現できることは言うまでもない。
【０１２９】
【発明の効果】
本発明に係る走査線補間装置によれば、補間走査線上の補間画素の位置を中心として、補間走査線に隣接する走査線上の点対称の位置にある画素を第１の画素対として２組以上選択し、第１の画素対における画素と走査線直交方向に隣接する画素を、第１の画素対における画素間を結ぶ直線と同一の方向に第２の画素対として選択し、第１の画素対における画素間の信号の差分と、第２の画素対における画素間の信号の差分とに基づいて補間方向の候補を出力する相関方向検出手段と、第１の画素対における画素と、第１の画素対における画素と走査線直交方向に隣接する第２の画素対における画素とを第３の画素対として選択し、第３の画素対における画素の信号の差分に基づいて細線を検出し、検出結果を出力する細線検出手段と、第２の画素対における画素を走査線直交方向に第４の画素対として選択し、第２の画素対における画素間の信号と、第４の画素対における画素間の信号と、補間画素と走査線直交方向に隣接する画素間の信号の差分とに基づいてエッジを検出し、検出結果を出力するエッジ検出手段と、相関検出手段からの出力と、細線検出手段からの出力と、エッジ検出手段からの出力とに基づいて補間方向を決定する相関方向決定手段とを備え、補間方向に基づき補間画素の信号を決定し、補間走査線を生成することとしたので、細線に対しても境界線の切断やボケ、ガタツキが生じることなく、良好な走査線補間を行うことができる。
【図面の簡単な説明】
【図１】 実施の形態１における走査線補間装置の構成を示すブロック図である。
【図２】 実施の形態１における映像信号の画素を模式的に示した図である。
【図３】 実施の形態１における走査線補間装置の動作を説明する図である。
【図４】 実施の形態１における走査線補間装置の動作を説明する図である。
【図５】 実施の形態１における差分絶対値算出手段の構成例を示すブロック図である。
【図６】 実施の形態１における差分絶対値算出手段の構成例を示すブロック図である。
【図７】 実施の形態１における差分絶対値算出手段の構成例を示すブロック図である。
【図８】 実施の形態１における相関値算出手段の構成例を示すブロック図である。
【図９】 実施の形態１における平均値算出手段の構成例を示すブロック図である。
【図１０】 実施の形態１における最小相関値方向選択手段の構成例を示すブロック図である。
【図１１】 実施の形態１における細線検出手段の構成例を示すブロック図である。
【図１２】 実施の形態１における細線検出手段の構成例を示すブロック図である。
【図１３】 実施の形態１におけるエッジ検出手段の動作を説明する図である。
【図１４】 実施の形態１におけるエッジ検出手段の動作を説明する図である。
【図１５】 実施の形態１におけるエッジ検出手段の構成例を示すブロック図である。
【図１６】 実施の形態１におけるエッジ検出手段の構成例を示すブロック図である。
【図１７】 実施の形態１における相関方向決定手段の動作を示すフローチャートである。
【図１８】 実施の形態１における相関方向決定手段の構成例を示すブロック図である。
【図１９】 実施の形態１における孤立方向補正手段の構成例を示すブロック図である。
【図２０】 実施の形態１における相関方向補間手段の構成例を示すブロック図である。
【図２１】 実施の形態１における走査線補間装置の動作を説明する図である。
【図２２】 実施の形態１における走査線補間装置の動作を説明する図である。
【図２３】 従来の走査線補間装置の構成を示すブロック図である。
【図２４】 従来の走査線補間装置の構成を示すブロック図である。
【図２５】 従来の走査線補間装置の構成を示すブロック図である。
【図２６】 従来の走査線補間装置の動作を説明する図である。
【図２７】 従来の走査線補間装置の動作を説明する図である。
【符号の説明】
１ 第１の１Ｈ遅延手段、２ 第２の１Ｈ遅延手段、３ 第３の１Ｈ遅延手段、４ 差分絶対値算出手段、５ 相関値算出手段、６ 平均値算出手段、７ 最小相関値方向選択手段、８ 細線検出手段、９ エッジ検出手段、１０ 相関方向決定手段、１１ 孤立方向補正手段、１２ 相関方向補間手段、１３ 相関方向検出手段、２１ １Ｄ遅延手段、２２ １Ｄ遅延手段、２３ １Ｄ遅延手段、２４ １Ｄ遅延手段、３１ 、差分算出手段、３２ 差分算出手段、３３ 差分算出手段、５１ 加算手段、６１ 平均値算出手段、７１ 最小相関値方向検出手段、７２ 最小平均値選択手段、７３ 相関方向選択手段、８１ 差分算出手段、８２ 差分算出手段、８３ 差分算出手段、８４ 比較手段、９１ 差分算出手段、９２ 差分算出手段、９３ 差分算出手段、９４ 差分算出手段、９５差分算出手段、９６ 絶対値算出手段、９７ 絶対値算出手段、１０１ 最大値検出手段、１０２ 最小値検出手段、１０３ 符号一致判定手段、１０４ 差分絶対値算出手段、１０５ 比較手段、１０６ 比較手段、１０７ 比較手段、１０８ 判定手段、１２１ 選択手段、１２２ 切換手段、１２３ 切換手段、１３０ １Ｄ遅延手段、１３１ 差分絶対値算出手段、１３２ 差分絶対値算出手段、１３３ 比較手段、１３４ 比較手段、１３５ 方向切換手段、１３６ 孤立方向判定手段、１４１ １Ｄ遅延手段、１４２ １Ｄ遅延手段、１４３ 画素選択手段、１４４ 画素選択手段、１４５ 加算器、１４６ 増幅器。
Claims (6)
- 映像信号の走査線の間を補間する補間走査線を生成する走査線補間装置であって、
上記補間走査線上の補間画素の位置を中心として、上記補間走査線に隣接する走査線上の点対称の位置にある画素を第１の画素対として２組以上選択し、当該第１の画素対における画素と走査線直交方向に隣接する画素を、上記第１の画素対における画素間を結ぶ直線と同一の方向に第２の画素対として選択し、上記第１の画素対における画素間の信号の差分絶対値と、上記第２の画素対における画素間の信号の差分絶対値の和を算出し、この差分絶対値の和の大きさに基づいて、相関性が高い第１の画素対の方向を選択し、該選択された方向を、相関性が高い補間方向の候補として出力する相関方向検出手段と、
上記第１の画素対における一方の画素と、該一方の画素と走査線直交方向に隣接する上記第２の画素対における画素の組と、上記第１の画素対における他方の画素と、該他方の画素と走査線直交方向に隣接する第２の画素対における画素の組を、第３の画素対として選択し、
当該第３の画素対における画素の信号の差分を算出し、
算出された第３の画素対における差分が全て第１の所定の値より大きく、
上記第１の画素対における一方の画素とその画素に対して走査線直交方向の一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における上記一方の画素とその画素に対して走査線直交方向の他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互いに不一致であり、
上記第１の画素対における他方の画素とその画素に対して走査線直交方向の一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における上記他方の画素とその画素に対して走査線直交方向の他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互いに不一致であり、かつ
上記第１の画素対における一方の画素とその画素に対して走査線直交方向の一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における他方の画素とその画素に対して走査線直交方向の上記一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互いに一致し、
上記第１の画素対における上記一方の画素とその画素に対して走査線直交方向の他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における上記他方の画素とその画素に対して走査線直交方向の上記他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互い一致する
と判定された場合に、上記第１の画素対における方向に細線が存在することを検出し、検出結果を出力する細線検出手段と、
上記第２の画素対における画素であって、互いに走査線直交方向に隣接する画素の組を第４の画素対として選択し、
上記第２の画素対における画素間の信号の差分と、
当該第４の画素対における画素間の信号の差分と、
上記補間画素と走査線直交方向に隣接する画素間の信号の差分とを算出し、
上記第２の画素対における画素間の信号の差分が第２の所定の値より小さく、
当該第４の画素対における画素間の信号の差分の符号と、上記補間画素と走査線直交方向に隣接する画素間の信号の差分の符号が互いに一致し、
当該第４の画素対における画素間の信号の差分と、上記補間画素と走査線直交方向に隣接する画素間の信号の差分のうちの最大値と最小値の差が第３の所定の値より小さく、かつ、最小値が第４の所定の値より大きい
場合に、上記第１の画素対における方向に斜め方向のエッジが存在することを検出し、検出結果を出力するエッジ検出手段と、
上記相関方向検出手段から出力される補間方向の候補に対し、上記細線検出手段により細線を検出されるか、または上記エッジ検出手段により斜め方向のエッジが検出された場合、上記補間方向の候補を補間方向と決定する相関方向決定手段とを備え、
当該補間方向に基づき上記補間画素の信号を決定し、上記補間走査線を生成することを特徴とする走査線補間装置。 - 上記相関方向決定手段から出力された補間画素における補間方向と、補間走査線上にある隣接する画素の補間方向との差分絶対値を算出し、
算出された差分絶対値の大きさから、補間画素における補間方向と、補間走査線上にある隣接する画素の補間方向とが所定値以上異なるか否かを検出し、異なる場合、上記補間画素における補間方向を走査線直交方向と同じ方向、もしくは補間走査線上にある隣接する画素のどちらか一方における補間方向と同じ方向に補正する孤立方向補正手段をさらに備え、
当該補正された補間方向に基づき上記補間画素の信号を決定し、上記補間走査線を生成する
ことを特徴とする請求項１に記載の走査線補間装置。 - 上記相関方向検出手段は、
補間走査線上の補間画素の位置を中心として、上記補間走査線に隣接する走査線上の点対称の位置にある画素を第１の画素対として２組以上選択し、当該第１の画素対における画素と走査線直交方向に隣接する画素を、上記第１の画素対における画素間を結ぶ直線と同一の方向に第２の画素対として選択し、
上記第１の画素対における画素間の信号の第１の差分絶対値と、上記第２の画素対における画素間の信号の第２の差分絶対値とを算出する差分絶対値算出手段と、
同一方向における上記第１の差分絶対値と上記第２の差分絶対値とを加算し、当該方向における相関を示す相関値を算出する相関値算出手段と、
上記相関値算出手段からの出力に基づき、隣接する方向を含む領域における上記相関値の平均値を算出する平均値算出手段と、
上記平均値算出手段から出力される平均値が最小となる領域を選択し、その領域において上記相関値算出手段による相関値が最小となる方向を選択し、当該方向を上記補間方向の候補として出力する相関方向選択手段とを
備えたことを特徴とする請求項１から請求項２のいずれか１項に記載の走査線補間装置。 - 上記相関方向検出手段は、上記差分絶対値の和が最も小さくなる上記第１の画素対の方向を、上記補間方向の候補として選択することを特徴とする請求項１に記載の走査線補間装置。
- 請求項１乃至４のいずれか１項に記載の走査線補間装置を備えることを特徴とする画像表示装置。
- 映像信号の走査線の間を補間する補間走査線を生成する走査線補間方法であって、
上記補間走査線上の補間画素の位置を中心として、上記補間走査線に隣接する走査線上の点対称の位置にある画素を第１の画素対として２組以上選択し、当該第１の画素対における画素と走査線直交方向に隣接する画素を、上記第１の画素対における画素間を結ぶ直線と同一の方向に第２の画素対として選択し、上記第１の画素対における画素間の信号の差分絶対値と、上記第２の画素対における画素間の信号の差分絶対値の和を算出し、この差分絶対値の和の大きさに基づいて、相関性が高い第１の画素対の方向を選択し、該選択された方向を、相関性が高い補間方向の候補として出力する第１のステップと、
上記第１の画素対における一方の画素と、該一方の画素と走査線直交方向に隣接する上記第２の画素対における画素の組と、上記第１の画素対における他方の画素と、該他方の画素と走査線直交方向に隣接する第２の画素対における画素の組を、第３の画素対として選択し、
当該第３の画素対における画素の信号の差分を算出し、算出された第３の画素対における差分が全て第１の所定の値より大きく、
上記第１の画素対における一方の画素とその画素に対して走査線直交方向の一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における上記一方の画素とその画素に対して走査線直交方向の他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互いに不一致であり、
上記第１の画素対における他方の画素とその画素に対して走査線直交方向の一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における上記他方の画素とその画素に対して走査線直交方向の他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互いに不一致であり、かつ
上記第１の画素対における一方の画素とその画素に対して走査線直交方向の一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における他方の画素とその画素に対して走査線直交方向の上記一方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互いに一致し、
上記第１の画素対における上記一方の画素とその画素に対して走査線直交方向の他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号と、上記第１の画素対における上記他方の画素とその画素に対して走査線直交方向の上記他方の側に隣接する画素とで構成される上記第３の画素対について算出された差分の符号とが互い一致する
と判定された場合に、上記第１の画素対における方向に細線が存在することを検出し、検出結果を出力する第２のステップと、
上記第２の画素対における画素であって、互いに走査線直交方向に隣接する画素の組を第４の画素対として選択し、
上記第２の画素対における画素間の信号の差分と、
当該第４の画素対における画素間の信号の差分と、
上記補間画素と走査線直交方向に隣接する画素間の信号の差分とを算出し、
上記第２の画素対における画素間の信号の差分が第２の所定の値より小さく、
当該第４の画素対における画素間の信号の差分の符号と、上記補間画素と走査線直交方向に隣接する画素間の信号の差分の符号が互いに一致し、
当該第４の画素対における画素間の信号の差分と、上記補間画素と走査線直交方向に隣接する画素間の信号の差分のうちの最大値と最小値の差が第３の所定の値より小さく、かつ、最小値が第４の所定の値より大きい
場合に、上記第１の画素対における方向に斜め方向のエッジが存在することを検出し、検出結果を出力する第３のステップと、
上記第１のステップからの出力である補間方向の候補に対し、上記第２のステップからの出力が細線が検出されたことを示すか、または、上記第３のステップからの出力が斜め方向のエッジが検出されたことを示す場合、上記補間方向の候補を補間方向と決定する第４のステップとを備え、
当該補間方向に基づき上記補間画素の信号を決定し、上記補間走査線を生成することを特徴とする走査線補間方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002356691A JP4175878B2 (ja) | 2002-12-09 | 2002-12-09 | 走査線補間装置および画像表示装置並びに走査線補間方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002356691A JP4175878B2 (ja) | 2002-12-09 | 2002-12-09 | 走査線補間装置および画像表示装置並びに走査線補間方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004193747A JP2004193747A (ja) | 2004-07-08 |
| JP2004193747A5 JP2004193747A5 (ja) | 2005-03-17 |
| JP4175878B2 true JP4175878B2 (ja) | 2008-11-05 |
Family
ID=32756960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002356691A Expired - Fee Related JP4175878B2 (ja) | 2002-12-09 | 2002-12-09 | 走査線補間装置および画像表示装置並びに走査線補間方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4175878B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007060512A (ja) * | 2005-08-26 | 2007-03-08 | Pioneer Electronic Corp | 走査線補間回路、該走査線補間回路に用いられる走査線補間方法、及び画像表示装置 |
| JP4849515B2 (ja) * | 2005-10-11 | 2012-01-11 | キヤノン株式会社 | Ｉｐ変換処理装置、その制御方法 |
| DE102005063072B4 (de) * | 2005-12-30 | 2017-02-02 | Entropic Communications, Inc. | Verfahren und Vorrichtung zur Zwischenzeileninterpolation |
| JP5080783B2 (ja) * | 2006-11-14 | 2012-11-21 | パナソニック株式会社 | 走査線補間装置および走査線補間方法 |
| US8295357B2 (en) * | 2006-12-27 | 2012-10-23 | Intel Corporation | Method and apparatus for angular-directed spatial deinterlacer |
| US8717502B2 (en) | 2007-03-19 | 2014-05-06 | Sony Computer Entertainment Inc. | Methods and apparatuses for upscaling video |
| US9536461B2 (en) | 2014-07-01 | 2017-01-03 | Sony Interactive Entertainment Inc. | Method and system for use in uprendering multimedia content |
-
2002
- 2002-12-09 JP JP2002356691A patent/JP4175878B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004193747A (ja) | 2004-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100561477B1 (ko) | 경계 방향에 기초한 영상 보간 방법 | |
| US7423691B2 (en) | Method of low latency interlace to progressive video format conversion | |
| US20020130969A1 (en) | Motion-adaptive interpolation apparatus and method thereof | |
| KR20000046212A (ko) | 디지탈 영상 데이터의 디인터레이싱 장치 | |
| EP2723066B1 (en) | Spatio-temporal adaptive video de-interlacing | |
| US8189105B2 (en) | Systems and methods of motion and edge adaptive processing including motion compensation features | |
| JP2004064788A (ja) | デインタレーシング装置及び方法 | |
| JP4973542B2 (ja) | 画素補間装置及び画素補間方法 | |
| US8072540B2 (en) | Apparatus and method for low angle interpolation | |
| JP3789442B2 (ja) | 走査線補間装置、画像処理装置、画像表示装置及び走査線補間方法 | |
| JP3591859B2 (ja) | ディジタル映像データの補間方法及び回路 | |
| US20040208384A1 (en) | Method for motion pixel detection with adaptive thresholds | |
| EP2103114B1 (en) | Adaptive video de-interlacing | |
| JP4175878B2 (ja) | 走査線補間装置および画像表示装置並びに走査線補間方法 | |
| US7548663B2 (en) | Intra-field interpolation method and apparatus | |
| KR20030026107A (ko) | 영상신호의 라인보간 장치 및 방법 | |
| JPH08163573A (ja) | 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置 | |
| JPH0662283A (ja) | ビデオ信号のノイズ低減システム | |
| US20090046202A1 (en) | De-interlace method and apparatus | |
| KR100400018B1 (ko) | 톱니파 제거 장치 및 방법 | |
| JP3212917B2 (ja) | 走査線補間装置および走査線補間方法 | |
| JP2658625B2 (ja) | 補間信号生成回路 | |
| KR100252949B1 (ko) | 스캔컨버터회로 | |
| KR100252943B1 (ko) | 스캔컨버터회로 | |
| US7405767B2 (en) | Video image conversion method for interlaced image to progressive image and system thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040422 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040422 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040712 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060704 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080819 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |