JP4868249B2 - Video signal processing device - Google Patents

Video signal processing device Download PDF

Info

Publication number
JP4868249B2
JP4868249B2 JP2007264338A JP2007264338A JP4868249B2 JP 4868249 B2 JP4868249 B2 JP 4868249B2 JP 2007264338 A JP2007264338 A JP 2007264338A JP 2007264338 A JP2007264338 A JP 2007264338A JP 4868249 B2 JP4868249 B2 JP 4868249B2
Authority
JP
Japan
Prior art keywords
interpolation
pixels
value
pixel
directionality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007264338A
Other languages
Japanese (ja)
Other versions
JP2009094862A (en
Inventor
邦男 山田
Original Assignee
株式会社Jvcケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Jvcケンウッド filed Critical 株式会社Jvcケンウッド
Priority to JP2007264338A priority Critical patent/JP4868249B2/en
Publication of JP2009094862A publication Critical patent/JP2009094862A/en
Application granted granted Critical
Publication of JP4868249B2 publication Critical patent/JP4868249B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は映像信号処理装置に係り、特に階調画像を扱う映像表示装置、映像記録装置、映像処理装置、コンピュータ装置などにおいて画像の拡大・解像度変換を施した出力画像を得るための映像信号処理装置に関する。   The present invention relates to a video signal processing apparatus, and in particular, video signal processing for obtaining an output image that has been subjected to image enlargement / resolution conversion in a video display apparatus, video recording apparatus, video processing apparatus, computer apparatus, etc. that handles gradation images Relates to the device.
近年の映像機器のディジタル化及びパーソナルコンピュータやデジタルカメラの普及、さらに超高解像度映像機器の導入により、既存の映像ソースの高品質な高解像度化の重要性が高まっている。この高解像度化には、例えば、既存の映像ソースの映像信号の画素間を補間して画像を拡大する手法が用いられる。   With the recent digitization of video equipment, the spread of personal computers and digital cameras, and the introduction of ultra-high resolution video equipment, the importance of high-quality and high-resolution of existing video sources is increasing. For example, a method of enlarging an image by interpolating between pixels of a video signal of an existing video source is used for increasing the resolution.
広く知られている補間手法としては、最近隣補間法、線形補間法、3次元畳み込み補間法などがある。最近隣補間法は、変換画像の最も近いサンプル点の値を補間値とする方法であり、アルゴリズムが簡単に実現できるメリットがある。線形補間法は、変換画像の補間位置の周囲4点の画素からの距離の比を求め、その比率に応じて、周囲4点の画素値から補間していく方法であり、画像が滑らかになるメリットがある。3次元畳み込み補間法は、sinc関数を近似した三次関数を用いて、補間位置の周辺16点から、畳み込んで計算していく方法であり、画像が滑らかになるのと同時に鮮鋭化の効果もある。   Widely known interpolation methods include nearest neighbor interpolation, linear interpolation, and three-dimensional convolution interpolation. The nearest neighbor interpolation method is a method in which the value of the nearest sample point of the converted image is used as an interpolation value, and has an advantage that the algorithm can be easily realized. The linear interpolation method is a method in which a ratio of distances from the surrounding four pixels at the interpolation position of the converted image is obtained, and interpolation is performed from the surrounding four pixel values according to the ratio, and the image becomes smooth. There are benefits. The three-dimensional convolution interpolation method uses a cubic function approximating the sinc function and performs calculation by convolution from 16 points around the interpolation position, and at the same time the image becomes smooth and has a sharpening effect. is there.
しかし、上記のような従来の補間手法では、周囲の情報を均等に配分して補間データを作り出すため、非エッジ部では滑らかな補間画像が得られるものの、エッジ部分、特に傾斜の急な斜め線においてジャギーが目立つことは避けがたい。   However, in the conventional interpolation method as described above, since the surrounding information is evenly distributed to create interpolation data, a smooth interpolation image can be obtained at the non-edge portion, but the edge portion, particularly a slanting diagonal line It is inevitable that jaggy will stand out.
そのため、エッジ部と非エッジ部の補間手段を別々のものを使用し、エッジ部ではジャギーの目立ちにくい直交変換・逆変換を利用する補間方法が従来提案されている(例えば、特許文献1参照)。   For this reason, an interpolation method using orthogonal transformation / inverse transformation in which edge portions and non-edge portions are separately used and jaggies are not noticeable in the edge portion has been proposed (see, for example, Patent Document 1). .
また、斜めに隣接する画素間の補間については単調増加する非線形関数、縦横に隣接する画素間の補間については単調増加する非線形関数もしくは線形関数を用いることによって、ジャギーに対応する補間方法も従来知られている(例えば、特許文献2参照)。   Also, the interpolation method corresponding to jaggies is conventionally known by using a monotonically increasing nonlinear function for interpolation between diagonally adjacent pixels and using a monotonically increasing nonlinear function or linear function for interpolating between vertically and horizontally adjacent pixels. (For example, refer to Patent Document 2).
更に、周辺の画素値をもとに予め定められた詳細関数によって求められる評価値が、予め設定された条件を満足するまで、補間画素値を繰り返し修正して、斜め線も含め高品位な補間を行う方法も従来提案されている(例えば、特許文献3参照)。   Furthermore, high-quality interpolation including diagonal lines is performed by repeatedly correcting the interpolated pixel value until the evaluation value obtained by the detailed function determined in advance based on the surrounding pixel values satisfies a preset condition. A method of performing the above has also been proposed (see, for example, Patent Document 3).
特許3578921号公報Japanese Patent No. 3578921 特開平5‐284338号公報JP-A-5-284338 特開平10‐164358号公報Japanese Patent Laid-Open No. 10-164358
しかし、上記の特許文献1〜3に記載の補間方法は、直交変換・逆変換の処理が必要になったり、メモリーテーブルを用いた非線形関数の適用する必要があったり、繰り返し演算が必要であったりするなど、いずれも計算コスト上の障害が存在する上、様々な角度の斜め線のジャギーに対応するだけの仕組みを有していないので、補間性能にも限界がある。   However, the interpolation methods described in Patent Documents 1 to 3 described above require processing of orthogonal transformation / inverse transformation, application of a nonlinear function using a memory table, and repeated calculation. In any case, there are obstacles in calculation cost, and there is a limit to the interpolation performance because it does not have a mechanism that only supports jaggies of diagonal lines at various angles.
本発明は上記の点に鑑みなされたもので、複数の方向性を持つ微分作用素で映像信号のエッジの方向性を検出し、検出したエッジに沿った加重平均を得、これを周辺画素の最大値と最小値の間に制限したものを補間値とすることにより、エラーが少なく高性能な斜め線補間を比較的簡単な計算で実現する映像信号処理装置を提供することを目的とする。   The present invention has been made in view of the above points, and detects the directionality of an edge of a video signal using a differential operator having a plurality of directions, obtains a weighted average along the detected edge, and obtains the maximum of neighboring pixels. It is an object of the present invention to provide a video signal processing apparatus that realizes high-performance oblique line interpolation with a relatively simple calculation by using an interpolation value that is limited between a value and a minimum value.
上記の目的を達成するため、本発明の信号処理装置は、映像信号の画素値を補間して高解像度化する信号処理装置において、複数の方向性を持つ微分作用素を、映像信号の補間時に用いる予め設定した複数の画素の画素値に施して、映像信号のエッジの方向性を検出する方向性検出手段と、方向性検出手段により検出されたエッジの方向性を示す直線が、複数の補間画素の補間位置のみを通り、予め設定した複数の画素の位置のいずれにも通らないときは、補間画素の候補値を、複数の画素のうち補間画素の周辺の画素の線形補間により生成し、上記直線が複数の補間画素のうち中心位置にある第1の補間画素の位置のみを通るときは、第1の補間画素の候補値を、複数の画素のうち上記直線の近傍位置にある2以上の画素の画素値を平均して生成すると共に、上記直線の平行線が通る位置にある第2の補間画素の候補値を、複数の画素のうち、平行線の近傍位置にある2以上の画素の画素値を平均して生成し、かつ、上記直線が通らない位置にある第3の補間画素の候補値を、複数の画素のうち第3の補間画素の周辺の画素の線形補間により生成する候補値生成手段と、候補値生成手段により生成された候補値を、複数の画素のうち第1の補間画素の位置の上下左右にそれぞれ隣接する中央の4画素の画素値のうち最大値と最小値で制限して、この制限された候補値を補間画素の補間値として出力する補間値出力手段とを有することを特徴とする。   In order to achieve the above object, a signal processing apparatus according to the present invention uses a differential operator having a plurality of directions when interpolating a video signal in a signal processing apparatus that interpolates pixel values of a video signal to increase resolution. The directionality detection means for detecting the directionality of the edge of the video signal by applying to the pixel values of the plurality of pixels set in advance, and the straight line indicating the directionality of the edge detected by the directionality detection means is a plurality of interpolation pixels When only passing through the interpolation position and does not pass through any of the plurality of preset pixel positions, a candidate value for the interpolation pixel is generated by linear interpolation of pixels around the interpolation pixel among the plurality of pixels, When the straight line passes only through the position of the first interpolation pixel at the center position among the plurality of interpolation pixels, the candidate value of the first interpolation pixel is set to two or more positions near the straight line among the plurality of pixels. Average the pixel values of the pixels And generating a candidate value of the second interpolation pixel at a position where the straight parallel line passes by averaging pixel values of two or more pixels at a position near the parallel line among the plurality of pixels. And candidate value generation means for generating a candidate value of the third interpolation pixel at a position where the straight line does not pass by linear interpolation of pixels around the third interpolation pixel among the plurality of pixels, and candidate value generation The candidate values generated by the means are limited by the maximum value and the minimum value among the pixel values of the central four pixels adjacent to the first interpolated pixel position in the top, bottom, left, and right of the plurality of pixels. And an interpolation value output means for outputting the candidate value as an interpolation value of the interpolation pixel.
本発明によれば、エラーが少なく高性能な斜め線補間を比較的簡単な計算処理で実現することができる。   According to the present invention, high-performance oblique line interpolation with few errors can be realized by a relatively simple calculation process.
次に、本発明の一実施の形態について図面と共に詳細に説明する。   Next, an embodiment of the present invention will be described in detail with reference to the drawings.
図1は、本発明になる映像信号処理装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の映像信号処理装置100は、入力された三原色信号(入力RGB信号)に基づいて、輝度信号Yと2種類の色信号Cb、Crを生成する第一マトリクス回路101と、輝度信号Y用の拡大処理部102と、色信号Cb用の拡大処理部103と、色信号Cr用の拡大処理部104と、各拡大処理部102〜104から出力された信号に基づいて、拡大RGB信号を生成する第二マトリクス回路105とからなる。   FIG. 1 shows a block diagram of an embodiment of a video signal processing apparatus according to the present invention. As shown in the figure, the video signal processing apparatus 100 according to the present embodiment generates a luminance signal Y and two types of color signals Cb and Cr based on the input three primary color signals (input RGB signals). Signals output from the matrix circuit 101, the enlargement processing unit 102 for the luminance signal Y, the enlargement processing unit 103 for the color signal Cb, the enlargement processing unit 104 for the color signal Cr, and the enlargement processing units 102 to 104 And a second matrix circuit 105 that generates an enlarged RGB signal.
次に、この実施の形態の動作について説明する。   Next, the operation of this embodiment will be described.
第一マトリクス回路101は、高解像度化対象の映像信号である入力RGB信号を公知のマトリクス演算を用いて輝度信号Yと2種類の色信号Cb及びCrに変換する。Y用拡大処理部102は、第一マトリクス回路101から出力された輝度信号Yを入力として受け、後述するように、その輝度信号Yの画像のエッジとその方向性とを検出し、検出したエッジに沿った画素の画素値を、そのエッジの方向性によって決定される重み付けにより加重平均して得た加重平均値を所定の複数の周辺画素の最大値と最小値とにより決定される値によって制限し、その制限値を補間値とする拡大処理を行う。   The first matrix circuit 101 converts an input RGB signal, which is a video signal to be increased in resolution, into a luminance signal Y and two types of color signals Cb and Cr using a known matrix operation. The Y enlargement processing unit 102 receives the luminance signal Y output from the first matrix circuit 101 as an input, detects the edge of the image of the luminance signal Y and its directionality, and detects the detected edge, as will be described later. The weighted average value obtained by weighted averaging the pixel values along the pixel by the weight determined by the directionality of the edge is limited by the value determined by the maximum value and the minimum value of a plurality of peripheral pixels. Then, enlargement processing using the limit value as an interpolation value is performed.
一方、Cb用の拡大処理部103とCr用の拡大処理部104とは、それぞれ第一マトリクス回路101から出力された色信号Cb、Crを入力として受け、その入力色信号Cb、Crを公知の線形補間により補間して拡大処理を行う。第二マトリクス回路105は、上記の拡大処理部102、103、104から出力された拡大処理済みの輝度信号Y、拡大処理済みの色信号Cb、及びCrをそれぞれ入力として受け、これらに基づいて公知のマトリクス演算を行って、拡大処理されたR(赤)信号、G(緑)信号、及びB(青)信号の三原色信号を出力する。   On the other hand, the Cb enlargement processing unit 103 and the Cr enlargement processing unit 104 receive the color signals Cb and Cr output from the first matrix circuit 101 as inputs, respectively, and receive the input color signals Cb and Cr as well-known. Enlargement processing is performed by interpolation using linear interpolation. The second matrix circuit 105 receives, as inputs, the enlarged luminance signal Y, the enlarged color signal Cb, and Cr output from the enlargement processing units 102, 103, and 104, respectively, based on them. And the three primary color signals of the enlarged R (red) signal, G (green) signal, and B (blue) signal are output.
次に、本実施の形態の要部であるY用拡大処理部102による拡大処理方法の詳細について説明する。   Next, details of the enlargement processing method by the Y enlargement processing unit 102, which is the main part of the present embodiment, will be described.
図2は、本発明装置の一実施の形態の要部の動作を説明するフローチャートである。このフローチャートはY用拡大処理部102による拡大処理の処理手順を示す。   FIG. 2 is a flowchart for explaining the operation of the main part of the embodiment of the apparatus of the present invention. This flowchart shows the procedure of the enlargement process by the Y enlargement processing unit 102.
まず、入力された輝度信号Yの図3に0〜23で示した○の位置の、計24個の画素の画素値(以下y[n]とする)を用いて、同図のo0、o1、o2、o3、o4に示す計5つの位置の補間値を算出するために、エッジとその方向性の検出を行う(ステップS1)。   First, using the pixel values of a total of 24 pixels (hereinafter referred to as y [n]) at the positions indicated by 0 to 23 in FIG. 3 of the input luminance signal Y, o0 and o1 in FIG. , O2, o3, and o4, an edge and its directionality are detected in order to calculate interpolation values at five positions (step S1).
なお、「エッジ」とは、濃度値、色、模様などの特徴が類似している部分を一つの領域としたとき、上記の特徴が急激に変化している、領域と領域との境界をいう。また、方向性の検出とは、後述する12種類の方向性パターンから所定の方法で一つを選択する処理である。選択方法の詳細は後述する。   Note that “edge” refers to a boundary between regions where the above characteristics change rapidly when a region having similar features such as density value, color, and pattern is defined as one region. . The directionality detection is a process of selecting one from 12 types of directionality patterns described later by a predetermined method. Details of the selection method will be described later.
このステップS1では、図4〜図15に示す複数の方向性を持つ微分作用素を輝度信号Yの画素値(輝度値)に施してエッジとその方向性とを検出する。ここで、「微分作用素」とは、例えば公知の文献(酒井幸一著:“ディジタル画像処理入門”、株式会社コロナ社、P.30-32)に記載されている特徴抽出フィルタにおける、画素の濃度差をとるためのオペレータを総称したものである。この公知文献には、近傍領域に拡張した微分フィルタであるPrewittフィルタのオペレータや、Prewittフィルタにおいて、中央の重みを大きくしたフィルタであるSobelフィルタのオペレータが開示されている。それらのオペレータは縦方向3画素、横方向3画素の計9画素について、垂直・水平のエッジを検出できるような係数配置になっている。   In this step S1, a differential operator having a plurality of directions shown in FIGS. 4 to 15 is applied to the pixel value (luminance value) of the luminance signal Y to detect an edge and its directionality. Here, the “differential operator” means, for example, a pixel density in a feature extraction filter described in a well-known document (Koichi Sakai: “Introduction to Digital Image Processing”, Corona, Inc., P.30-32). It is a general term for operators for taking the difference. This known document discloses an operator of a Prewitt filter that is a differential filter extended to the vicinity region, and an operator of a Sobel filter that is a filter having a larger central weight in the Prewitt filter. These operators have a coefficient arrangement so that vertical and horizontal edges can be detected for a total of 9 pixels, 3 pixels in the vertical direction and 3 pixels in the horizontal direction.
これに対し、本実施の形態では、これより複雑な図3に示した配置の24画素のオペレータを用いて、以下説明するように12のエッジの方向性(角度)の検出ができるようにしている。   On the other hand, in the present embodiment, the directionality (angle) of 12 edges can be detected as will be described below by using a 24-pixel operator having the arrangement shown in FIG. Yes.
いま、図4に点線の直線D0で示される水平方向の方向性を方向性0と呼び、図5に点線の直線D1で示す垂直方向の方向性を方向性1と呼ぶものとする。同様に、図6〜図15にそれぞれ点線の直線D2〜D11で示す方向性を方向性2〜方向性11と呼ぶものとする。また、方向性k(k=0、1、2、・・・、11)を示す図4〜図15における24画素の画素配置は図3と同じであるが、その画素配置のうち、直線D0〜D11の一方の側に配置されている〇で示す画素の係数を「10」、他方の側に配置されている●で示す画素の係数を「−10」とする。ただし、図6、図7では直線D2、D3上に位置する4画素をノーカウントにし、かつ、〇で示す画素の係数を「12」、●で示す画素の係数を「−12」とする。なお、直線D0〜D11は、全て24画素の配置の中心位置(補間画素o0の位置)を通る。   Now, the horizontal directionality indicated by the dotted line D0 in FIG. 4 is referred to as directionality 0, and the vertical directionality indicated by the dotted line D1 in FIG. Similarly, the directivity indicated by dotted straight lines D2 to D11 in FIGS. 6 to 15 is referred to as directivity 2 to directivity 11, respectively. Further, the pixel arrangement of 24 pixels in FIGS. 4 to 15 showing the directionality k (k = 0, 1, 2,..., 11) is the same as that in FIG. The coefficient of the pixel indicated by ○ arranged on one side of ˜D11 is “10”, and the coefficient of the pixel indicated by ● arranged on the other side is “−10”. However, in FIG. 6 and FIG. 7, the four pixels located on the straight lines D2 and D3 are not counted, the coefficient of the pixel indicated by ◯ is “12”, and the coefficient of the pixel indicated by ● is “−12”. The straight lines D0 to D11 all pass through the center position (position of the interpolation pixel o0) of the arrangement of 24 pixels.
上記の画素の係数をc[n]とし、24個の各画素値をy[n]とすると(nは図4〜図15に示した各画素の番号)、次式
が方向性kにおいて最大になる場合、方向性kのエッジが存在すると考える。図2のステップS1では、方向性0〜11について(1)式の演算を行い、微分作用素計算結果の絶対値xの最大値が得られる方向性を検出する。
If the coefficient of the pixel is c k [n] and each of the 24 pixel values is y [n] (n is the number of each pixel shown in FIGS. 4 to 15),
Is the maximum in direction k, it is considered that there is an edge of direction k. In step S1 of FIG. 2, the calculation of the expression (1) is performed for the directivity 0 to 11, and the directivity at which the maximum value of the absolute value x of the differential operator calculation result is obtained is detected.
続いて、上記の検出した方向性を示す微分作用素計算結果の絶対値xの最大値が所定値th1未満であるかどうかを判定し(ステップS2)、上記の最大値がth1未満である場合は非エッジと判定し、線形補間を行う(ステップS3)。具体的には、
o0=(y[8]+y[9]+y[14]+y[15])/4
o1=(y[8]+y[9])/2
o2=(y[8]+y[14])/2
o3=(y[9]+y[15])/2
o4=(y[14]+y[15])/2
のように、周辺に位置する4画素又は2画素の各画素値に基づいて補間画素o0〜o4の画素値(補間値)を計算する。
Subsequently, it is determined whether or not the maximum value x of the differential operator calculation result indicating the detected directionality is less than a predetermined value th1 (step S2). If the maximum value is less than th1, A non-edge is determined and linear interpolation is performed (step S3). In particular,
o0 = (y [8] + y [9] + y [14] + y [15]) / 4
o1 = (y [8] + y [9]) / 2
o2 = (y [8] + y [14]) / 2
o3 = (y [9] + y [15]) / 2
o4 = (y [14] + y [15]) / 2
As described above, the pixel values (interpolation values) of the interpolation pixels o0 to o4 are calculated based on the pixel values of four or two pixels located in the vicinity.
一方、上記のステップS2において、微分作用素計算結果の絶対値xの最大値が所定値th1以上であると判定されたときは、その検出した方向性はエッジであると判定し、そのエッジとして判定された各方向性について場合分けして加重平均による補間値の候補値を計算する(ステップS4)。この補間値の候補値の計算においては、随所に線形補間も使用されるので、予め以下の関係を定めておく。   On the other hand, when it is determined in step S2 that the maximum value of the absolute value x of the differential operator calculation result is equal to or greater than the predetermined value th1, the detected directionality is determined to be an edge and determined as the edge. The candidate values of the interpolation value by the weighted average are calculated for each of the directional characteristics (step S4). In the calculation of candidate values for the interpolation value, linear interpolation is also used everywhere, so the following relationship is determined in advance.
bo0=(y[8]+y[9]+y[14]+y[15])/4
bo1=(y[8]+y[9])/2
bo2=(y[8]+y[14])/2
bo3=(y[9]+y[15])/2
bo4=(y[14]+y[15])/2
th2=max(y[8],y[9],y[14],y[15])−min(y[8],y[9],y[14],y[15])
また、最終的に制限される前の補間値の候補値の推定であるが、便宜上、候補値も補間値と同じo0,o1,o2,o3,o4という表現で記載する。
bo0 = (y [8] + y [9] + y [14] + y [15]) / 4
bo1 = (y [8] + y [9]) / 2
bo2 = (y [8] + y [14]) / 2
bo3 = (y [9] + y [15]) / 2
bo4 = (y [14] + y [15]) / 2
th2 = max (y [8], y [9], y [14], y [15]) − min (y [8], y [9], y [14], y [15])
Moreover, although it is estimation of the candidate value of the interpolation value before finally limiting, for convenience, the candidate value is also described by the expression o0, o1, o2, o3, o4, which is the same as the interpolation value.
ここで、th2は補間位置周辺の現画素のダイナミックレンジを意味し、以下の計算においてエッジ推定のエラーなどを防止するための場合分けに使用される。また、図4〜図15に8,9,14,15で示した番号の画素は、補間値決定に重要な位置付けを占める“中央4画素”とし、y[8],y[9],y[14],y[15]を“中央4画素値”と以下呼ぶことにする。   Here, th2 means the dynamic range of the current pixel around the interpolation position, and is used for case classification to prevent an edge estimation error or the like in the following calculation. Also, the pixels indicated by the numbers 8, 9, 14, and 15 in FIGS. 4 to 15 are “center 4 pixels” that occupy an important position for determining the interpolation value, and y [8], y [9], y [14] and y [15] are hereinafter referred to as “center four pixel values”.
次に、各方向性0〜11のそれぞれについて、その方向性を検出した場合の候補値の計算方法について説明する。   Next, a method for calculating candidate values when each directionality 0 to 11 is detected will be described.
(1)方向性0をエッジの方向性と検出した場合
この場合は、図4に示した方向性0を示す直線D0が、o0、o2、o3の補間画素の補間位置のみを通り、映像信号の予め設定した24個の画素0〜23の位置をいずれも通らないときであり、線形補間と同一の方法で補間値の候補値を計算する。よって、図4に示した方向性0におけるo0〜o4の補間値の候補値は以下のようになる。
(1) When Directionality 0 is Detected as Edge Directionality In this case, the straight line D0 indicating the directionality 0 shown in FIG. 4 passes through only the interpolation positions of the interpolation pixels o0, o2, and o3, and the video signal No candidate position of the interpolation value is calculated by the same method as the linear interpolation. Therefore, candidate values for the interpolation values of o0 to o4 in the directionality 0 shown in FIG. 4 are as follows.
o0=bo0、o1=bo1、o2=bo2、o3=bo3、o4=bo4
(2)方向性1をエッジの方向性と検出した場合
この場合も、(1)と同様に図5に示した方向性1を示す直線D1が、o0、o1、o4の補間画素の補間位置のみを通り、映像信号の24個の画素0〜23の位置をいずれも通らないときであり、線形補間と同一の方法で補間値の候補値を計算する。よって、図5に示した方向性1におけるo0〜o4の補間値の候補値は以下のようになる。
o0 = bo0, o1 = bo1, o2 = bo2, o3 = bo3, o4 = bo4
(2) When Directionality 1 is Detected as Edge Directionality In this case as well, the straight line D1 indicating the directionality 1 shown in FIG. 5 is the interpolation position of o0, o1, and o4 interpolation pixels as in (1). Only when the positions of the 24 pixels 0 to 23 of the video signal do not pass through, and the candidate value of the interpolation value is calculated by the same method as the linear interpolation. Therefore, candidate values for the interpolation values of o0 to o4 in the directionality 1 shown in FIG. 5 are as follows.
o0=bo0、o1=bo1、o2=bo2、o3=bo3、o4=bo4
(3)方向性2をエッジの方向性と検出した場合
図6に示した方向性2におけるo0〜o4の補間値の候補値のうち、o1〜o4については線形補間と同一の値とし、o0については図6の方向性2を示す直線D2上に位置する画素9、14の画素値y[9]、y[14]を平均する。従って、この場合は以下のようになる。
o0 = bo0, o1 = bo1, o2 = bo2, o3 = bo3, o4 = bo4
(3) When Directionality 2 is Detected as Edge Directionality Of the candidate values for interpolation values o0 to o4 in directionality 2 shown in FIG. 6, o1 to o4 are set to the same values as linear interpolation, and o0 For, the pixel values y [9] and y [14] of the pixels 9 and 14 located on the straight line D2 indicating the directionality 2 in FIG. 6 are averaged. Therefore, in this case, it is as follows.
o0=(y[9]+y[14])/2
o1=bo1、o2=bo2、o3=bo3、o4=bo4
(4)方向性3をエッジの方向性と検出した場合
図7に示した方向性3におけるo0〜o4の補間値の候補値のうち、o1〜o4については線形補間と同一の値とし、o0については図7の方向性3を示す直線D3上に位置する画素8、15の画素値y[8]、y[15]を平均する。従って、この場合は以下のようになる。
o0 = (y [9] + y [14]) / 2
o1 = bo1, o2 = bo2, o3 = bo3, o4 = bo4
(4) When Directionality 3 is Detected as Edge Directionality Among the candidate values for interpolation values o0 to o4 in the directionality 3 shown in FIG. 7, o1 to o4 are set to the same values as the linear interpolation, and o0. For, the pixel values y [8] and y [15] of the pixels 8 and 15 located on the straight line D3 indicating the directionality 3 in FIG. 7 are averaged. Therefore, in this case, it is as follows.
o0=(y[8]+y[15])/2
o1=bo1、o2=bo2、o3=bo3、o4=bo4
(5)方向性4をエッジの方向性と検出した場合
図8に示した方向性4におけるo0〜o4のうち、中央にあるo0の補間値の候補値については方向性4を示す直線D4に近い4画素9、10、13、14の画素値を平均して求める。o2,o3の補間値の候補値については補間位置を通る直線D4の平行線に近い補間位置近傍の3画素の画素値を平均して求める。但し、前記4画素9、10、13、14のo0位置を挟む2組のペアについてどちらかの差の絶対値がth2を超えた場合は平均計算がエラーをもたらす確率が高いとして、方向性2と同一の演算を行う。従って、この場合は以下の式によりo0〜o4の補間値の候補値を計算する。
o0 = (y [8] + y [15]) / 2
o1 = bo1, o2 = bo2, o3 = bo3, o4 = bo4
(5) When Directionality 4 is Detected as Edge Directionality Among o0 to o4 in directionality 4 shown in FIG. 8, the candidate value for the interpolation value o0 at the center is represented by a straight line D4 indicating directionality 4. The pixel values of the nearest four pixels 9, 10, 13, 14 are averaged. The candidate values for the interpolation values o2 and o3 are obtained by averaging the pixel values of three pixels near the interpolation position close to the parallel line of the straight line D4 passing through the interpolation position. However, if the absolute value of the difference between the two pairs across the o0 position of the four pixels 9, 10, 13, 14 exceeds th2, the average calculation has a high probability of causing an error. Performs the same operation as. Therefore, in this case, candidate values for interpolation values of o0 to o4 are calculated by the following formula.
o0=(y[13]+y[14]+y[9]+y[10])/4
o1=bo1
o2=(y[9]+y[13]+y[8])/3
o3=(y[10]+y[14]+y[15])/3
o4=bo4
if(abs(y[10]−y[9])>th2||abs(y[13]−y[14])>th2)
{o0=(y[9]+y[14])/2;o2=bo2;o3=bo3}
(6)方向性5をエッジの方向性と検出した場合
図9に示した方向性5におけるo0〜o4のうち、中央にあるo0の補間値の候補値については方向性5を示す直線D5に近い4画素7、8、15、16の画素値を平均して求める。o2,o3の補間値の候補値については補間位置を通る直線D5の平行線に近い補間位置近傍の3画素の画素値を平均して求める。但し、前記4画素7、8、15、16のo0位置を挟む2組のペアについてどちらかの差の絶対値がth2を超えた場合は平均計算がエラーをもたらす確率が高いとして、方向性3と同一の演算を行う。従って、この場合は以下の式によりo0〜o4の補間値の候補値を計算する。
o0 = (y [13] + y [14] + y [9] + y [10]) / 4
o1 = bo1
o2 = (y [9] + y [13] + y [8]) / 3
o3 = (y [10] + y [14] + y [15]) / 3
o4 = bo4
if (abs (y [10] −y [9])> th2 || abs (y [13] −y [14])> th2)
{o0 = (y [9] + y [14]) / 2; o2 = bo2; o3 = bo3}
(6) When Directionality 5 is Detected as Edge Directionality Among o0 to o4 in directionality 5 shown in FIG. 9, the candidate value for the interpolation value of o0 at the center is represented by a straight line D5 indicating directionality 5. The pixel values of the nearest four pixels 7, 8, 15, 16 are averaged. The candidate values for the interpolation values of o2 and o3 are obtained by averaging pixel values of three pixels near the interpolation position close to the parallel line of the straight line D5 passing through the interpolation position. However, if the absolute value of one of the two pairs of the four pixels 7, 8, 15, 16 across the o0 position exceeds th 2, the average calculation has a high probability of causing an error. Performs the same operation as. Therefore, in this case, candidate values for interpolation values of o0 to o4 are calculated by the following formula.
o0=(y[7]+y[8]+y[15]+y[16])/4
o1=bo1
o2=(y[7]+y[14]+y[15])/3
o3=(y[8]+y[9]+y[16])/3
o4=bo4
if(abs(y[7]−y[8])>th2||abs(y[15]−y[16])>th2)
{o0=(y[8]+y[15])/2;o2=bo2;o3=bo3}
(7)方向性6をエッジの方向性と検出した場合
図10に示した方向性6におけるo0〜o4のうち、中央にあるo0の補間値の候補値については方向性6を示す直線D6に近い4画素4、9、14、19の画素値を平均して求める。o1,o4の補間値の候補値については補間位置を通る直線D6の平行線に近い補間位置近傍の3画素の画素値を平均して求める。但し、前記4画素4、9、14、19のo0位置を挟む2組のペアについてどちらかの差の絶対値がth2を超えた場合は平均計算がエラーをもたらす確率が高いとして、方向性2と同一の演算を行う。従って、この場合は以下の式によりo0〜o4の補間値の候補値を計算する。
o0 = (y [7] + y [8] + y [15] + y [16]) / 4
o1 = bo1
o2 = (y [7] + y [14] + y [15]) / 3
o3 = (y [8] + y [9] + y [16]) / 3
o4 = bo4
if (abs (y [7] −y [8])> th2 || abs (y [15] −y [16])> th2)
{o0 = (y [8] + y [15]) / 2; o2 = bo2; o3 = bo3}
(7) When Directionality 6 is Detected as Edge Directionality Among o0 to o4 in directionality 6 shown in FIG. 10, the candidate value for the interpolated value o0 at the center is a straight line D6 indicating directionality 6. The pixel values of the nearest four pixels 4, 9, 14, 19 are averaged. The candidate values for the interpolation values o1 and o4 are obtained by averaging pixel values of three pixels near the interpolation position close to the parallel line of the straight line D6 passing through the interpolation position. However, if the absolute value of one of the differences between two pairs across the o0 position of the four pixels 4, 9, 14, 19 exceeds th2, the average calculation has a high probability of causing an error. Performs the same operation as. Therefore, in this case, candidate values for interpolation values of o0 to o4 are calculated by the following formula.
o0=(y[4]+y[9]+y[14]+y[19])/4
o1=(y[4]+y[8]+y[14])/3
o2=bo2
o3=bo3
o4=(y[9]+y[15]+y[19])/3
if(abs(y[4]−y[9])>th2||abs(y[19]−y[14])>th2)
{o0=(y[9]+y[14])/2;o1=bo1;o4=bo4}
(8)方向性7をエッジの方向性と検出した場合
図11に示した方向性7におけるo0〜o4のうち、中央にあるo0の補間値の候補値については方向性7を示す直線D7に近い4画素3、8、15、20の画素値を平均して求める。o1,o4の補間値の候補値については補間位置を通る直線D7の平行線に近い補間位置近傍の3画素の画素値を平均して求める。但し、前記4画素3、8、15、20のo0位置を挟む2組のペアについてどちらかの差の絶対値がth2を超えた場合は平均計算がエラーをもたらす確率が高いとして、方向性3と同一の演算を行う。従って、この場合は以下の式によりo0〜o4の補間値の候補値を計算する。
o0 = (y [4] + y [9] + y [14] + y [19]) / 4
o1 = (y [4] + y [8] + y [14]) / 3
o2 = bo2
o3 = bo3
o4 = (y [9] + y [15] + y [19]) / 3
if (abs (y [4] −y [9])> th2 || abs (y [19] −y [14])> th2)
{o0 = (y [9] + y [14]) / 2; o1 = bo1; o4 = bo4}
(8) When Directionality 7 is Detected as Edge Directionality Among o0 to o4 in directionality 7 shown in FIG. 11, the candidate value for the interpolation value o0 at the center is represented by a straight line D7 indicating directionality 7. The pixel values of the nearest four pixels 3, 8, 15, 20 are averaged. The candidate values for the interpolation values o1 and o4 are obtained by averaging the pixel values of three pixels near the interpolation position close to the parallel line of the straight line D7 passing through the interpolation position. However, if the absolute value of one of the two pairs of the four pixels 3, 8, 15, and 20 across the o0 position exceeds th2, the average calculation has a high probability of causing an error. Performs the same operation as. Therefore, in this case, candidate values for interpolation values of o0 to o4 are calculated by the following formula.
o0=(y[3]+y[8]+y[15]+y[20])/4
o1=(y[3]+y[9]+y[15])/3
o2=bo2
o3=bo3
o4=(y[8]+y[14]+y[20])/3
if(abs(y[3]−y[8])>th2||abs(y[15]−y[20])>th2)
{o0=(y[8]+y[15])/2;o1=bo1;o4=bo4}
(9)方向性8をエッジの方向性と検出した場合
この場合は、図12に示した方向性8を示す直線D8が、補間画素o0〜o4のうち補間画素o0の位置を通るが、o2、o3には接しているので、実質上、o0のみを通る場合である。この場合は、方向性8におけるo0〜o4のうち、中央にあるo0の補間値の候補値については直線D8に近い4画素10、11、12、13の画素値を平均して求める。o2,o3の補間値の候補値については補間位置を通る直線D8の平行線に近い補間位置近傍の3画素の画素値を平均して求める。但し、前記4画素10、11、12、13のo0位置を挟む2組のペアのそれぞれについて、中央4画素値で直線D8近傍の直近のものとの差を計算し、差の絶対値がth2を超えた場合は平均計算がエラーをもたらす確率が高いとして、線形補間を行う。従って、この場合は以下の式によりo0〜o4の補間値の候補値を計算する。
o0 = (y [3] + y [8] + y [15] + y [20]) / 4
o1 = (y [3] + y [9] + y [15]) / 3
o2 = bo2
o3 = bo3
o4 = (y [8] + y [14] + y [20]) / 3
if (abs (y [3] −y [8])> th2 || abs (y [15] −y [20])> th2)
{o0 = (y [8] + y [15]) / 2; o1 = bo1; o4 = bo4}
(9) When Directionality 8 is Detected as Edge Directionality In this case, the straight line D8 indicating the directionality 8 shown in FIG. 12 passes through the position of the interpolation pixel o0 among the interpolation pixels o0 to o4. , O3 is in contact with each other. In this case, among the o0 to o4 in the directionality 8, the candidate value of the interpolation value of o0 at the center is obtained by averaging the pixel values of the four pixels 10, 11, 12, and 13 close to the straight line D8. The candidate values for the interpolation values o2 and o3 are obtained by averaging the pixel values of three pixels near the interpolation position close to the parallel line of the straight line D8 passing through the interpolation position. However, for each of the two pairs of the four pixels 10, 11, 12, and 13 across the o0 position, the difference between the center 4 pixel value and the nearest one near the straight line D8 is calculated, and the absolute value of the difference is th2. If the average is exceeded, linear interpolation is performed on the assumption that the average calculation has a high probability of causing an error. Therefore, in this case, candidate values for interpolation values of o0 to o4 are calculated by the following formula.
o0=(y[10]+y[11]+y[12]+y[13])/4
o1=bo1
o2=(y[8]+y[10]+y[12])/3
o3=(y[11]+y[13]+y[14])/3
o4=bo4
if(abs(y[10]−y[9])>th2||abs(y[11]−y[9])>th2)
||abs(y[12]−y[14])>th2||abs(y[13]−y[14])>th2)
{o0=bo0;o2=bo2;o3=bo3}
(10)方向性9をエッジの方向性と検出した場合
この場合は、図13に示した方向性9を示す直線D9が、補間画素o0〜o4のうち補間画素o0の位置を通るが、o2、o3には接しているので、実質上、o0のみを通る場合である。この場合は、図13に示した方向性9におけるo0〜o4のうち、中央にあるo0の補間値の候補値については直線D9に近い4画素6、7、16、17の画素値を平均して求める。o2,o3の補間値の候補値については補間位置を通る直線D9の平行線に近い補間位置近傍の3画素の画素値を平均して求める。但し、前記4画素6、7、16、17のo0位置を挟む2組のペアのそれぞれについて、中央4画素値で直線D9近傍の直近のものとの差を計算し、差の絶対値がth2を超えた場合は平均計算がエラーをもたらす確率が高いとして、線形補間を行う。従って、この場合は以下の式によりo0〜o4の補間値の候補値を計算する。
o0 = (y [10] + y [11] + y [12] + y [13]) / 4
o1 = bo1
o2 = (y [8] + y [10] + y [12]) / 3
o3 = (y [11] + y [13] + y [14]) / 3
o4 = bo4
if (abs (y [10] −y [9])> th2 || abs (y [11] −y [9])> th2)
|| abs (y [12] −y [14])> th2 || abs (y [13] −y [14])> th2)
{o0 = bo0; o2 = bo2; o3 = bo3}
(10) When the directionality 9 is detected as the directionality of the edge In this case, the straight line D9 indicating the directionality 9 shown in FIG. 13 passes through the position of the interpolation pixel o0 among the interpolation pixels o0 to o4. , O3 is in contact with each other. In this case, among the o0 to o4 in the directionality 9 shown in FIG. 13, the pixel values of the four pixels 6, 7, 16, 17 close to the straight line D9 are averaged for the candidate value of the interpolation value o0 in the center. Ask. The candidate values for the interpolation values o2 and o3 are obtained by averaging the pixel values of three pixels near the interpolation position close to the parallel line of the straight line D9 passing through the interpolation position. However, for each of the two pairs of the four pixels 6, 7, 16, 17 sandwiching the o0 position, the difference between the center 4 pixel value and the nearest one near the straight line D9 is calculated, and the absolute value of the difference is th2. If the average is exceeded, linear interpolation is performed on the assumption that the average calculation has a high probability of causing an error. Therefore, in this case, candidate values for interpolation values of o0 to o4 are calculated by the following formula.
o0=(y[6]+y[7]+y[16]+y[17])/4
o1=bo1
o2=(y[6]+y[14]+y[16])/3
o3=(y[7]+y[9]+y[17])/3
o4=bo4
if(abs(y[6]−y[8])>th2||abs(y[7]−y[8])>th2)
||abs(y[16]−y[15])>th2||abs(y[17]−y[15])>th2)
{o0=bo0;o2=bo2;o3=bo3}
(11)方向性10をエッジの方向性と検出した場合
この場合は、図14に示した方向性10を示す直線D10が、補間画素o0〜o4のうち補間画素o0の位置を通るが、o1、o4にはほぼ接しているので、実質上、o1のみを通る場合である。この場合は、図14に示した方向性10におけるo0〜o4のうち、中央にあるo0の補間値の候補値については直線D10に近い4画素1、4、19、22の画素値を平均して求める。o1,o4の補間値の候補値については補間位置を通る直線D10の平行線に近い補間位置近傍の3画素の画素値を平均して求める。但し、前記4画素1、4、19、22のo0位置を挟む2組のペアのそれぞれについて、中央4画素値で直線D10近傍の直近のものとの差を計算し、差の絶対値がth2を超えた場合は平均計算がエラーをもたらす確率が高いとして、線形補間を行う。従って、この場合は以下の式によりo0〜o4の補間値の候補値を計算する。
o0 = (y [6] + y [7] + y [16] + y [17]) / 4
o1 = bo1
o2 = (y [6] + y [14] + y [16]) / 3
o3 = (y [7] + y [9] + y [17]) / 3
o4 = bo4
if (abs (y [6] −y [8])> th2 || abs (y [7] −y [8])> th2)
|| abs (y [16] −y [15])> th2 || abs (y [17] −y [15])> th2)
{o0 = bo0; o2 = bo2; o3 = bo3}
(11) When Directionality 10 is Detected as Edge Directionality In this case, the straight line D10 indicating the directionality 10 shown in FIG. 14 passes through the position of the interpolation pixel o0 among the interpolation pixels o0 to o4. , O4 is almost in contact with each other. In this case, among the o0 to o4 in the directionality 10 shown in FIG. 14, the pixel values of the four pixels 1, 4, 19, and 22 close to the straight line D10 are averaged for the candidate value of the interpolation value o0 in the center. Ask. The candidate values for the interpolation values o1 and o4 are obtained by averaging pixel values of three pixels near the interpolation position close to the parallel line of the straight line D10 passing through the interpolation position. However, for each of the two pairs of the four pixels 1, 4, 19, and 22 across the o0 position, the difference between the center 4 pixel value and the nearest one near the straight line D10 is calculated, and the absolute value of the difference is th2. If the average is exceeded, linear interpolation is performed on the assumption that the average calculation has a high probability of causing an error. Therefore, in this case, candidate values for interpolation values of o0 to o4 are calculated by the following formula.
o0=(y[1]+y[4]+y[19]+y[22])/4
o1=(y[1]+y[8]+y[19])/3
o2=bo2
o3=bo3
o4=(y[4]+y[15]+y[22])/3
if(abs(y[1]−y[9])>th2||abs(y[4]−y[9])>th2)
||abs(y[19]−y[14])>th2||abs(y[22]−y[14])>th2)
{o0=bo0;o1=bo1;o4=bo4}
(12)方向性11をエッジの方向性と検出した場合
この場合は、図15に示した方向性11を示す直線D11が、補間画素o0〜o4のうち補間画素o0の位置を通るが、o1、o4には接しているので、実質上、o0のみを通る場合である。この場合は、図15に示した方向性11におけるo0〜o4のうち、中央にあるo0の補間値の候補値については直線D11に近い4画素0、3、20、23の画素値を平均して求める。o1,o4の補間値の候補値については補間位置を通る直線D11の平行線に近い補間位置近傍の3画素の画素値を平均して求める。但し、前記4画素0、3、20、23のo0位置を挟む2組のペアのそれぞれについて、中央4画素値で直線D11近傍の直近のものとの差を計算し、差の絶対値がth2を超えた場合は平均計算がエラーをもたらす確率が高いとして、線形補間を行う。従って、この場合は以下の式によりo0〜o4の補間値の候補値を計算する。
o0 = (y [1] + y [4] + y [19] + y [22]) / 4
o1 = (y [1] + y [8] + y [19]) / 3
o2 = bo2
o3 = bo3
o4 = (y [4] + y [15] + y [22]) / 3
if (abs (y [1] −y [9])> th2 || abs (y [4] −y [9])> th2)
|| abs (y [19] −y [14])> th2 || abs (y [22] −y [14])> th2)
{o0 = bo0; o1 = bo1; o4 = bo4}
(12) When the directionality 11 is detected as the edge directionality In this case, the straight line D11 indicating the directionality 11 shown in FIG. 15 passes through the position of the interpolation pixel o0 among the interpolation pixels o0 to o4. , O4 is in contact with each other. In this case, among the o0 to o4 in the directionality 11 shown in FIG. 15, the candidate values of the interpolation value of o0 in the center are averaged from the pixel values of the four pixels 0, 3, 20, and 23 close to the straight line D11. Ask. The candidate values for the interpolation values o1 and o4 are obtained by averaging the pixel values of three pixels near the interpolation position close to the parallel line of the straight line D11 passing through the interpolation position. However, for each of the two pairs of the four pixels 0, 3, 20, 23 sandwiching the o0 position, the difference between the center 4 pixel value and the nearest one near the straight line D11 is calculated, and the absolute value of the difference is th2. If the average is exceeded, linear interpolation is performed on the assumption that the average calculation has a high probability of causing an error. Therefore, in this case, candidate values for interpolation values of o0 to o4 are calculated by the following formula.
o0=(y[0]+y[3]+y[20]+y[23])/4
o1=(y[0]+y[9]+y[20])/3
o2=bo2
o3=bo3
o4=(y[3]+y[14]+y[23])/3
if(abs(y[0]−y[8])>th2||abs(y[3]−y[8])>th2)
||abs(y[20]−y[15])>th2||abs(y[23]−y[15])>th2)
{o0=bo0;o1=bo1;o4=bo4}
次に、上記のステップS4において、上記の(1)〜(11)のいずれかの処理により求められた候補値o0,o1,o2,o3,o4につき、周辺画素である中央4画素の画素値の最大値と最小値の範囲内の値に制限(リミット)したものを、図3にo0,o1,o2,o3,o4で示す補間位置の補間値(補間画素値)としてそれぞれ生成し、出力する(ステップS5)。
o0 = (y [0] + y [3] + y [20] + y [23]) / 4
o1 = (y [0] + y [9] + y [20]) / 3
o2 = bo2
o3 = bo3
o4 = (y [3] + y [14] + y [23]) / 3
if (abs (y [0] −y [8])> th2 || abs (y [3] −y [8])> th2)
|| abs (y [20] −y [15])> th2 || abs (y [23] −y [15])> th2)
{o0 = bo0; o1 = bo1; o4 = bo4}
Next, in the above step S4, the pixel values of the central four pixels, which are peripheral pixels, for the candidate values o0, o1, o2, o3, and o4 obtained by any of the processes (1) to (11) above. Are generated as the interpolation values (interpolated pixel values) at the interpolation positions indicated by o0, o1, o2, o3, and o4 in FIG. (Step S5).
すなわち、このステップS5では、中央4画素の最大値max(y[8],y[9],y[14].y[15])と、中央4画素の最小値min(y[8],y[9],y[14],y[15])との範囲内の値に制限した候補値を補間値として出力する。つまり、候補値o0〜o4のうち、上記最大値より大なる値の候補値は上記最大値に制限されて補間値として出力され、上記最小値より小なる値の候補値は上記最小値に制限されて補間値として出力され、上記最大値と最小値の範囲内の候補値は、その値がそのまま補間値として出力される。   That is, in this step S5, the maximum value max (y [8], y [9], y [14] .y [15]) of the central four pixels and the minimum value min (y [8], y [9], y [14], y [15]), and candidate values limited to values within the range are output as interpolation values. That is, among candidate values o0 to o4, candidate values that are larger than the maximum value are limited to the maximum value and output as an interpolation value, and candidate values that are smaller than the minimum value are limited to the minimum value. And output as an interpolation value. The candidate values within the range of the maximum value and the minimum value are output as they are as an interpolation value.
ここで、上記の中央4画素の画素値の最大値と最小値の範囲内の値に制限する理由は、周囲の画素値によっては、制限を行わないと突出した補間値となり、ノイズ又はエイリアシング状に見えることがあるためである。   Here, the reason for limiting to the value within the range of the maximum value and the minimum value of the pixel values of the above four central pixels is that depending on the surrounding pixel values, it becomes a prominent interpolation value if it is not limited, and noise or aliasing This is because it may appear.
このように、本実施の形態によれば、従来よりも複雑な図3に示した配置の24画素のオペレータを用いて、12の方向性(角度)を持つ微分作用素で高解像度化対象の映像信号のエッジの方向性を検出し、検出したエッジの方向性に沿った複数の画素の加重平均から候補値を求め、その候補値のうち周辺画素である中央4画素の最大値と最小値の間に制限したものを補間値として生成するようにしたため、エラーが少なく高性能な斜め線補間を比較的簡単な計算処理で実現することができる。   As described above, according to the present embodiment, using the 24-pixel operator having the arrangement shown in FIG. 3 which is more complicated than the prior art, the image to be increased in resolution with a differential operator having 12 directions (angles). The directionality of the edge of the signal is detected, a candidate value is obtained from a weighted average of a plurality of pixels along the detected directionality of the edge, and among the candidate values, the maximum and minimum values of the central four pixels that are peripheral pixels are obtained. Since the interpolated value is generated as an interpolation value, high-performance oblique line interpolation with few errors can be realized by a relatively simple calculation process.
なお、本発明は、ハードウェアの画像拡大処理に限定されるものでなく、コンピュータプログラムにより処理することもできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。また、上記の実施の形態では、検出する方向性の数は「12」としたが、本発明は、この数に限定されるものではない。   The present invention is not limited to hardware image enlargement processing, and can be processed by a computer program. In this case, the computer program may be taken into the computer from a recording medium or may be taken into the computer via a network. In the above embodiment, the number of directions to be detected is “12”, but the present invention is not limited to this number.
本発明の一実施の形態のブロック図である。It is a block diagram of one embodiment of the present invention. 本発明の一実施の形態の要部の動作説明用フローチャートである。It is a flowchart for operation | movement description of the principal part of one embodiment of this invention. 図2による補間処理の1回の処理単位における画素配置を示す図である。It is a figure which shows the pixel arrangement | positioning in the process unit of 1 time of the interpolation process by FIG. 方向性0の微分作用素を示す図である。It is a figure which shows the differential operator of directionality 0. 方向性1の微分作用素を示す図である。It is a figure which shows the differential operator of directionality 1. 方向性2の微分作用素を示す図である。It is a figure which shows the differential operator of directionality 2. 方向性3の微分作用素を示す図である。It is a figure which shows the differential operator of directionality 3. 方向性4の微分作用素を示す図である。It is a figure which shows the differential operator of directionality 4. 方向性5の微分作用素を示す図である。It is a figure which shows the differential operator of directionality 5. 方向性6の微分作用素を示す図である。It is a figure which shows the differential operator of directionality 6. 方向性7の微分作用素を示す図である。It is a figure which shows the differential operator of directionality 7. 方向性8の微分作用素を示す図である。It is a figure which shows the differential operator of directionality 8. 方向性9の微分作用素を示す図である。It is a figure which shows the differential operator of directionality 9. 方向性10の微分作用素を示す図である。It is a figure which shows the differential operator of directionality 10. 方向性11の微分作用素を示す図である。It is a figure which shows the differential operator of directionality 11.
符号の説明Explanation of symbols
100 映像信号処理装置
101 第一マトリクス回路
102 Y用拡大処理部
103 Cb用拡大処理部
104 Cr用拡大処理部
105 第二マトリクス回路
DESCRIPTION OF SYMBOLS 100 Video signal processing apparatus 101 1st matrix circuit 102 Y enlargement process part 103 Cb enlargement process part 104 Cr enlargement process part 105 2nd matrix circuit

Claims (1)

  1. 映像信号の画素値を補間して高解像度化する映像信号処理装置において、
    複数の方向性を持つ微分作用素を、前記映像信号の補間時に用いる予め設定した複数の画素の画素値に施して、前記映像信号のエッジの方向性を検出する方向性検出手段と、
    前記方向性検出手段により検出された前記エッジの方向性を示す直線が、複数の補間画素の補間位置のみを通り、前記予め設定した複数の画素の位置のいずれにも通らないときは、前記補間画素の候補値を、前記複数の画素のうち前記補間画素の周辺の画素の線形補間により生成し、前記直線が前記複数の補間画素のうち中心位置にある第1の補間画素の位置のみを通るときは、前記第1の補間画素の候補値を、前記複数の画素のうち前記直線の近傍位置にある2以上の画素の画素値を平均して生成すると共に、前記直線の平行線が通る位置にある第2の補間画素の候補値を、前記複数の画素のうち、前記平行線の近傍位置にある2以上の画素の画素値を平均して生成し、かつ、前記直線が通らない位置にある第3の補間画素の候補値を、前記複数の画素のうち前記第3の補間画素の周辺の画素の線形補間により生成する候補値生成手段と、
    前記候補値生成手段により生成された前記候補値を、前記複数の画素のうち前記第1の補間画素の位置の上下左右にそれぞれ隣接する中央の4画素の画素値のうち最大値と最小値で制限して、この制限された候補値を補間画素の補間値として出力する補間値出力手段と
    を有することを特徴とする映像信号処理装置。
    In the video signal processing apparatus that interpolates the pixel value of the video signal to increase the resolution,
    A directionality detecting means for applying a differential operator having a plurality of directions to pixel values of a plurality of pixels set in advance used for interpolation of the video signal, and detecting a directionality of an edge of the video signal;
    When the straight line indicating the directionality of the edge detected by the directionality detection means passes only through the interpolation positions of a plurality of interpolation pixels and does not pass through any of the preset plurality of pixel positions, the interpolation is performed. A candidate pixel value is generated by linear interpolation of pixels around the interpolation pixel among the plurality of pixels, and the straight line passes only through the position of the first interpolation pixel at the center position among the plurality of interpolation pixels. When the candidate value of the first interpolation pixel is generated by averaging pixel values of two or more pixels in the vicinity of the straight line among the plurality of pixels, the position through which the parallel lines of the straight line pass Are generated by averaging pixel values of two or more pixels in the vicinity of the parallel line among the plurality of pixels, and the straight line does not pass through the candidate value. A candidate value for a third interpolation pixel is A candidate value generation means for generating by linear interpolation of pixels around the third interpolation pixel among the plurality of pixels,
    The candidate value generated by the candidate value generating means is a maximum value and a minimum value among the pixel values of the central four pixels adjacent to the top, bottom, left, and right of the position of the first interpolation pixel among the plurality of pixels. A video signal processing apparatus comprising: an interpolation value output means for limiting and outputting the limited candidate value as an interpolation value of an interpolation pixel.
JP2007264338A 2007-10-10 2007-10-10 Video signal processing device Active JP4868249B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007264338A JP4868249B2 (en) 2007-10-10 2007-10-10 Video signal processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007264338A JP4868249B2 (en) 2007-10-10 2007-10-10 Video signal processing device

Publications (2)

Publication Number Publication Date
JP2009094862A JP2009094862A (en) 2009-04-30
JP4868249B2 true JP4868249B2 (en) 2012-02-01

Family

ID=40666364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007264338A Active JP4868249B2 (en) 2007-10-10 2007-10-10 Video signal processing device

Country Status (1)

Country Link
JP (1) JP4868249B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5398667B2 (en) 2010-08-23 2014-01-29 株式会社東芝 Image processing device
JP4850965B1 (en) * 2010-12-06 2012-01-11 株式会社ナナオ Edge interpolation apparatus or method thereof
JP4975861B2 (en) * 2010-12-06 2012-07-11 株式会社ナナオ Edge direction detection apparatus or method
JP5373881B2 (en) * 2011-12-08 2013-12-18 Eizo株式会社 Edge direction detection apparatus or method
JP6523638B2 (en) 2014-09-11 2019-06-05 シナプティクス・ジャパン合同会社 Display panel driver, display device, image processing apparatus and image processing method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0697788A3 (en) * 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive, global-motion compensated deinterlacing of sequential video fields with post processing
JP3753197B2 (en) * 1996-03-28 2006-03-08 富士写真フイルム株式会社 Image data interpolation calculation method and apparatus for performing the method
AUPQ377899A0 (en) * 1999-10-29 1999-11-25 Canon Kabushiki Kaisha Phase three kernel selection
JP2004254334A (en) * 2000-04-24 2004-09-09 Seiko Epson Corp Image data interpolation program, image data interpolation method and image data interpolation device
JP4150947B2 (en) * 2000-08-23 2008-09-17 ソニー株式会社 Image processing apparatus and method, and recording medium
JP3623463B2 (en) * 2001-05-23 2005-02-23 Necマイクロシステム株式会社 Image resolution conversion apparatus and method
JP3851567B2 (en) * 2002-01-17 2006-11-29 パナソニック コミュニケーションズ株式会社 Image processing device
US20080063307A1 (en) * 2004-06-22 2008-03-13 Koninklijke Philips Electronics, N.V. Pixel Interpolation
JP4199784B2 (en) * 2006-07-06 2008-12-17 三菱電機株式会社 Pixel interpolation circuit, image reading apparatus, and pixel interpolation method

Also Published As

Publication number Publication date
JP2009094862A (en) 2009-04-30

Similar Documents

Publication Publication Date Title
JP4727720B2 (en) Image processing method and image processing apparatus
JP5229235B2 (en) Image processing apparatus, image processing method, image expansion apparatus, image compression apparatus, image transmission system, and image processing program
US7149355B2 (en) Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program
US6876778B2 (en) Edge enhancement method and apparatus in digital image scalar-up circuit
JP2006067541A (en) Video converting apparatus and method, and recording medium
EP2164040B1 (en) System and method for high quality image and video upscaling
JP4868249B2 (en) Video signal processing device
US8712191B2 (en) Method for detecting directions of regularity in a two-dimensional image
CN106204441B (en) Image local amplification method and device
JP5295431B2 (en) Image processing device
US8948502B2 (en) Image processing method, and image processor
US20120287339A1 (en) Image Processing Method and System with Repetitive Pattern Detection
US20200219229A1 (en) Edge-Aware Upscaling for Improved Screen Content Quality
JP4716255B2 (en) Image processing apparatus, image processing method, and program thereof
TWI384417B (en) Image processing method and apparatus
JP2006050481A (en) Image processing apparatus, image processing method and program thereof
JP5042251B2 (en) Image processing apparatus and image processing method
JP2005293265A (en) Image processing device, and method
JP2009157449A (en) Image processing system, image processing method, and program for image processing
CN108734668B (en) Image color recovery method and device, computer readable storage medium and terminal
JP2015106318A (en) Image processor and image processing method
JP4879084B2 (en) Image processing device
WO2016035568A1 (en) Signal processing device and signal processing method, solid-state imaging element, imaging device, electronic instrument, and program
Krylov et al. Edge-directed image interpolation using color gradient information
JP5327199B2 (en) Image processing method and image processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100610

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111012

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111102

R150 Certificate of patent or registration of utility model

Ref document number: 4868249

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3