JP4620095B2 - Color interpolation method used for YMCG color filter array - Google Patents
Color interpolation method used for YMCG color filter array Download PDFInfo
- Publication number
- JP4620095B2 JP4620095B2 JP2007217715A JP2007217715A JP4620095B2 JP 4620095 B2 JP4620095 B2 JP 4620095B2 JP 2007217715 A JP2007217715 A JP 2007217715A JP 2007217715 A JP2007217715 A JP 2007217715A JP 4620095 B2 JP4620095 B2 JP 4620095B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- color
- interpolation
- video data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
本発明は色彩補間の演算方法に関し、特に、YMCGカラー・フィルタ・アレイの色彩補間演算方法に関する。 The present invention relates to a color interpolation calculation method, and more particularly to a color interpolation calculation method for a YMCG color filter array.
現今ディジタル映像撮影系統は伝統原板の代りに映像センサ(CCD又はCMOSセンサ)及び記憶カードが用いられている。ディジタル映像撮影系統の体積及び製作コストを減少するために、映像センサの前にカラー・フィルタ・アレイ(CFA)を加入して、映像センサ上の各画素(pixel)が特定の単一色彩のみを得られるようにし、更に色彩補間の数学演算法により同一画素のその他色彩を得られるようにしていた。 Nowadays, a digital image photographing system uses an image sensor (CCD or CMOS sensor) and a storage card instead of a traditional original plate. In order to reduce the volume and production cost of the digital image capturing system, a color filter array (CFA) is added in front of the image sensor so that each pixel on the image sensor has only a specific single color. Further, other colors of the same pixel can be obtained by a mathematical operation method of color interpolation.
目前CCDの分色方式はRGB原色分色法と、YMCG補色分色法との2種が常用されている。RGB原色分色法は進入した光線を赤、緑、黄の三種の色に分ける方法であり、そしてYMCG補色分色法は進入した光線を黄(Ye)、洋紅(Mg)、青(Cy)、緑(G)の4種顔色に分ける方法である。図1はYMCG補色分色法見取図である。原始映像データ・アレイ10において、各チェッカーは一個の画素を代表し、各画素は上記4種カラーの中の一種が検出される。YMCG補色分色法の特色は二つの垂直画素を加えて重複した2×2ユニット映像データ・アレイ11に転換した後、図中のC1−C4のように再度転換されたユニット映像データ・アレイを利用して演算を行うと伝統原板に接近した色彩表現を有する。
There are two commonly used color separation methods for the current CCD, the RGB primary color separation method and the YMCG complementary color separation method. The RGB primary color separation method is a method of dividing the incoming light beam into three colors of red, green, and yellow, and the YMCG complementary color separation method is to separate the incoming light beam into yellow (Ye), western red (Mg), and blue (Cy). , It is a method of dividing into four kinds of green (G) face colors. FIG. 1 is a sketch drawing of the YMCG complementary color separation method. In the original
色彩補間の演算法はフィルタ・モードのカラー・フィルタ・アレイ(CFA)の不同により相違する。伝統の補間法は最近隣点(Nearest Neighbor)補間法、双線性(Bilinear)補間法を包含する。しかしながら上記2種の補間法は映像形状のエッジ部分をおぼろげにするので、いわゆるZipper effectを引起す。またこれより更に複雑な色彩補間法、例えば三次B-spline(cubic B-spline)補間法及び三次曲面補間法(cubic interpolation method)は上記エッジおぼろげの問題を改善できるが、演算が複雑、且つ関数が多いので、ハードウェアコストの増加及び反応時間の増長をもたらした。 The calculation method of color interpolation differs depending on the difference of the filter mode color filter array (CFA). Traditional interpolation methods include Nearest Neighbor interpolation method and Bilinear interpolation method. However, the two kinds of interpolation methods make the edge part of the image shape blur, so that the so-called Zipper effect is caused. Further, more complicated color interpolation methods such as cubic B-spline (cubic B-spline) interpolation and cubic interpolation method can improve the edge blurring problem, but the calculation is complicated, and The large number of functions resulted in increased hardware costs and increased reaction time.
従来の、例えばアメリカ特許5,373,322号は、先ず水平方向及び垂直方向の傾度(gradient)を計算し、算出された水平及び垂直方向の傾度を比較して、如何に両対角に位置する緑色に対して補間するかの、RGBカラー・フィルタ・アレイに適用される補間法を提出した(水平計又は垂直計算を採取する)。緑色の補間値を取得した時、再度該値を利用して、赤又は青の補間を取得した。しかしながら、該補間法は僅かにRGBカラー・フィルタ・アレイしかに適用されず、YMCGカラー・フィルタ・アレイに適用されない。 In the prior art, for example, US Pat. No. 5,373,322, first, the horizontal and vertical gradients are calculated, and the calculated horizontal and vertical gradients are compared. The interpolation method applied to the RGB color filter array, whether to interpolate against the green color to be applied, was submitted (takes a horizontal meter or vertical calculation). When the green interpolation value was acquired, red or blue interpolation was acquired using the value again. However, the interpolation method is applied only slightly to the RGB color filter array and not to the YMCG color filter array.
発明人は上記従来の技術の欠点に鑑み、鋭意実験及び研究を重ねた結果、ついに本発明の「YMCGカラー・フィルタ・アレイに用いられる色彩補間法」を案出した。 The inventor has conducted intensive experiments and studies in view of the above-mentioned drawbacks of the prior art, and finally devised the “color interpolation method used in the YMCG color filter array” of the present invention.
エッジ画素を計算に列して補間後映像のおぼろげを引起す問題を回避できるように、又、演算前の判断ステップ免除しハードウェア資源を節約及び演算の速度を短縮するために、本発明人はエッジ情報(edge information)に納入して直接計算でき、如何なる演算前の判断ステップをも実行する必要がない、YMCGカラー・フィルタ・アレイの色彩補間法を提出した。 In order to avoid the problem that the edge pixels are arranged in the calculation and cause blurring of the post-interpolation image, and to eliminate the pre-operation judgment step, to save hardware resources and to reduce the operation speed, the present invention. Humans have submitted a YMCG color filter array color interpolation method that can be delivered directly to edge information and calculated directly without the need to perform any pre-computational decision steps.
本発明の主なアイデアに基づいて提出された、YMCGカラー・フィルタ・アレイに用いられる色彩補間法は、(A)各映像データ組がM列にN行を乗じた複数個映像データ値により形成され、これにより各該映像データ組が第(M+1)/2列、第(N+1)/2行の一中心映像データ値を有する、複数個映像データ組を包括した映像データ・アレイを提供するステップと、(B)第1の映像データ組に対して第1の補間演算を進行し、これにより該第1の映像データ組の第1の中心映像データ値即ち該第1の補間演算の目標映像データ値の横方向色彩補間値を得るステップと、(C)該第1の映像データ組に対して第2の補間演算を進行し、これにより該第1の映像データ組の該第1の中心映像データ値即ち該第2の補間演算の目標映像データ値の縦方向色彩補間値を得るステップと、(D)該第1の映像データ組に対して第3の補間演算を進行し、これにより該第1の映像データ組の該第1の中心映像データ値即ち該第3の補間演算の目標映像データ値の傾斜方向色彩補間値を得るステップと、を備えてなる。 The color interpolation method used for the YMCG color filter array submitted based on the main idea of the present invention is as follows. (A) Each video data set is formed by a plurality of video data values obtained by multiplying M rows by N rows. Thereby providing a video data array comprising a plurality of video data sets, each video data set having a central video data value of (M + 1) / 2 columns and (N + 1) / 2 rows. And (B) a first interpolation operation is performed on the first image data set, whereby a first center image data value of the first image data set, that is, a target image of the first interpolation operation. Obtaining a lateral color interpolation value of the data value; and (C) performing a second interpolation operation on the first video data set, whereby the first center of the first video data set Video data value, that is, target video of the second interpolation calculation (D) a third interpolation operation is performed on the first video data set, whereby a first interpolation of the first video data set is performed. Obtaining a center video data value, that is, an inclination direction color interpolation value of the target video data value of the third interpolation calculation.
その中、該第1の補間演算は(I)該第1の補間演算の目標映像データ値と同列の中第1の特定行の複数個映像データ値に対し、一均等値の計算を進行して横方向色彩の均等値を得るステップと、(II)該第1の補間演算の目標映像データ値と同列の中第2の特定行の複数個映像データ値に対し、第1のエッジ計算を進行して横方向色彩エッジ値を得るステップと、(III)該横方向色彩均等値及び該横方向色彩エッジ値に対し、綜合演算を進行して、該第1の補間演算の目標映像データ値の該横方向色彩補間値を得るステップと、を備えてなる。 Among them, the first interpolation calculation (I) proceeds to calculate a uniform value for a plurality of video data values in the first specific row in the same column as the target video data value of the first interpolation calculation. A step of obtaining an equal value of the horizontal color, and (II) performing a first edge calculation for a plurality of video data values in the second specific row in the same column as the target video data value of the first interpolation calculation. A step of obtaining a horizontal color edge value by proceeding; and (III) a target video data value of the first interpolation calculation by performing a synthesis operation on the horizontal color equal value and the horizontal color edge value. Obtaining the horizontal color interpolation value.
該第2の補間演算は(I)該第2の補間演算の目標映像データ値と同行の中第1の特定列の複数個映像データ値に対し、該均等値の計算を進行して縦方向色彩の均等値を得るステップと、(II)該第2の補間演算の目標映像データ値と同行の中第2の特定列の複数個映像データ値に対し、第2のエッジ計算を進行して縦方向色彩エッジ値を得るステップと、(III)該縦方向色彩均等値及び該縦方向色彩エッジ値に対し、綜合演算を進行して該第2の補間演算の目標映像データ値の縦方向色彩補間値を得るステップと、を備えてなる。 The second interpolation calculation (I) advances the calculation of the equal value for the plurality of video data values in the first specific column in the same row as the target video data value of the second interpolation calculation, and in the vertical direction A step of obtaining a color equal value; (II) a second edge calculation is performed on a plurality of video data values in a second specific column in the same row as the target video data value of the second interpolation calculation; A step of obtaining a vertical color edge value; and (III) a vertical color of the target video data value of the second interpolation calculation by performing a synthesis operation on the vertical color equal value and the vertical color edge value. Obtaining an interpolated value.
該第3の補間演算は(I)第3の補間演算の目標映像データ値と同行の中該第1の特定列の複数個第1の特定列映像データ値に対してそれぞれ該第1の補間演算を進行して、複数個第1の特定列横方向色彩補間値を得るステップと、(II)該等第1の特定列の横方向色彩補間値に対し、該均等値計算を進行して傾斜方向色彩均等値を得るステップと、(III)該第3の補間演算の目標映像データ値と同行の中該第2の特定列の複数個第2の特定列映像データ値に対し、それぞれ該第1の補間演算を進行して複数個第2の特定列横方向色彩補間値を得るステップと、(IV)該等第2特定列横方向色彩補間値に対し、該第2のエッジ計算を進行して傾斜方向色彩エッジ値を得るステップと、(V)該傾斜方向色彩均等値及び該傾斜方向色彩エッジ値に対し、該綜合演算を進行して該第3の補間演算の目標映像データ値の該傾斜方向色彩補間値を得るステップと、を備えてなる。 The third interpolation calculation is (I) the first interpolation for the plurality of first specific column video data values in the first specific column in the same row as the target video data value of the third interpolation calculation. A step of obtaining a plurality of first specific row horizontal color interpolation values by performing an operation; and (II) a step of calculating the equivalent value for the horizontal color interpolation values of the first specific row. A step of obtaining an inclination direction color equality value; and (III) a plurality of second specific column video data values in the second specific column in the same row as the target video data value of the third interpolation calculation, A step of performing a first interpolation operation to obtain a plurality of second specific row horizontal color interpolation values; and (IV) calculating the second edge for the second specific row horizontal color interpolation value. A step of obtaining an inclination direction color edge value and (V) the inclination direction color equal value and the inclination direction color edge value , Made includes a step of obtaining the inclination direction color interpolation value of the target image data values of the interpolation calculation of the third proceeds to 該綜 disjunction, the.
好適には、該等複数映像データ組はそれぞれ第1のデータ列及び第2のデータ列の相間により組成され、該第1のデータ列は複数個第1の映像データ値及び複数個の第2の映像データ値の相間により組成され、且つ該等第1の映像データ値が第1の色彩である時、該等第2の映像データ値は第2の色彩であり、該等第2の映像データ列は複数個第3の映像データ値及び複数個第4映像データ値の相間により組成され、且つ該等第3の映像データ値が第3の色彩である時、該等第4の映像データ値は第4の色彩である。 Preferably, the plurality of video data sets are composed of phases of a first data sequence and a second data sequence, respectively. The first data sequence includes a plurality of first video data values and a plurality of second data sequences. And when the first video data value is the first color, the second video data value is the second color, and the second video data value is the second video data value. When the data sequence is composed of phases of a plurality of third video data values and a plurality of fourth video data values, and the third video data value is the third color, the fourth video data The value is the fourth color.
好適には該第1の色彩は青及び緑により構成され、そして該第2の色彩は黄及び洋紅により構成され、該第3の色彩は青及び洋紅により構成され、そして該第4の色彩は黄及び緑により構成される。 Preferably, the first color is composed of blue and green, and the second color is composed of yellow and red, the third color is composed of blue and western, and the fourth color is Consists of yellow and green.
好適にはMの数値は5よりも小さくない第1の奇数であり、そしてNの数値は5よりも小さくない第2の奇数である。 Preferably, the value of M is a first odd number not less than 5 and the value of N is a second odd number not less than 5.
好適には、Mが2a+1且つaが2よりも小さくない偶数である時、該第1の特定行は偶数行であり、そして該第2の特定行は奇数行である。 Preferably, when M is an even number that is 2a + 1 and a is not less than 2, the first specific row is an even row and the second specific row is an odd row.
好適には、Mが2a+1且つaが3よりも小さくない奇数である時、該第1の特定行は奇数行であり、及び該第2の特定行は偶数行である。 Preferably, when M is an odd number that is 2a + 1 and a is not less than 3, the first specific row is an odd row, and the second specific row is an even row.
好適にはNが2a+1且つaが2よりも小さくない偶数である時、該第1の特定列は偶数列であり、該第2の特定列は奇数列である。 Preferably, when N is an even number that is 2a + 1 and a is not less than 2, the first specific column is an even column and the second specific column is an odd column.
好適にはNが2a+1且つaが3より小さくない奇数である時、該第1の特定列は奇数列であり、そして該第2の定列は偶数である、該均等値計算は双線補間計算法を採用する。 Preferably, when N is an odd number that is 2a + 1 and a is not less than 3, the first specific column is an odd column, and the second constant column is an even number. Use the calculation method.
好適には該第1のエッジ計算は3倍の目標映像データ値を該目標映像データ値と同列の該第2の特定行の映像データ値と相減じた後、第1の数値で割り、その中該第1の数値は該第2の特定行の行数に1を足したものである。 Preferably, the first edge calculation subtracts the target video data value of 3 times from the video data value of the second specific row in the same column as the target video data value, and then divides by the first numerical value, The first numerical value is obtained by adding 1 to the number of rows of the second specific row.
好適には、該第2のエッジ計算は3倍の目標映像データ値を該目標映像データ値と同行の該第2の特定列の映像データ値と相減じた後、第2の数値で割り、その中該第2の数値は該第2の特定列の列数に1を足したものである。 Preferably, the second edge calculation subtracts the target video data value of 3 times from the video data value of the second specific column in the same row as the target video data value, and then divides by the second numerical value, Among them, the second numerical value is obtained by adding 1 to the number of columns of the second specific column.
好適には該には該綜合計は相足し計算である。 Preferably, the sum is a sum calculation.
発明人の他のアイデアに基づけば、本発明はYMCGカラー・フィルタ・アレイに用いられる色彩補間法であり、以下の(A)ステップと(B)ステップと(C)ステップと(D)ステップとを備えてなる。即ち:
(A)複数個の以下のような映像データ組により形成された映像データ・アレイを提供する:
A〔1〕〔1〕 B〔1〕〔2〕…A〔1〕〔5〕
C〔2〕〔1〕 D〔2〕〔2〕…C〔2〕〔5〕
…………
A〔5〕〔1〕 B〔5〕〔2〕…A〔5〕〔5〕
その中該等映像データ組は複数個映像データ値により5列及び5行の該等映像データ組が形成され、該等映像データ値は第1の色彩値A、第2の色彩値B、第3の色彩値C及び第4の色彩値Dの中の一つであり;
(B)第1の映像データ組に対して第1の補間演算を行うことにより該第1の映像データ組の−A〔3〕〔3〕映像データ値の第2の色彩補間値B〔3〕〔3〕′を得、該第1の補間演算の演算ステップは
B〔3〕〔3〕′=(B〔3〕〔2〕+B〔3〕〔4〕)/2+(A〔3〕〔3〕* 2−A〔3〕〔1〕−A〔3〕〔5〕)/4であり;
(C)該第1の映像データ組に対して第2の補間演算を進行することにより該第1の映像データ組の該A〔3〕〔3〕映像データ値の第3の色彩補間値C〔3〕〔3〕′を得、該第2の補間演算の演算ステップは
C〔3〕〔3〕′=(C〔2〕〔3〕+C〔4〕〔3〕)/2+(A〔3〕〔3〕* 2−A〔1〕〔3〕−A〔5〕〔3〕)/4であり;及び
(D)該第1の映像データ組に対して第3の補間演算を進行することにより、該第1の映像データ組の該A〔3〕〔3〕映像データ値の第4の色彩補間値D〔3〕〔3〕′を得、該第3の補間演算の演算ステップは
D〔3〕〔3〕′=(D〔2〕〔3〕′+D〔4〕〔3〕′)/2+(B〔3〕〔3〕* 2−B〔1〕〔3〕′−B〔5〕〔3〕′)/4であり、
その中D〔2〕〔3〕′=(D〔2〕〔2〕+D〔2〕〔4〕)/2+(C〔2〕〔3〕* 2−C〔2〕〔1〕−C〔2〕〔5〕)/4,D〔4〕〔3〕′=(D〔4〕〔2〕+D〔4〕〔4〕)/2+(C〔4〕〔3〕* 2−C〔4〕〔1〕−C〔4〕〔5〕)/4,B〔5〕〔3〕′=(B〔5〕〔2〕+B〔5〕〔4〕)/2+(A〔5〕〔3〕* 2−A〔5〕〔1〕−A〔5〕〔5〕)/4、及びB〔1〕〔3〕′=(B〔1〕〔2〕+B〔1〕〔4〕)/2+(A〔1〕〔3〕* 2−A〔1〕〔1〕−A〔1〕〔5〕)/4である。
Based on the inventor's other idea, the present invention is a color interpolation method used in the YMCG color filter array, and includes the following (A) step, (B) step, (C) step, and (D) step. It is equipped with. That is:
(A) Provide a video data array formed by a plurality of video data sets as follows:
A [1] [1] B [1] [2] ... A [1] [5]
C [2] [1] D [2] [2] ... C [2] [5]
…………
A [5] [1] B [5] [2] ... A [5] [5]
Among them, the equal image data set is formed by a plurality of image data values to form the equal image data set of 5 columns and 5 rows, and the equal image data values include the first color value A, the second color value B, and the second color value. One of the three color values C and the fourth color value D;
(B) By performing a first interpolation operation on the first video data set, the second color interpolation value B [3] of the video data value of -A [3] [3] of the first video data set. ] [3] ', and the calculation step of the first interpolation calculation is B [3] [3]' = (B [3] [2] + B [3] [4]) / 2+ (A [3] [3] * 2-A [3] [1] -A [3] [5]) / 4;
(C) By performing a second interpolation operation on the first video data set, a third color interpolation value C of the A [3] [3] video data value of the first video data set. [3] [3] ′ is obtained, and the calculation step of the second interpolation calculation is C [3] [3] ′ = (C [2] [3] + C [4] [3]) / 2+ (A [ 3] [3] * 2-A [1] [3] -A [5] [3]) / 4; and (D) a third interpolation operation proceeds for the first video data set. Thus, the fourth color interpolation value D [3] [3] ′ of the A [3] [3] video data value of the first video data set is obtained, and the third interpolation calculation step D [3] [3] '= (D [2] [3]' + D [4] [3] ') / 2+ (B [3] [3] * 2-B [1] [3]'- B [5] [3] ') / 4,
Among them, D [2] [3] '= (D [2] [2] + D [2] [4]) / 2+ (C [2] [3] * 2-C [2] [1] -C [ 2] [5]) / 4, D [4] [3] '= (D [4] [2] + D [4] [4]) / 2+ (C [4] [3] * 2-C [4 ] [1] -C [4] [5]) / 4, B [5] [3] '= (B [5] [2] + B [5] [4]) / 2+ (A [5] [3 * 2-A [5] [1] -A [5] [5]) / 4 and B [1] [3] '= (B [1] [2] + B [1] [4]) / 2+ (A [1] [3] * 2-A [1] [1] -A [1] [5]) / 4.
好適には、該等ステップは重複進行して該映像データ・アレイの該等データ値の第2ないし第4の色彩補間値を得ることができる。 Preferably, the equal steps can overlap to obtain second to fourth color interpolation values of the equal data values of the video data array.
本発明の又次のアイデアに基づくYMCGカラー・フィルタ・アレイの色彩補間法は以下のステップを備えてなり、即ち:
(A)複数個映像データ組の映像データ・アレイを提供し、その中、各該映像データ組はM列にN行を乗じた複数個映像データ値により形成され、これにより各映像データ組は第(M+1)/2列、第(N+2)/2行の中心映像データ値を有してなるステップと、
(B)第1の映像データ組に対して第1の補間演算を進行することにより、該第1の映像データ組の第1の中心映像データ値即ち該第1の補間演算の目標映像データ値の横方向色彩補間値を得るステップと、
(C)該第1の映像データ組に対して第2の補間演算を進行することにより、該第1の映像データ組の該第1の中心映像データ値即ち該第2の補間演算の目標映像データ値の縦方向色彩補間値を得るステップと、
(D)該第1の映像データ組に対して第3の補間演算を行うことにより、該第1の映像データ組の該第1の中心映像データ値即ち該第3の補間演算の目標映像データ値の斜め方向色彩補間値を得るステップと、を備えてなる。
The color interpolation method of the YMCG color filter array based on the following idea of the present invention comprises the following steps:
(A) providing a video data array of a plurality of video data sets, wherein each video data set is formed by a plurality of video data values obtained by multiplying M rows by N rows, whereby each video data set is Comprising (M + 1) / 2 columns and (N + 2) / 2 rows of center image data values;
(B) By performing the first interpolation calculation on the first video data set, the first central video data value of the first video data set, that is, the target video data value of the first interpolation calculation Obtaining a horizontal color interpolation value of
(C) By performing a second interpolation calculation on the first video data set, the first central video data value of the first video data set, that is, the target video of the second interpolation calculation Obtaining a longitudinal color interpolation value of the data value;
(D) By performing a third interpolation calculation on the first video data set, the first central video data value of the first video data set, that is, the target video data of the third interpolation calculation Obtaining an oblique color interpolation value of the value.
その中、上記第1の補間演算は以下のステップを備えてなる。即ち:
(I)該第1の補間演算の目標映像データ値と同列の中の第1の特定行の複数個映像データ値に対し、均等値計算を進行して横方向色彩均等値を得るステップと、
(II)該第1の補間演算の目標映像データ値と同列中の第2特定行の複数個映像データ値に対し、第1のエッジ計算を進行して横方向色彩エッジ値を取得するステップと、
(III)該横方向色彩均等値及び該横方向色彩エッジ値に対し、綜合演算を進行して、該第1の補間演算の目標映像データ値の該横方向色彩補間値を取得するステップと、を備えてなる。
Among them, the first interpolation calculation includes the following steps. That is:
(I) a step of performing equal value calculation for a plurality of video data values in the first specific row in the same column as the target video data value of the first interpolation calculation to obtain a horizontal color equal value;
(II) a step of performing a first edge calculation on a plurality of video data values in a second specific row in the same column as the target video data value of the first interpolation calculation to obtain a lateral color edge value; ,
(III) Progressing a synthesis operation on the horizontal color equal value and the horizontal color edge value to obtain the horizontal color interpolation value of the target video data value of the first interpolation calculation; It is equipped with.
該第2の補間演算は(I)該第2の補間演算の目標映像データ値と同行の中の第1の特定列の複数個映像データ値に対し、均等値計算を進行して、該第2の補間演算の目標映像データ値の該縦方向色彩補間値を得るステップを備える。 In the second interpolation calculation, (I) an equal value calculation is performed on a plurality of video data values in the first specific column in the same row as the target video data value of the second interpolation calculation, and the second interpolation calculation proceeds. A step of obtaining the vertical color interpolation value of the target video data value of the second interpolation calculation.
該第3の補間演算は以下のステップを備えてなる。即ち:
(I)該第3の補間演算の目標映像データ値と同行の中該第1の特定列の複数個第1特定列映像データ値に対し、それぞれ第1の補間演算を進行して複数個第1の特定列の横方向色彩補間値を得るステップと、
(II)該等第1の特定列横方向色彩補間値に対し、該均等値計算を進行して該第3の補間演算の目標映像データ値の該傾斜方向の色彩補間値を得るステップと、を備えてなる。
The third interpolation operation includes the following steps. That is:
(I) The first interpolation calculation is performed on each of the plurality of first specific column video data values in the first specific column in the same row as the target video data value of the third interpolation calculation, so Obtaining a horizontal color interpolation value of one specific column;
(II) A step of obtaining the color interpolation value in the inclination direction of the target video data value of the third interpolation calculation by proceeding with the equal value calculation for the first specific row horizontal color interpolation value, etc. It is equipped with.
好適には、該等複数個映像データ組はそれぞれ第1のデータ列及び第2のデータ列相間により組成され、該第1のデータ列は複数個第1の映像データ値及び複数個第2の映像データ値相間により組成され、且つ該等第1の映像データ値が第1の色彩である時、該等第2の映像データ値は第2の色彩であり、該等第2の映像データ列は複数個第3映像データ値及び複数個第4映像データ値相間により組成され、且つ該等第3の映像データ値が第3の色彩である時、該等第4の映像データ値は第4の色彩である。 Preferably, the plurality of video data sets are composed of a first data sequence and a second data sequence, respectively, and the first data sequence includes a plurality of first video data values and a plurality of second data sequences. When the first video data value is composed of the video data value phases and the first video data value is the first color, the second video data value is the second color, and the second video data string Is composed of a plurality of third video data values and a plurality of fourth video data value phases, and when the third video data value is the third color, the fourth video data value is the fourth color. The color.
好適には該第1の色彩は青色及び緑色により構成され、該第2の色彩は黄色及び洋紅色により構成され、該第3の色彩は青色及び洋紅色により構成され、そして該第4の色彩は黄色及び緑色により構成される。 Preferably, the first color is composed of blue and green, the second color is composed of yellow and crimson, the third color is composed of blue and crimson, and the fourth color Is composed of yellow and green.
好適には、該Mの数値は5よりも小さくない第1の奇数であり、そして該Nの数値は3よりも小さくない第2の奇数である。 Preferably, the value of M is a first odd number not less than 5 and the value of N is a second odd number not less than 3.
好適には、該第1の特定行は偶数行であり、そして該第2の特定行は奇数行である。 Preferably, the first specific row is an even row and the second specific row is an odd row.
好適にはMが2a+1且つaが2よりも小さくない偶数である時、該第1の特定行は偶数行であり、そして該第2の特定行は奇数行である。 Preferably, when M is an even number that is 2a + 1 and a is not less than 2, the first specific row is an even row and the second specific row is an odd row.
好適にはMが2a+1且つaが3よりも小さくない奇数である時、該第1の特定行は奇数行であり、そして該第2の特定行は偶数行である。 Preferably, when M is an odd number that is 2a + 1 and a is not less than 3, the first specific row is an odd row and the second specific row is an even row.
好適には、Nが2a+1且つaが1よりも小さくない奇数である時、該第1の特定列は奇数列である。 Preferably, when N is 2a + 1 and a is an odd number not less than 1, the first specific column is an odd column.
好適には、Nが2a+1且つaが2よりも小さくない偶数である時、該第1の特定列は偶数列である。 Preferably, when N is an even number that is 2a + 1 and a is not less than 2, the first specific column is an even column.
好適には該均等値計算は双線性補間計算(bilinear interpolation)が採用される。 Preferably, the equal value calculation is performed by bilinear interpolation.
好適には、該第1のエッジ計算は3倍の目標映像データ値を該目標映像データ値と同列の該第2の特定行の映像データ値と互いに減じた後、第1の数値で割り、その中該第1の数値は該第2の特定行の行数に1を足したものである。 Preferably, the first edge calculation subtracts the target video data value of 3 times from the video data value of the second specific row in the same column as the target video data value, and then divides by the first numerical value, Among them, the first numerical value is obtained by adding 1 to the number of lines of the second specific line.
本発明の他のアイデアに基づくYMCGカラー・フィルタ・アレイに用いられる色彩補間法は以下の(A)ステップ、(B)ステップ、(C)ステップ及び(D)ステップを備えてなる。 The color interpolation method used for the YMCG color filter array based on another idea of the present invention comprises the following steps (A), (B), (C) and (D).
(A)複数個の以下のような映像データ組により形成された映像データ・アレイを提供する:
C〔2〕〔1〕 D〔2〕〔2〕…C〔2〕〔5〕
A〔3〕〔1〕 B〔3〕〔2〕…A〔3〕〔5〕
C〔4〕〔1〕 D〔4〕〔2〕…C〔4〕〔5〕
その中、該等映像データ組は複数個映像データ値により5列及び5行の該等映像データ組が形成され、該等映像データ値は第1の色彩値A、第2の色彩値B、第3の色彩値C及び第4の色彩値Dの中の一つであり;
(B)第1の映像データ組に対し第1の補間演算を行うことにより該第1の映像データ組の−A〔3〕〔3〕映像データ値の第2の色彩補間値B〔3〕〔3〕′を得、該第1の補間演算の演算ステップは
B〔3〕〔3〕′=(B〔3〕〔2〕+B〔3〕〔4〕)/2+(A〔3〕〔3〕* 2−A〔3〕〔1〕−A〔3〕〔5〕)/4であり;
(C)該第1の映像データ組に対して第2の補間演算を進行することにより該第1の映像データ組の該A〔3〕〔3〕映像データ値の第3の色彩補間値C〔3〕〔3〕′を得、該第2の補間演算の演算ステップは
C〔3〕〔3〕′=(C〔2〕〔3〕+C〔4〕〔3〕)/2であり;及び
(D)該第1の映像データ組に対して第3の補間演算を進行することにより、該第1の映像データ組の該A〔3〕〔3〕映像データ値の第4の色彩補間値D〔3〕〔3〕′を得、該第3の補間演算の演算ステップは
D〔3〕〔3〕′=(D〔2〕〔3〕′+D〔4〕〔3〕′)/2、
その中D〔2〕〔3〕′=(D〔2〕〔2〕+D〔2〕〔4〕)/2+(C〔2〕〔3〕* 2−C〔2〕〔1〕−C〔2〕〔5〕)/4、
D〔4〕〔3〕′=(D〔4〕〔2〕+D〔4〕〔4〕)/2+(C〔4〕〔3〕* 2−C〔4〕〔1〕−C〔4〕〔5〕)/4である。
(A) Provide a video data array formed by a plurality of video data sets as follows:
C [2] [1] D [2] [2] ... C [2] [5]
A [3] [1] B [3] [2] ... A [3] [5]
C [4] [1] D [4] [2] ... C [4] [5]
Among them, the equal video data set is formed of a plurality of video data values to form the same video data set of 5 columns and 5 rows, and the equal video data values include the first color value A, the second color value B, One of the third color value C and the fourth color value D;
(B) By performing a first interpolation operation on the first video data set, the second color interpolation value B [3] of the video data value of -A [3] [3] of the first video data set [3] ′ is obtained, and the calculation step of the first interpolation calculation is B [3] [3] ′ = (B [3] [2] + B [3] [4]) / 2+ (A [3] [ 3] * 2-A [3] [1] -A [3] [5]) / 4;
(C) By performing a second interpolation operation on the first video data set, a third color interpolation value C of the A [3] [3] video data value of the first video data set. [3] [3] ′ is obtained, and the calculation step of the second interpolation calculation is C [3] [3] ′ = (C [2] [3] + C [4] [3]) / 2; And (D) a fourth color interpolation of the A [3] [3] video data value of the first video data set by proceeding with a third interpolation operation on the first video data set. The value D [3] [3] 'is obtained, and the third interpolation calculation step is D [3] [3]' = (D [2] [3] '+ D [4] [3]') / 2,
Among them, D [2] [3] '= (D [2] [2] + D [2] [4]) / 2+ (C [2] [3] * 2-C [2] [1] -C [ 2] [5]) / 4,
D [4] [3] '= (D [4] [2] + D [4] [4]) / 2+ (C [4] [3] * 2-C [4] [1] -C [4] [5]) / 4.
好適にはこれらステップは重複進行することにより、該映像データ・アレイの該等映像データ値の該第2ないし第4の色彩補間値を得ることができる。 Preferably, these steps are overlapped so that the second to fourth color interpolation values of the equal video data values of the video data array can be obtained.
上記の色彩補間法により、効果的に演算したい目標の水平及び垂直エッジ情報を納入して比較的よい補間値を得ることができると共に効果的ハードウェアのコストを低減することができる。 With the above color interpolation method, target horizontal and vertical edge information desired to be effectively calculated can be delivered to obtain a relatively good interpolation value, and the cost of effective hardware can be reduced.
本発明のその他の目的、特徴及び利点は、図面を参照しながら以下好適な実施例を詳細に説明することにより一層理解できる。 Other objects, features, and advantages of the present invention can be further understood by describing the preferred embodiments in detail with reference to the drawings.
本発明により提供される、YMCGカラー・フィルタ・アレイの色彩補間法の好適な実施例を説明する。しかし、これら実施例は比較的好適な例に過ぎず、本発明の実施はこれら好適な実施例に限定されない。言うなれば、この分野に熟知せる業者はこれに開示された技術の精神に基づいて他の実施例を類推できるが、これらはいずれも本発明の技術的範囲に属する。 A preferred embodiment of the YMCG color filter array color interpolation method provided by the present invention will be described. However, these examples are only comparatively preferable examples, and the implementation of the present invention is not limited to these preferable examples. In other words, those skilled in the art can infer other embodiments based on the spirit of the technology disclosed therein, all of which fall within the technical scope of the present invention.
図2は本発明の第1の好適な実施例においてYMCGカラー・フィルタ・アレイを通してサンプリングした後の映像アレイのその中の映像データ組を示す。該映像データ組は5列及び5行の25個映像データ値により構成される。先行技術中で紹介されているように、各映像データ値は実際上の二個垂直画素により形成され、第1列、第3及び第5列はそれぞれA映像データ値及びB映像データ値を交互に配置することにより構成され、第2列及び第4列はC及びD映像データ値により構成される。本映像データ組において、A33は中心映像データ値であり、そしてA33′,B33′,C33′及びD33′はそれぞれA33位置上において本発明YMCG色彩補間法で演算して得た原位色彩補間値(A33′)、横方向色彩補間値(B33′)、縦方向色彩補間値(C33′)及び傾斜方向色彩補間値(D33′)を代表する。 FIG. 2 shows the video data sets therein of the video array after sampling through the YMCG color filter array in the first preferred embodiment of the present invention. The video data set is composed of 25 video data values in 5 columns and 5 rows. As introduced in the prior art, each video data value is formed by two actual vertical pixels, and the first, third and fifth columns alternate between A video data value and B video data value , respectively. It is constructed by arranging the second row and fourth column is constituted by C and D image data values. In this video data set, A33 is a central video data value, and A33 ', B33', C33 'and D33' are original color interpolation values obtained by calculating with the YMCG color interpolation method on the A33 position, respectively. (A33 ′), the horizontal color interpolation value (B33 ′), the vertical color interpolation value (C33 ′), and the tilt color interpolation value (D33 ′) are representative.
その中A33が中心点にあるので、A33′原位色彩補間値は真実の映像データ値A33である。 Among them, since A33 is at the center point, the A33 ′ original color interpolation value is the true video data value A33.
A33位置のB33′横方向色彩補間値にあっては、B33′は水平(横方向)方向に隣近のB32及びB34があるのみであるから、横方向補間演算(第1の補間演算)しかしなかったが、先ず、A33と同列そして隣合う映像データ値に対し双線性補間法を進行して下式の通り、横方向色彩均等値Bm33′を取得した:
Bm33′=(B32+B34)/2 (1)
しかし、エッジ情報を考慮して、補間の結果をより鋭利にさせるために、水平方向の別の隣点A31,A33及びA35の近似を利用して横方向色彩エッジ値Be33′を得た:
Be33′=(A33×2−A31−A35)/4 (2)
(1)(2)を綜合したところ下式の結果を得た。
In the B33 ′ lateral color interpolation value at the A33 position, since B33 ′ has only neighboring B32 and B34 in the horizontal (lateral) direction, lateral interpolation calculation (first interpolation calculation) First, the bilinear interpolation is performed on the video data values that are in the same row and adjacent to A33, and the horizontal color equality value Bm33 ′ is obtained as shown in the following formula:
Bm33 ′ = (B32 + B34) / 2 (1)
However, in order to make the result of the interpolation sharper considering the edge information, the horizontal color edge value Be33 ′ was obtained using an approximation of the other horizontal neighboring points A31, A33 and A35:
Be33 ′ = ( A33 × 2-A31-A35) / 4 (2)
When combining (1) and (2), the result of the following formula was obtained.
B33′=Bm33′+Be33′=
〔(B32+B34)/2+(A33×2−A31−A35)〕/4 (3)
A33位置のC33′縦方向色彩補間値に至っては、C33′は垂直方向のみに近隣の映像データ値C23及びC43があるので、縦方向補間演算(第2の補間演算)のみを行い、A33と同行そして隣合うC23及びC43に対し双線性補間法を実行して縦方向色彩均等値Cm33′を得た(式4):
Cm33′=(C23+C43)/2 (4)
同時に、エッジ情報を考慮して、補間の結果をより鋭利にさせるために、垂直方向の別の隣点A13,A33およびA53の近似を利用して縦方向色彩エッジ値Ce33′を得た:
Ce33′=(A33×2−A13−A53)/4 (5)
(1)(2)を綜合した結果、次の式を得た:
C33′=Cm33′+Ce33′
=〔(C23+C43)/2+(A33×2−A13−A53)〕/4 (6)
A33位置のD33′傾斜方向色彩補間値に至っては、D33′は水平方向及び垂直方向のいずれにも隣近の映像データ値D22,D24,D42及びD44があるので、縦方向及び横方向はいずれも補間を実行する必要がある(第3の補間演算)。上面の式(3)にならって、先ず横方向補間演算(第1の補間演算)を実行して、C23及びC43位置上のD23′及びD43′横方向色彩補間値を得た:
D23′=〔(D22+D24)/2+(C23×2−C21−C25)〕/4 (7)
D43′=〔(D42+D44)/2+(C43×2−C41−C45)〕/4 (8)
続いて同様に式(3)にならって、A13及びA53位置上のB13′及びB53′横方向色彩補間値を得た:
B13′=〔(B12+B14)/2+(A13×2−A11−A15)〕/4 (9)
B53′=〔(B52+B54)/2+(A53×2−A51−A55)〕/4 (10)
最後式(6)にならって、A33位置のD33′傾斜方向色彩補間値を得た:
D33′=〔(D23′+D43′)/2+(B33′×2−B13′−B53′)〕/4 (11)
上記の類推及び補間法を利用し、YMCGカラー・フィルタ・アレイを通してサンプリングした各映像データ値について該映像データ値と対応し且つ該映像データ値を中心とする5×5の映像データ組を探し出すことができると共に、該映像データ値に対応する4個色彩補間値を順に求め得た。
B33 ′ = Bm33 ′ + Be33 ′ =
[(B32 + B34) / 2 + (A33 × 2-A31-A35)] / 4 (3)
Since the C33 ′ vertical color interpolation value at the A33 position has neighboring video data values C23 and C43 only in the vertical direction, only the vertical interpolation calculation (second interpolation calculation) is performed. Bilinear interpolation was performed on the accompanying and adjacent C23 and C43 to obtain a longitudinal color equal value Cm33 ′ (Equation 4):
Cm33 ′ = (C23 + C43) / 2 (4)
At the same time, taking into account the edge information, in order to sharpen the result of the interpolation, the vertical color edge value Ce33 ′ was obtained using an approximation of the other vertical neighbors A13, A33 and A53:
Ce33 ′ = ( A33 × 2-A13-A53) / 4 (5)
As a result of combining (1) and (2), the following formula was obtained:
C33 ′ = Cm33 ′ + Ce33 ′
= [(C23 + C43) / 2 + (A33 × 2-A13-A53)] / 4 (6)
Since the D33 ′ inclination direction color interpolation value at the A33 position has adjacent video data values D22, D24, D42 and D44 in both the horizontal and vertical directions, the vertical and horizontal directions are any. Also, it is necessary to execute interpolation (third interpolation calculation). Following the top equation (3), a horizontal interpolation operation (first interpolation operation) is first performed to obtain D23 ′ and D43 ′ horizontal color interpolation values on the C23 and C43 positions:
D23 ′ = [(D22 + D24) / 2 + (C23 × 2-C21−C25)] / 4 (7)
D43 ′ = [(D42 + D44) / 2 + (C43 × 2-C41−C45)] / 4 (8)
Subsequently, similarly to equation (3), B13 ′ and B53 ′ lateral color interpolation values on the positions A13 and A53 were obtained:
B13 ′ = [(B12 + B14) / 2 + (A13 × 2-A11−A15)] / 4 (9)
B53 ′ = [(B52 + B54) / 2 + (A53 × 2− A51− A55)] / 4 (10)
Following the last equation (6), the D33 'tilt direction color interpolation value at the A33 position was obtained:
D33 '= [(D23' + D43 ') / 2+ (B33' × 2-B13 '-B53') ] / 4 (11)
Using the analogy and interpolation method described above, for each video data value sampled through the YMCG color filter array, find a 5 × 5 video data set corresponding to the video data value and centered on the video data value And four color interpolation values corresponding to the video data values were obtained in order.
上記に説明したように、YMCGの特性は二つの垂直画素を加えた、重複した2×2ユニットに転換するので、垂直方向の演算は事実上2倍の画素であることから、容易にぼけるおそれがある。したがって、本発明人が一歩進んで本特色について提出した本発明の第2の好適な実施例は垂直方向エッジ情報の演算を省略して類似の効果を達成している。 As explained above, the characteristics of YMCG are converted into overlapping 2 × 2 units with two vertical pixels added, so the vertical calculation is effectively twice as many pixels, which can easily blur. There is. Accordingly, the second preferred embodiment of the present invention, which the inventor has taken a step further, has achieved similar effects by omitting the computation of vertical edge information.
図3は本発明の第2の好適な実施例においてYMCGカラー・フィルタ・アレイを通してサンプリングした後の映像アレイのその中の映像データ組を示す。該映像データ組は3列及び5行の15個映像データにより構成される。先行技術で紹介されているように、各映像データ値は実際上の二個垂直画素により形成され、第3列はA映像データ値及びB映像データ値を交互に配置することにより構成され、第2列及び第4列はC及びD映像データ値により構成される。本映像データ組において、A33は中心映像データ値であり、そしてA33′,B33′,C33′及びD33′はそれぞれA33位置上において本発明YMCG色彩補間法で演算して得た原位色彩補間値(A33′)、横方向色彩補間値(B33′)、縦方向色彩補間値(C33′)及び傾斜方向色彩補間値を代表する。 FIG. 3 shows the video data sets therein of the video array after sampling through the YMCG color filter array in the second preferred embodiment of the present invention. The video data set is composed of 15 video data in 3 columns and 5 rows. As introduced in the prior art, each video data value is formed by two actual vertical pixels, and the third column is formed by alternately arranging the A video data value and the B video data value. The second and fourth columns are composed of C and D video data values. In this video data set, A33 is a central video data value, and A33 ', B33', C33 'and D33' are original color interpolation values obtained by calculating with the YMCG color interpolation method on the A33 position, respectively. (A33 ′), horizontal color interpolation value (B33 ′), vertical color interpolation value (C33 ′), and inclination direction color interpolation value are representative.
その中A33が中心点にあるので、A33′原位色彩補間値は真実の映像データ値A33である。 Among them, since A33 is at the center point, the A33 ′ original color interpolation value is the true video data value A33.
A33位置のC33′縦方向色彩補間値にあっては、C33′は垂直方向に隣近の映像データ値C23及びC43のみがあるので、ここでは縦方向補間は、垂直方向エッジデータ情報計算を省略する:
C33′=(C23+C43)/2 (13)
A33位置のD33′傾斜方向補間値に至っては、D33′は水平及び垂直方向においていずれも隣近の映像データ値D22,D24,D42及びD44があるので、縦方向及び横方向はいずれも補間を進行する必要がある(第3の補間演算)。しかし縦方向における補間は上式(13)と同様にエッジ情報の計算を省略する。式(7)及び(8)にならって先ずD23′及びD43′横方向色彩補間値を得る:
D23′=〔(D22+D24)/2+(C23×2−C21−C25)〕/4 (14)
D43′=〔(D42+D44)/2+(C43×2−C41−C45)〕/4 (15)
垂直エッジ情報の計算を省略したので、A13及びA53位置上のB13′及びB53′横方向色彩補間値及びB33′自体も省略して最後A33位置のD33′傾斜方向色彩補間値を得た:
D33′=〔(D23′+D43′)〕/2
本発明のハードウェアの実現部分について、図4即ち本発明の第1の好適な実施例により提供された色彩補間法ハードウェア架構図であって、主に静態ランドム・アクセス・メモリ(SRAM)の制御部分を開示する。それは第1列ないし第5列緩衝器401〜405、及び多重処理器406を包含する。本発明により提出されたYMCGカラー・フィルタ・アレイの色彩補間法は補間に少なくとも5列のデータを必要とするので、「書く前に読む」(Read before write)同期静態ランドム・アクセス・メモリ(Synchronous SRAM)は前記のデータを貯存するので5条列緩衝器(line buffer)しか必要としない。「書いた後に読む」(Read after write)モードの同期静態メモリは6条列緩衝器を必要とする(本図面に示していない)。
A33 'In the vertical direction the color interpolation value, C 33' C 33 position because it is only the video data values C23 and C43 of TonariKon vertically, wherein the vertical direction interpolation is vertical edge data information calculating Omit:
C33 ′ = (C23 + C43) / 2 (13)
As for the D33 ′ tilt direction interpolation value at the A33 position, D33 ′ has adjacent video data values D22, D24, D42 and D44 in both the horizontal and vertical directions, so that both the vertical and horizontal directions are interpolated. It is necessary to proceed (third interpolation calculation). However, the interpolation in the vertical direction omits the calculation of the edge information as in the above equation (13). Following the equations (7) and (8), first obtain the D23 'and D43' lateral color interpolation values:
D23 ′ = [(D22 + D24) / 2 + (C23 × 2-C21−C25)] / 4 (14)
D43 ′ = [(D42 + D44) / 2 + (C43 × 2-C41−C45)] / 4 (15)
Since the calculation of the vertical edge information was omitted, the B13 ′ and B53 ′ lateral color interpolation values on the A13 and A53 positions and the B33 ′ itself were also omitted to obtain the D33 ′ inclination direction color interpolation value at the last A33 position:
D33 '= [(D23' + D43 ')] / 2
The hardware implementation of the present invention is shown in FIG. 4, ie the color interpolation hardware framework provided by the first preferred embodiment of the present invention, mainly in static random access memory (SRAM). The control part is disclosed. It includes first through fifth row buffers 401-405 and a
依拠上記の説明によれば、本発明第2の好適な実施例は、垂直方向エッジ情報の計算を省略したので、「書いた後に読む」モードの同期静態メモリについて言えば4条列緩衝器を使用して前記のデータを貯存する必要があり、これに対し「書く前に読む」同期静態メモリは3条列緩衝器しか必要としない。 Relying According to the above description, the second preferred embodiment of the present invention omits the calculation of vertical edge information, so when talking about synchronous static memory in the “read after writing” mode, a 4-row buffer is used. It must be used to store the data, whereas a "read before writing" synchronous static memory requires only three rows of buffers.
要するに、本発明はYMCGCCDの特性について、改良した演算法を利用して効果的に水平及び垂直方向のエッジ部分を検出することにより、良好な補間効果を生じた。しかしながら上記説明において述べた実施例は僅かに本発明の原理及び効果を説明するために過ぎず、本発明の技術的精神はこれに限定されず、付加クレームの範囲を逸脱しないかぎり、当業者による単純な設計変更、付加、修飾、置換はいずれも本発明の技術的範囲に属する。 In short, the present invention produces a good interpolation effect by effectively detecting the edge portions in the horizontal and vertical directions using the improved calculation method for the characteristics of YMCGCCD. However, the embodiments described in the above description are merely illustrative of the principles and effects of the present invention, and the technical spirit of the present invention is not limited thereto, but by those skilled in the art without departing from the scope of the appended claims. All simple design changes, additions, modifications, and substitutions are within the technical scope of the present invention.
10 原始映像データ・アレイ
11 ユニット映像データ・アレイ
401 第1列緩衝器
402 第2列緩衝器
403 第3列緩衝器
404 第4列緩衝器
405 第5列緩衝器
406 多重処理器
DESCRIPTION OF
Claims (15)
(A)各映像データ組がM列にN行を乗じた複数個映像データ値により形成され、これにより各映像データ組が第(M+1)/2列、第(N+1)/2行の中心映像データ値を有する、複数個映像データ値を包括した映像データ・アレイを提供するステップと、
(B)第1の映像データ組に対して第1の補間演算を実行し、これにより前記第1の映像データ組の第1の中心映像データ値即ち前記第1の補間演算の目標映像データ値の横方向色彩補間値を得るステップと、
(C)前記第1の映像データ組に対して第2の補間演算を実行し、これにより前記第1の映像データ組の該第1の中心映像データ値即ち前記第2の補間演算の目標映像データ値の縦方向色彩補間値を得るステップと、
(D)前記第1の映像データ組に対して第3の補間演算を実行し、これにより該第1の映像データ組の前記第1の中心データ値即ち前記第3の補間演算の目標映像データ値の傾斜方向色彩補間値を得るステップと、を備えてなり:
前記第1の補間演算は(I)前記第1の補間演算の目標映像データ値と同列の第1の特定行の複数個映像データ値に対し、均等値の計算を実行して横方向色彩均等値を得るステップと、(II)前記第1の補間演算の目標映像データ値と同列の第2の特定行の複数個の映像データ値に対し、第1のエッジ計算を実行して横方向色彩エッジ値を得るステップと、(III)前記横方向色彩均等値及び前記横方向色彩エッジ値に対し、加算演算を実行して前記第1の補間演算の目標映像データ値の該横方向色彩補間値を得るステップとを備えてなり;
前記第2の補間演算は(I)前記第2の補間演算の目標映像データ値と同行の第1の特定列の複数個の映像データ値に対し、前記均等値の計算を実行して縦方向色彩均等値を得るステップと、(II)前記第2の補間演算の目標映像データ値と同行の第2の特定列の複数個の映像データ値に対し、第2のエッジ計算を実行して縦方向色彩エッジ値を得るステップと、(III)前記縦方向色彩均等値及び前記縦方向色彩エッジ値に対し、加算演算を実行して前記第2の補間演算の目標映像データ値の縦方向色彩補間値を得るステップとを備えてなり;
前記第3の補間計算は(I)第3の補間演算の目標映像データ値と同行の前記第1の特定列の複数個の第1の特定列映像データ値に対してそれぞれ前記第1の補間演算を実行して、複数個の第1の特定列横方向色彩補間値を得るステップと、(II)前記第1の特定列横方向色彩補間値に対し、前記均等値の計算を実行して傾斜方向色彩均等値を得るステップと、(III)前記第3の補間演算の目標映像データ値と同行の前記第2の特定列の複数個の第2の特定列映像データ値に対し、それぞれ前記第1の補間演算を実行して複数個の第2の特定列横方向色彩補間値を得るステップと、(IV)前記第2の特定列横方向色彩補間値に対し、前記第2のエッジ計算を実行して傾斜方向色彩エッジ値を得るステップと、(V)前記傾斜方向色彩均等値及び前記傾斜方向色彩エッジ値に対し、前記加算演算を実行して前記第3の補間演算の目標映像データ値の前記傾斜方向色彩補間値を得るステップと、を備えてなり、
前記Mの数値は5よりも小さくない第1の奇数であり、そして前記Nの数値は5よりも小さくない第2の奇数であり、
前記Mが2a+1且つaが2よりも小さくない偶数である時、前記第1の特定行は偶数行であり、そして前記第2の特定行は奇数行であり、
前記Mが2a+1且つaが3よりも小さくない奇数である時、前記第1の特定行は奇数行であり、及び前記第2の特定行は偶数行であり、
Nが2a+1且つaが2よりも小さくない偶数である時、前記第1の特定列は偶数列であり、そして前記第2の特定列は奇数列であり、
Nが2a+1且つaが3よりも小さくない奇数である時、前記特定列は奇数列であり、そして前記第2の特定列は偶数列である、色彩補間法。 A color interpolation method used in a YMCG color filter array,
(A) Each video data set is formed by a plurality of video data values obtained by multiplying M columns by N rows, whereby each video data set is the center video of the (M + 1) / 2th column and the (N + 1) / 2th row. Providing a video data array comprising a plurality of video data values having data values;
(B) A first interpolation calculation is performed on the first video data set, whereby a first center video data value of the first video data set, that is, a target video data value of the first interpolation calculation. Obtaining a horizontal color interpolation value of
(C) performing a second interpolation operation on the first video data set, whereby the first central video data value of the first video data set, that is, the target video of the second interpolation operation obtaining a longitudinal color interpolation value of the data values,
(D) performing a third interpolation operation on the first video data set, whereby the first central data value of the first video data set, that is, the target video data of the third interpolation operation Obtaining a gradient interpolation value of the value comprising:
In the first interpolation calculation, (I) a horizontal color equalization is performed by calculating an equal value for a plurality of video data values in the first specific row in the same column as the target video data value of the first interpolation calculation. Obtaining a value; and (II) performing a first edge calculation on a plurality of video data values in a second specific row in the same column as the target video data value of the first interpolation calculation to perform horizontal color Obtaining an edge value; (III) performing an addition operation on the horizontal color equal value and the horizontal color edge value to perform the horizontal color interpolation value of the target video data value of the first interpolation calculation And obtaining a step;
Wherein for the second interpolation operation (I) a plurality of image data values of the first specific row of the bank and the target image data values of the second interpolation operation, the vertical direction to perform the calculation of the equivalent value Obtaining a color equal value; and (II) performing a second edge calculation on a plurality of video data values in a second specific column in the same row as the target video data value of the second interpolation calculation to A step of obtaining a directional color edge value; and (III) vertical color interpolation of the target video data value of the second interpolation calculation by performing an addition operation on the vertical color equal value and the vertical color edge value. And obtaining a value;
The third interpolation calculation (I) 3 the first target image data values of the interpolation calculation and the plurality of the first specific row of the bank's specific columns each of the first interpolation on the image data value by performing the operation, and obtaining a first particular column lateral color interpolation value of a plurality, with respect to the first specific column lateral color interpolation value (II), by performing the calculation of the equivalent value obtaining a tilt direction color evenly value, with respect to (III) a second specific row image data value of the plurality of the third second specific row of the bank and the target image data values of the interpolation operation, each of the obtaining a second particular column lateral color interpolation values of a plurality running first interpolation operation, to said second specific column lateral color interpolation value (IV), the second edge calculation obtaining a tilt direction color edge value by the execution, (V) the inclination direction color evenly value and before Relative inclination direction chromatic edges values, Ri Na includes the steps of: obtaining the inclination direction color interpolation value of the target image data values of the third interpolation operation by performing the addition operation,
The number of M is a first odd number not less than 5 and the number of N is a second odd number not less than 5;
When M is an even number that is 2a + 1 and a is not less than 2, the first specific row is an even row, and the second specific row is an odd row;
When M is an odd number that is 2a + 1 and a is not less than 3, the first specific row is an odd row, and the second specific row is an even row;
When N is an even number that is 2a + 1 and a is not less than 2, the first specific column is an even column and the second specific column is an odd column;
The color interpolation method , wherein when N is an odd number that is 2a + 1 and a is not less than 3, the specific column is an odd column and the second specific column is an even column .
(A)複数個の以下のような映像データ組により形成された映像データ・アレイを提供する:
A11 B12…A15
C21 D22…C25
…………
A51 B52…A55
ここで、前記複数映像データ組は複数個映像データ値により5列及び5行の映像データ組が形成され、前記複数の映像データ値は第1の色彩値A、第2の色彩値B、第3の色彩値C及び第4の色彩値Dの中の一つであり;
(B)第1の映像データ組に対して第1の補間演算を行うことにより前記第1の映像データ組のA33映像データ値の第2の色彩補間値B33′を得、前記第1の補間ステップの演算ステップは
B33′=(B32+B34)/2+(A33×2−A31−A35)/4であり;
(C)前記第1の映像データ組に対して第2の補間演算を実行することにより前記第1の映像データ組の前記A33映像データ値の第3の色彩補間値C33′を得、前記第2の補間演算の演算ステップは
C33′=(C23+C43)/2+(A33×2−A13−A53)/4であり;及び
(D)前記第1の映像データ組に対して第3の補間演算を実行することにより前記第1の映像データ組の前記A33映像データ値の第4の色彩補間値D33′を得、前記第3の補間演算の演算ステップは
D33′=(D23′+D43′)/2+(B33′×2−B13′−B53′)/4であり、
ここで、D23′=(D22+D24)/2+(C23×2−C21−C25)/4,
D43′=(D42+D44)/2+(C43×2−C41−C45)/4,
B53′=(B52+B54)/2+(A53×2−A51−A55)/4、及び
B13′=(B12+B14)/2+(A13×2−A11−A15)/4である、色彩補間法。 A color interpolation method used for a YMCG color filter array, comprising the following steps (A), (B), (C), (D): (A) a plurality of the following images Provide a video data array formed by a data set:
A11 B12 ... A15
C21 D22 ... C25
…………
A51 B52 ... A55
Here, the plurality of video data sets are formed by a plurality of video data values to form a video data set of 5 columns and 5 rows, and the plurality of video data values include a first color value A, a second color value B, and a first color value. One of the three color values C and the fourth color value D;
(B) to give the second color interpolation value of the first video data sets of A33 video data value B33 'by performing the first interpolation operation on the first image data set, wherein the first interpolation The step calculation step is
B33 ′ = ( B32 + B34 ) / 2 + ( A33 × 2- A31 - A35 ) / 4;
(C) to obtain the first third color interpolation value C33 of the A33 image data values of the first image data set by performing a second interpolation calculation on the image data sets', the second The calculation step of 2 interpolation calculation is
C33 '= (C23 + C43) / 2 + (A33 × 2- A13 - A53) / 4 in there; and (D) said by executing the third interpolation operation on the first image data set first obtain a fourth color interpolation value D33 'of the first image data set of the A33 image data value, the calculating step of the third interpolation operation
D33 ′ = ( D23 ′ + D43 ′ ) / 2+ ( B33 ′ × 2- B13′− B53 ′ ) / 4
Here, D23 ′ = ( D22 + D24 ) / 2 + ( C23 × 2- C21 − C25 ) / 4,
D43 ′ = ( D42 + D44 ) / 2 + ( C43 × 2- C41 − C45 ) / 4,
Color interpolation method with B53 ′ = ( B52 + B54 ) / 2 + ( A53 × 2- A51 - A55 ) / 4, and B13 ′ = ( B12 + B14 ) / 2 + ( A13 × 2- A11 - A15 ) / 4 .
(A)複数個映像データ組の映像データ・アレイを提供し、その中、各前記映像データ組はM列にN行を乗じた複数個映像データ値により形成され、各映像データ組は第(M+1)/2列、第(N+1)/2行の中心映像データ値を有してなるステップと、
(B)第1の映像データ組に対して第1の補間演算を実行することにより、前記第1の映像データ組の第1の中心映像データ値即ち前記第1の補間演算の目標映像データ値の横方向色彩補間値を得るステップと、
(C)前記第1の映像データ組に対して第2の補間演算を実行することにより前記第1の映像データ組の前記中心映像データ値即ち該第2の補間演算の目標映像データ値の縦方向色彩補間値を得るステップと、
(D)前記第1の映像データ組に対して第3の補間演算を行うことにより、前記第1の映像データ組の前記第1の中心映像データ値即ち該第3の補間演算の目標データ値の傾斜方向色彩補間値を得るステップと、を備えてなり:
前記第1の補間演算は(I)前記第1の補間演算の目標映像データ値と同列の第1の特定行の複数個映像データ値に対し、均等値計算を実行して横方向色彩均等値を得るステップと、(II)前記第1の補間演算の目標映像データ値と同列中の第2の特定行の複数個映像データに対し、第1のエッジ計算を実行して横方向色彩エッジ値を取得するステップと、(III)前記横方向色彩均等値および前記横方向色彩エッジ値に対し加算演算を実行して、前記第1の補間演算の目標映像データ値の前記横方向色彩補間値を取得するステップと、を備えてなり;
前記第2の補間演算は(I)前記第2の補間演算の目標映像データ値と同行の第1の特定列の複数個映像データ値に対し、均等値計算を実行して、前記第2の補間演算の目標映像データ値の前記縦方向色彩補間値を得るステップを備えてなり;
前記第3の補間演算は(I)前記第3の補間演算の目標映像データ値と同行の前記第1の特定列の複数個の第1特定列映像データ値に対し、それぞれ第1の補間演算を実行して複数の第1の特定列の横方向色彩補間値を得るステップと、(II)前記第1の特定列横方向色彩補間値に対し前記均等値計算を実行して前記第3の補間演算の目標映像データ値の傾斜方向色彩補間値を得るステップと、を備えてなり、
前記Mの数値は5よりも小さくない第1の奇数であり、そして前記Nの数値は3よりも小さくない第2の奇数であり、
前記Mが2a+1且つaが2よりも小さくない偶数である時、前記第1の特定行は偶数行であり、そして、前記第2の特定行は奇数行であり、
Mが2a+1且つaが3よりも小さくない奇数である時、前記第1の特定行は奇数行であり、そして前記第2の特定行は偶数行であり、
Nが2a+1且つaが1よりも小さくない奇数である時、前記第1の特定列は奇数列であり、
Nが2a+1且つaが2よりも小さくない偶数である時、前記第1の特定列は偶数列である、色彩補間法。 A color interpolation method used in a YMCG color filter array,
(A) A video data array of a plurality of video data sets is provided, wherein each video data set is formed by a plurality of video data values obtained by multiplying M rows by N rows, M + 1) / 2 columns and (N + 1 ) / 2 rows of central video data values;
(B) by performing a first interpolation operation on the first image data set, the first video data sets of the first central image data value that is, the first interpolation target image data values of the operational Obtaining a horizontal color interpolation value of
(C) By performing a second interpolation calculation on the first video data set, the center video data value of the first video data set, that is, the vertical direction of the target video data value of the second interpolation calculation Obtaining a directional color interpolation value;
(D) the first by performing the third interpolation operation on the video data sets, the first video data sets of said first central image data value or target data value of the interpolation calculation of the third Obtaining a slope direction color interpolation value of:
Wherein relative to the first interpolation operation (I) a plurality image data values of the first specific row of the same column as the first interpolation target image data values of the operation, lateral color evenly value running evenly calculation obtaining a, (II) the relative first plurality image data of the second specific row in the same column as the target image data values of the interpolation calculation, lateral chromatic edge value by performing the first edge calculation acquiring, the (III) wherein lateral color evenly value and the running sum operation on lateral chromatic edge value, the lateral color interpolation value of the target image data values of the first interpolation operation Obtaining a step;
The second interpolation operation with respect to a plurality image data value of the first specific row of the bank and the target image data values of the second interpolation operation (I), running evenly value calculation, the second Obtaining the vertical color interpolation value of the target video data value of the interpolation operation;
The relative third interpolation operation (I) the first specific row image data value of the plurality of the third first specific row of the bank and the target image data values of the interpolation calculation, a first interpolation operation, respectively the run obtaining a lateral color interpolation values of a plurality of first specific column, (II) the first specified row lateral color to interpolated value by performing the equivalent value calculating said third obtaining a tilt direction color interpolation value of the target image data values of the interpolation calculation, Ri Na comprise,
The number of M is a first odd number not less than 5 and the number of N is a second odd number not less than 3;
When M is an even number that is 2a + 1 and a is not less than 2, the first specific row is an even row, and the second specific row is an odd row;
When M is an odd number that is 2a + 1 and a is not less than 3, the first specific row is an odd row and the second specific row is an even row;
When N is an odd number that is 2a + 1 and a is not less than 1, the first specific column is an odd column;
The color interpolation method , wherein when N is an even number that is 2a + 1 and a is not smaller than 2, the first specific column is an even column .
(A)複数個の以下のような映像データ組により形成された映像データ・アレイを提供する:
C21 D22…C25
A31 B32…A35
C41 D42…C45
ここで、前記複数のデータ組は複数個映像データ値により5列及び3行複数映像データ組が形成され、前記複数の映像データ値は第1の色彩値A、第2の色彩値B、第3の色彩値C及び第4の色彩値Dの中の一つであり;
(B)第1の映像データ組に対し第1の補間演算を行うことにより前記第1の映像データ組のA33映像データ値の第2の色彩補間値B33′を得、前記第1の補間演算の演算ステップは
B33′=(B32+B34)/2+(A33×2−A31−A35)/4であり;
(C)前記第1の映像データ組に対して第2の補間演算を実行することにより前記第1の映像データ組の前記A33映像データ値の第3の色彩補間値C33′を得、前記第2の補間演算の演算ステップは
C33′=(C23+C43)/2であり;及び
(D)前記第1の映像データ組に対して第3の補間演算を実行することにより、前記第1の映像データ組の前記A33映像データ値の第4の色彩補間値D33′を得、前記第3の補間演算の演算ステップは
D33′=(D23′+D43′)/2、
ここで、D23′=(D22+D24)/2+(C23×2−C21−C25)/4、
D43′=(D42+D44)/2+(C43×2−C41−C45)/4である、色彩補間法。 The color interpolation method used for the YMCG color filter array comprises the following steps (A), (B), (C) and (D): (A) a plurality of the following: Provide a video data array formed by a video data set:
C21 D22 ... C25
A31 B32 ... A35
C41 D42 ... C45
Here, the plurality of data sets is five columns and three rows plurality image data sets by a plurality image data values are formed, the plurality of image data values first color value A, the second color value B, the One of the three color values C and the fourth color value D;
(B) A first interpolation calculation is performed on the first video data set to obtain a second color interpolation value B33 ′ of the A33 video data value of the first video data set, and the first interpolation calculation is performed. The calculation step is
B33 ′ = ( B32 + B34 ) / 2 + ( A33 × 2- A31 - A35 ) / 4;
(C) to obtain the first third color interpolation value C33 of the A33 image data values of the first image data set by performing a second interpolation calculation on the image data sets', the second The calculation step of 2 interpolation calculation is
C33 '= (C23 + C43) / 2; and (D) by executing the third interpolation operation on the first image data set, the first video data sets of the A33 video data The fourth color interpolation value D33 ′ of the value is obtained, and the calculation step of the third interpolation calculation is
D33 ′ = ( D23 ′ + D43 ′ ) / 2,
Here, D23 ′ = ( D22 + D24 ) / 2 + ( C23 × 2- C21 − C25 ) / 4,
A color interpolation method in which D43 ′ = ( D42 + D44 ) / 2 + ( C43 × 2- C41 − C45 ) / 4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007217715A JP4620095B2 (en) | 2007-08-24 | 2007-08-24 | Color interpolation method used for YMCG color filter array |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007217715A JP4620095B2 (en) | 2007-08-24 | 2007-08-24 | Color interpolation method used for YMCG color filter array |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009055142A JP2009055142A (en) | 2009-03-12 |
JP4620095B2 true JP4620095B2 (en) | 2011-01-26 |
Family
ID=40505840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007217715A Expired - Fee Related JP4620095B2 (en) | 2007-08-24 | 2007-08-24 | Color interpolation method used for YMCG color filter array |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4620095B2 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08298670A (en) * | 1995-03-17 | 1996-11-12 | Eastman Kodak Co | Adaptive color interpolation single sensor color electronic camera |
JP2000078597A (en) * | 1998-06-12 | 2000-03-14 | Eastman Kodak Co | Processor of digital color image value |
JP2001119706A (en) * | 1999-10-14 | 2001-04-27 | Seiko Epson Corp | Color interpolation method for single ccd solid-state image pickup element and recording medium recording color interpolation processing program for the single ccd solid-state image pickup element |
JP2001186534A (en) * | 1999-12-22 | 2001-07-06 | Toshiba Corp | Solid-state image pickup device |
JP2001245314A (en) * | 1999-12-21 | 2001-09-07 | Nikon Corp | Interpolation unit and recording medium with recorded interpolation program |
JP2002077928A (en) * | 2000-08-25 | 2002-03-15 | Sharp Corp | Image processor |
JP2003087808A (en) * | 2001-09-10 | 2003-03-20 | Fuji Photo Film Co Ltd | Image processing method and device, and program |
JP2007184905A (en) * | 2005-12-07 | 2007-07-19 | Pentax Corp | Image signal processing device and method of image signal processing |
-
2007
- 2007-08-24 JP JP2007217715A patent/JP4620095B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08298670A (en) * | 1995-03-17 | 1996-11-12 | Eastman Kodak Co | Adaptive color interpolation single sensor color electronic camera |
JP2000078597A (en) * | 1998-06-12 | 2000-03-14 | Eastman Kodak Co | Processor of digital color image value |
JP2001119706A (en) * | 1999-10-14 | 2001-04-27 | Seiko Epson Corp | Color interpolation method for single ccd solid-state image pickup element and recording medium recording color interpolation processing program for the single ccd solid-state image pickup element |
JP2001245314A (en) * | 1999-12-21 | 2001-09-07 | Nikon Corp | Interpolation unit and recording medium with recorded interpolation program |
JP2001186534A (en) * | 1999-12-22 | 2001-07-06 | Toshiba Corp | Solid-state image pickup device |
JP2002077928A (en) * | 2000-08-25 | 2002-03-15 | Sharp Corp | Image processor |
JP2003087808A (en) * | 2001-09-10 | 2003-03-20 | Fuji Photo Film Co Ltd | Image processing method and device, and program |
JP2007184905A (en) * | 2005-12-07 | 2007-07-19 | Pentax Corp | Image signal processing device and method of image signal processing |
Also Published As
Publication number | Publication date |
---|---|
JP2009055142A (en) | 2009-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10158832B2 (en) | Lens and color filter arrangement, super-resolution camera system and method | |
JP7004314B2 (en) | Semi-parametric optical flow estimation | |
US10992878B2 (en) | Method of obtaining wide dynamic range image and image pickup device performing the same | |
US9282253B2 (en) | System and method for multiple-frame based super resolution interpolation for digital cameras | |
JP2012165363A (en) | Raster output of pixels rotated and interpolated to be optimized for digital image stabilization | |
JP2005044098A (en) | Image processor and image processing method | |
WO2013008517A1 (en) | Image pickup apparatus and image generating method | |
JP2009071689A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
CN108734668B (en) | Image color recovery method and device, computer readable storage medium and terminal | |
CN104952038B (en) | A kind of image interpolation method based on SSE2 instruction set | |
US6424753B1 (en) | Pixel interpolation method and circuit therefor | |
US20150055861A1 (en) | Methods and Systems for Image Demosaicing | |
CN109285113B (en) | Improved color image interpolation method based on gradient | |
JP4620095B2 (en) | Color interpolation method used for YMCG color filter array | |
JP4688753B2 (en) | Interpolation processing apparatus and interpolation processing method | |
Langseth et al. | An evaluation of debayering algorithms on gpu for real-time panoramic video recording | |
CN112132914A (en) | Image scale space establishing method and image processing chip | |
JP2004193911A (en) | Image processing apparatus, its method and digital still camera | |
KR100931914B1 (en) | Y.M.C.G. Color interpolation for color filter arrays | |
CN114359050A (en) | Image processing method, image processing apparatus, computer device, storage medium, and program product | |
WO2015083502A1 (en) | Image processing device, method and program | |
JP4888306B2 (en) | Image processing apparatus and image processing method | |
TWI730587B (en) | An image format conversion method and device based on rgb-ir image sensor | |
JP2009010923A (en) | Colour binning of digital image | |
JP5791975B2 (en) | Solid-state imaging device and imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100928 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101027 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4620095 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |