JPH0983863A - Electronic zoom processing unit and electronic zoom processing method - Google Patents
Electronic zoom processing unit and electronic zoom processing methodInfo
- Publication number
- JPH0983863A JPH0983863A JP7238190A JP23819095A JPH0983863A JP H0983863 A JPH0983863 A JP H0983863A JP 7238190 A JP7238190 A JP 7238190A JP 23819095 A JP23819095 A JP 23819095A JP H0983863 A JPH0983863 A JP H0983863A
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- coefficient
- output
- pixel
- output control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像を表わす映像
信号をディジタル演算によりズーム処理する電子ズーム
処理装置および電子ズーム処理方法に係り、たとえば、
ビデオカメラおよび電子スチルカメラなどの撮像機器、
これら撮像機器にて撮像して得られた映像信号を編集す
る編集機器および映像信号の表わす画像を出力する表示
装置や印刷装置などに用いて好適な電子ズーム処理装置
および電子ズーム処理方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an electronic zoom processing device and an electronic zoom processing method for performing a zoom process on a video signal representing an image, for example,
Imaging equipment such as video cameras and electronic still cameras,
The present invention relates to an electronic zoom processing device and an electronic zoom processing method suitable for use in an editing device that edits a video signal obtained by imaging with these imaging devices and a display device or a printing device that outputs an image represented by the video signal. is there.
【０００２】[0002]
【従来の技術】近年、たとえばビデオカメラなどの民生
用の撮像機器では、被写体を撮像する際に撮像レンズの
一部を移動させて焦点距離を連続的に変化させる光学的
なズーミングと、撮像して得られた映像信号をディジタ
ル演算し、その映像信号の表わす画像を電子的に拡大す
る電子ズーミングとを併用して、ズームインおよびズー
ムアウトによって被写体を自在に拡大、縮小させるもの
が知られている。2. Description of the Related Art Recently, for example, in a consumer image pickup device such as a video camera, when an image of a subject is picked up, a part of an image pickup lens is moved to continuously change the focal length, and the image pickup is performed. It is known to digitally operate a video signal obtained by the above and use electronic zooming for electronically enlarging the image represented by the video signal to freely enlarge or reduce the object by zooming in or out. .
【０００３】このようなズーム処理を行なう電子ズーム
機能は、ハード構成の簡素化などの要求から、たとえば
画素の前置ホールドによる補間方法や線形（１次）補間
を採用して、元の画像を拡大した画像を出力していた。
一般に、このような補間処理では、２次補間以上の高次
の補間処理の方がよい画質を得ることができるが、前述
の要求から、比較的少ない演算量で様々な絵柄に対して
無難に補間処理する１次補間によって、画質に破綻の少
ない画像を得ていた。The electronic zoom function for performing such a zooming process uses an interpolation method by pre-holding pixels or a linear (first order) interpolation to meet the demand for simplification of the hardware configuration, and the original image is reproduced. I was outputting an enlarged image.
In general, in such an interpolation process, a higher image quality can be obtained by a higher-order interpolation process of a quadratic interpolation or higher, but from the above-mentioned requirements, various patterns can be safely handled with a relatively small amount of calculation. An image with less breakage in image quality is obtained by the primary interpolation that performs the interpolation process.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、１次補
間では、補間処理後の画素レベルのダイナミックレンジ
を２次補間による処理結果と較べて大きくすることがで
きず、また、２次補間では、処理する画像の絵柄によっ
てはその処理結果が人間からみて必ずしもよい画像と認
識されるとは限らないという問題があった。However, in the primary interpolation, the dynamic range of the pixel level after the interpolation processing cannot be made larger than the processing result of the secondary interpolation, and in the secondary interpolation, the processing is performed. There is a problem that, depending on the pattern of the image to be processed, the processing result is not always recognized as a good image by humans.
【０００５】たとえば、１次補間と２次補間とを補間処
理後の画素レベルについて比較すると、２次補間の方が
ダイナミックレンジが拡大し、たとえば映像のエッジ部
分が強調されるという利点がある。しかし、その強調が
絵柄によっては適切ではない場合があり、その場合、画
質に破綻が生じてしまうという問題があった。For example, comparing the primary interpolation and the secondary interpolation with respect to the pixel level after the interpolation processing, the secondary interpolation has an advantage that a dynamic range is expanded and an edge portion of an image is emphasized. However, the emphasis may not be appropriate depending on the design, and in that case, there is a problem that the image quality is broken.
【０００６】本発明はこのような従来技術の欠点を解消
し、様々な絵柄に対して画質を高めて、破綻の少ない電
子ズーム出力画像を得ることのできる電子ズーム処理装
置および電子ズーム処理方法を提供することを目的とす
る。The present invention solves the above-mentioned drawbacks of the prior art, improves the image quality for various patterns, and provides an electronic zoom processing device and an electronic zoom processing method capable of obtaining an electronic zoom output image with less failure. The purpose is to provide.
【０００７】[0007]
【課題を解決するための手段】本発明は上述の課題を解
決するために、設定されたズーム倍率に応じて画像デー
タをディジタル演算して、その画像データにて表わされ
る画像を拡大または縮小する電子ズーム処理装置におい
て、この装置は、ズーム倍率に応じて処理開始画素の位
置を決定する画素決定手段と、ズーム倍率および画素決
定手段にて決定された処理開始画素に基づいて、補間処
理後の画素間隔を算出する補間係数演算手段と、補間係
数演算手段の演算結果に基づいて、画像データを補間処
理する補間演算手段とを有し、補間演算手段は、画素デ
ータを１次補間する第１の補間手段と、第１の補間手段
より与えられる情報に基づいて、画素データを２次補間
する第２の補間手段と、第１および第２の補間手段の出
力を加算して出力する出力制御手段とを含み、この装置
はさらに、出力制御手段における加算の割合を制御する
第１の係数を設定する係数設定手段を有し、出力制御手
段は、設定された第１の係数に応じた２次補間の処理結
果を１次補間の処理結果に加算することを特徴とする。In order to solve the above problems, the present invention digitally operates image data according to a set zoom magnification and enlarges or reduces an image represented by the image data. In the electronic zoom processing device, the device determines a position of a processing start pixel according to a zoom magnification and a pixel after the interpolation processing based on the processing start pixel determined by the zoom magnification and the pixel determination means. It has an interpolation coefficient calculation means for calculating a pixel interval, and an interpolation calculation means for performing an interpolation process on image data based on a calculation result of the interpolation coefficient calculation means, and the interpolation calculation means first-order interpolates the pixel data. And an output of the first and second interpolating means for secondarily interpolating the pixel data based on the information given by the first interpolating means Output control means, the apparatus further has a coefficient setting means for setting a first coefficient for controlling a ratio of addition in the output control means, and the output control means sets the first coefficient to the set first coefficient. It is characterized in that the processing result of the corresponding secondary interpolation is added to the processing result of the primary interpolation.
【０００８】この場合、この装置は、操作者の操作を検
出する操作手段を有し、係数設定手段は、操作手段にて
検出された操作情報に従って第１の係数を設定するとよ
い。In this case, this device preferably has an operating means for detecting the operation of the operator, and the coefficient setting means sets the first coefficient in accordance with the operation information detected by the operating means.
【０００９】また、出力制御手段は、加算結果に対し、
この加算結果が所定のビット数を超えないようにゲイン
制御する第１の乗算手段を含むとよい。Further, the output control means, with respect to the addition result,
It is preferable to include a first multiplication unit that controls the gain so that the addition result does not exceed a predetermined number of bits.
【００１０】この場合さらに、出力制御手段は、加算結
果が前記所定のビット数を超えたか否かを監視する第１
の監視手段を含み、第１の乗算手段は、第１の監視手段
の監視結果に従ってゲイン制御するとよい。In this case, the output control means further monitors whether the addition result exceeds the predetermined number of bits.
It is preferable that the first multiplying means includes gain monitoring control according to the monitoring result of the first monitoring means.
【００１１】また、出力制御手段は、第２の補間手段の
出力に対し、出力制御のための第２の係数を乗算する第
２の乗算手段を有し、出力制御手段は第２の乗算手段に
よる演算結果と第１の補間手段の出力とを加算し、出力
制御手段はさらに、加算結果が所定のビット数を超えた
か否かを監視する第２の監視手段を含み、第２の乗算手
段は、第２の監視手段の監視結果に従った第２の係数を
第２の補間手段の出力に乗算するとよい。Further, the output control means has second multiplication means for multiplying the output of the second interpolation means by a second coefficient for output control, and the output control means is the second multiplication means. And the output of the first interpolation means, and the output control means further includes second monitoring means for monitoring whether or not the addition result exceeds a predetermined number of bits, and the second multiplication means. May multiply the output of the second interpolation means by a second coefficient according to the monitoring result of the second monitoring means.
【００１２】また、本発明は上述の課題を解決するため
に、設定されたズーム倍率に応じて画像データをディジ
タル演算して、その画像データにて表わされる画像を拡
大または縮小する電子ズーム処理方法において、この方
法は、ズーム倍率に応じて処理開始画素の位置を決定す
る画素決定工程と、ズーム倍率および画素決定工程にて
決定された処理開始画素に基づいて、補間処理後の画素
間隔を算出する補間係数演算工程と、補間係数演算工程
の演算結果に基づいて、前記画像データを補間処理する
補間演算工程とを有し、補間演算工程は、画素データを
１次補間する第１の補間工程と、第１の補間工程より与
えられる情報に基づいて、画素データを２次補間する第
２の補間工程と、第１および第２の補間工程の出力を加
算して出力する出力制御工程とを含み、この方法はさら
に、出力制御工程における加算の割合を制御する第１の
係数を設定する係数設定工程を有し、出力制御工程は、
設定された第１の係数に応じた２次補間の処理結果を１
次補間の処理結果に加算することを特徴とする。In order to solve the above-mentioned problems, the present invention digitally processes image data according to a set zoom magnification and enlarges or reduces an image represented by the image data. In this method, the pixel interval after the interpolation processing is calculated based on the pixel determination step of determining the position of the processing start pixel according to the zoom magnification and the processing start pixel determined in the zoom magnification and the pixel determination step. And an interpolation calculation step of performing interpolation processing on the image data based on the calculation result of the interpolation coefficient calculation step. The interpolation calculation step is a first interpolation step of performing primary interpolation of pixel data. Based on the information given by the first interpolation step, the output of the second interpolation step of quadratic interpolation of the pixel data and the outputs of the first and second interpolation steps are output. And a control step, the method further comprises a coefficient setting step of setting a first coefficient to control the rate of addition in the output control step, the output control step,
The result of the quadratic interpolation according to the set first coefficient is 1
It is characterized by adding to the processing result of the next interpolation.
【００１３】この場合、この方法は、操作者の操作を検
出する操作工程を有し、係数設定工程は、操作工程にて
検出された操作情報に従って第１の係数を設定するとよ
い。In this case, this method preferably has an operation step of detecting the operation of the operator, and the coefficient setting step sets the first coefficient in accordance with the operation information detected in the operation step.
【００１４】また、出力制御工程は、加算結果に対し、
この加算結果が所定のビット数を超えないようにゲイン
制御する第１の乗算工程を含むとよい。Further, the output control step is
It is preferable to include a first multiplication step for controlling the gain so that the addition result does not exceed a predetermined number of bits.
【００１５】この場合さらに、出力制御工程は、加算結
果が所定のビット数を超えたか否かを監視する第１の監
視工程を含み、第１の乗算工程は、第１の監視工程の監
視結果に従ってゲイン制御するとよい。In this case, the output control step further includes a first monitoring step of monitoring whether or not the addition result exceeds a predetermined number of bits, and the first multiplication step includes the monitoring result of the first monitoring step. It is recommended to control the gain according to.
【００１６】また、出力制御工程は、第２の補間工程の
出力に対し、出力制御のための第２の係数を乗算する第
２の乗算工程を有し、出力制御工程は第２の乗算工程に
よる演算結果と第１の補間工程の出力とを加算し、出力
制御工程はさらに、加算結果が所定のビット数を超えた
か否かを監視する第２の監視工程を含み、第２の乗算工
程は、第２の監視工程の監視結果に従った第２の係数を
２次補間工程の出力に乗算するとよい。Further, the output control step has a second multiplication step of multiplying the output of the second interpolation step by a second coefficient for output control, and the output control step is the second multiplication step. And the output of the first interpolation step are added, and the output control step further includes a second monitoring step of monitoring whether the addition result exceeds a predetermined number of bits, and the second multiplication step. May multiply the output of the quadratic interpolation step by a second coefficient according to the monitoring result of the second monitoring step.
【００１７】[0017]
【発明の実施の形態】次に本発明による電子ズーム処理
装置および電子ズーム処理方法の一実施例を添付図面を
参照して詳細に説明する。図１には、本発明による電子
ズーム処理方法が適用された電子ズーム処理装置の一実
施例が示されている。本実施例における電子ズーム処理
装置100 は、元画像の画素データを順次入力して、これ
らを内挿補間演算にてディジタル演算して拡大または縮
小された画像を表わす映像信号を出力する信号処理装置
であり、たとえば、ビデオカメラまたは電子スチルカメ
ラなどの撮像機器に適用された際に、図３に示すように
撮像系からの映像信号を受けてズーム処理し、処理した
信号をフレームメモリまたはフィールドメモリなどのバ
ッファ300 に蓄積して、ファインダおよび記録再生系に
出力する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, an embodiment of an electronic zoom processing device and an electronic zoom processing method according to the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 shows an embodiment of an electronic zoom processing device to which an electronic zoom processing method according to the present invention is applied. The electronic zoom processing device 100 according to the present embodiment is a signal processing device that sequentially inputs pixel data of an original image, digitally operates these by interpolation calculation, and outputs a video signal representing an enlarged or reduced image. For example, when applied to an imaging device such as a video camera or an electronic still camera, as shown in FIG. 3, a video signal from an imaging system is received to perform a zoom process, and the processed signal is processed into a frame memory or a field memory. Etc. are accumulated in the buffer 300 and output to the finder and the recording / reproducing system.
【００１８】とくに、本実施例の電子ズーム処理装置10
0 は、１次補間と２次補間とを切り換えて補間処理を行
なうだけではなく、これらの中間的な補間演算処理を行
なうことによって、様々な絵柄の画像に柔軟に対応した
ズーム処理を行なう点に大きな特徴を有する。なお、以
下の説明において本発明に直接関係のない部分は図示お
よびその説明を省略し、また、信号線の参照符号はその
現われる接続線の参照番号で表わす。In particular, the electronic zoom processing device 10 of this embodiment
0 indicates that not only the interpolation processing is performed by switching between the primary interpolation and the secondary interpolation, but also the intermediate interpolation calculation processing is performed to perform zoom processing flexibly corresponding to images of various patterns. Has great features. In the following description, portions not directly related to the present invention will be omitted from illustration and description, and reference numerals of signal lines will be represented by reference numerals of connection lines in which they appear.
【００１９】詳細には本実施例の電子ズーム処理装置10
0 は、図１に示すように、処理開始画素決定部120 と、
補間係数演算部122 と、画素入力部124 と、補間演算部
126と、１次補間と２次補間との比率を設定するための
係数K を補間演算部126 に与える係数設定部128 と、操
作部130 とを有している。More specifically, the electronic zoom processing device 10 of this embodiment
0 is, as shown in FIG.
Interpolation coefficient calculation unit 122, pixel input unit 124, interpolation calculation unit
126, a coefficient setting unit 128 for giving the coefficient K for setting the ratio of primary interpolation and secondary interpolation to the interpolation calculation unit 126, and an operation unit 130.
【００２０】処理開始画素決定部120 は、不図示のズー
ム倍率入力部にて設定されるズーム倍率ｒを接続線132
を介して入力し、このズーム倍率ｒを受けて元画像の処
理開始画素の位置R(x,y)を決定する演算部であり、たと
えば、ビデオカメラなどでは演算処理用のマイクロプロ
セッサなどが有効に適用される。この処理開始画素決定
部120 では、たとえばビデオカメラのCCD(Charge Coupl
ed Device)の画素数またはディジタル処理装置での元画
像を蓄積するフレームメモリなどの容量から元の画像の
画素数 M×N が与えられており、また、ズーム処理後の
画素数 m×n も、表示装置などの画素数から与えられて
いる。本実施例では、たとえば、水平方向にて元画像の
画素数Ｍの２分の１、つまり元画像の中心位置と処理開
始画像の位置Rxとの差の２倍にズーム倍率ｒを積算して
得られるズーム処理後の画素数ｍの関係から、既知とな
っている画素数M,m およびズーム倍率ｒから逆算して処
理開始画素の位置Rxを算出する。同様に、垂直方向の画
素数N,n およびズーム倍率ｒから処理開始画素の垂直位
置Ryを求める。処理開始画素決定部120 は、求めた画素
位置を接続線134 を介して補間係数演算部122 に出力す
る。The processing start pixel determining section 120 uses the connecting line 132 to determine the zoom magnification r set by the zoom magnification input section (not shown).
Is a calculation unit that receives the zoom magnification r and determines the position R (x, y) of the processing start pixel of the original image. For example, in a video camera, a microprocessor for calculation processing is effective. Applied to. In this processing start pixel determination unit 120, for example, a CCD (Charge Coupl
ed Device) or the number of pixels of the original image M × N is given from the capacity of the frame memory that stores the original image in the digital processing device, and the number of pixels m × n after zoom processing is also given. , The number of pixels of a display device or the like. In the present embodiment, for example, the zoom magnification r is integrated by one half of the number M of pixels of the original image in the horizontal direction, that is, twice the difference between the center position of the original image and the position Rx of the processing start image. The position Rx of the processing start pixel is calculated by back-calculating from the known number of pixels M, m and the zoom magnification r based on the obtained number of pixels m after the zoom processing. Similarly, the vertical position Ry of the processing start pixel is obtained from the number of pixels N, n in the vertical direction and the zoom magnification r. The processing start pixel determination unit 120 outputs the obtained pixel position to the interpolation coefficient calculation unit 122 via the connection line 134.
【００２１】補間係数演算部122 は、最初の画素では処
理開始画素決定部120 からの画素位置を補間係数ｄとし
て補間演算部126 に供給し、それ以降の画素ではズーム
倍率ｒと元画像の画素間距離にて算出される等間隔の値
を、求めた画素の位置に順次加算して対応の入力画素間
での位置を算出する位置演算回路である。本実施例で
は、たとえば、図６に示すようにズーム倍率ｒと元画像
の画素間距離にて算出される等間隔の値をズーム倍率デ
ータとして受け、これを加算器600 を介して出力すると
ともに、そのデータを加算器600 にフィードバックして
次の値と加算して再び出力する回路にて形成されてい
る。加算器600 は、たとえば８ビットの加算回路であ
り、加算値が８ビットを超えた場合にキャリービットＣ
を画素入力部124 に供給する。そのキャリービットＣ
は、次の入力画素の読み出し、または読み捨てに使用さ
れる。具体的には、元画像の画素間距離を28=256 とし
て、ズーム倍率ｒ=1.31 とすると、求める画素間距離は
256/1.31≒195 となり、195 の距離を順次前回の画素位
置に加算して、256 を超えた場合に画素入力部124 にキ
ャリービットＣを供給して画素取込みを行ない、256 に
満たない値（下位８ビット部分）を補間係数ｄとして補
間演算部126 に供給する。また、ズーム倍率がｒ=0.66
とすると、求める画素間距離は、256/0.66≒387 とな
り、387 の距離を順次前回の画素位置に加算して、256
を超えた場合に画素入力部124 にキャリービットＣを供
給し、このキャリービットが加算器600 から出力されな
くなるまで画素の読み捨てを画素入力部124 が行なうと
ともに、256 に満たない値を補間係数ｄとして補間演算
部126 に供給する。The interpolation coefficient calculation unit 122 supplies the pixel position from the processing start pixel determination unit 120 to the interpolation calculation unit 126 as the interpolation coefficient d for the first pixel, and the zoom magnification r and the pixel of the original image for the subsequent pixels. It is a position calculation circuit that sequentially adds the values of equal intervals calculated by the inter-distance to the positions of the obtained pixels to calculate the positions between the corresponding input pixels. In the present embodiment, for example, as shown in FIG. 6, values at equal intervals calculated by the zoom magnification r and the distance between pixels of the original image are received as zoom magnification data, and this is output via the adder 600. The data is fed back to the adder 600, added to the next value, and output again. The adder 600 is, for example, an 8-bit adder circuit and carries a carry bit C when the added value exceeds 8 bits.
Is supplied to the pixel input unit 124. That carry bit C
Is used for reading or discarding the next input pixel. Specifically, assuming that the inter-pixel distance of the original image is 2 8 = 256 and the zoom magnification is r = 1.31, the calculated inter-pixel distance is
256 / 1.31≈195, the distance of 195 is sequentially added to the previous pixel position, and when it exceeds 256, the carry bit C is supplied to the pixel input unit 124 to capture the pixel, and the value less than 256 ( The lower 8 bit portion) is supplied to the interpolation calculation unit 126 as the interpolation coefficient d. Also, the zoom magnification is r = 0.66
Then, the calculated inter-pixel distance is 256 / 0.66 ≒ 387, and the distance of 387 is sequentially added to the previous pixel position to obtain 256.
When the carry bit C is exceeded, the carry bit C is supplied to the pixel input unit 124, and the pixel input unit 124 performs reading and discarding of the pixels until the carry bit is no longer output from the adder 600, and the interpolation coefficient d is less than 256. Is supplied to the interpolation calculation unit 126.
【００２２】図１に戻って、画素入力部124 は、処理開
始画素決定部120 からの演算値および補間係数演算部12
2 からのキャリービットＣに応動して、順次元画像の画
素を読み出す画素読出回路である。画素入力部124 は読
み出した画素データを接続線125 を介して補間演算部12
6 に出力する。Returning to FIG. 1, the pixel input unit 124 includes the calculation value from the processing start pixel determination unit 120 and the interpolation coefficient calculation unit 12
This is a pixel readout circuit which reads out pixels of a forward dimension image in response to a carry bit C from 2. The pixel input unit 124 uses the readout pixel data via the connection line 125 to perform the interpolation calculation unit 12
Output to 6.
【００２３】補間演算部126 は、画素入力部124 から出
力された元画像の画素値に補間係数演算部122 から出力
された補間係数ｄを乗算して、補間画素の値を演算する
主演算回路であり、本実施例ではたとえば図２に示すよ
うに、主に１次補間を行なう第１の補間処理部202 と、
この補間処理部202 とともに２次補間処理を行なう第２
の補間処理部204 とを有し、さらに補間演算部126 は、
第２の補間処理部204の出力に係数Ｋを乗算する乗算器2
06 と、この乗算器206 の出力と第１の補間処理部202
の出力とを加算して出力する加算器208 とを含む出力制
御部210 を有している。すなわち、本実施例における補
間演算部124 は、次に記述するNewtonの補間（内挿）公
式にしたがって構成されている。The interpolation calculation unit 126 multiplies the pixel value of the original image output from the pixel input unit 124 by the interpolation coefficient d output from the interpolation coefficient calculation unit 122 to calculate the value of the interpolation pixel. In this embodiment, for example, as shown in FIG. 2, a first interpolation processing unit 202 that mainly performs primary interpolation,
The second interpolation processing with the interpolation processing unit 202
Interpolation processing unit 204, and interpolation calculation unit 126
Multiplier 2 for multiplying the output of the second interpolation processing unit 204 by a coefficient K
06, the output of the multiplier 206 and the first interpolation processing unit 202
And an output control section 210 including an adder 208 for adding and outputting the output. That is, the interpolation calculation unit 124 in this embodiment is constructed according to Newton's interpolation (interpolation) formula described below.
【００２４】まず、補間演算部126 に入力される２次元
画像に対して水平方向と垂直方向とに分けて演算を行な
い、結果として隣接する９画素に対して、図９に示すよ
うな２次の補間演算（９点補間）を行なう。このとき演
算部分は、水平方向と垂直方向とでは同一であるため、
隣接する３画素(X0,X1,X2)に対してNewtonの補間公式を
あてはめると、この補間演算は次式（１）にて表わされ
る。First, the two-dimensional image input to the interpolation calculation unit 126 is calculated separately in the horizontal direction and the vertical direction. As a result, the adjacent 9 pixels are subjected to the quadratic process as shown in FIG. Interpolation calculation (9-point interpolation) is performed. At this time, since the calculation part is the same in the horizontal direction and the vertical direction,
When Newton's interpolation formula is applied to three adjacent pixels (X 0 , X 1 , X 2 ), this interpolation calculation is expressed by the following equation (1).
【００２５】[0025]
【数１】 Y(X) = f[X0]+(X-X0)f[X0,X1]+(X-X0)(X-X1)f[X0,X1,X2] ・・・（１） 但し、f[X0] = Y0 f[X0,X1] = (Y1-Y0)/(X1-X0) f[X0,X1,X2] = {f[X1,X2]-f[X0,X1]}/(X2-X0) である。[Expression 1] Y (X) = f [X 0 ] + (XX 0 ) f [X 0 , X 1 ] + (XX 0 ) (XX 1 ) f [X 0 , X 1 , X 2 ] ... (1) However, f [X 0 ] = Y 0 f [X 0 , X 1 ] = (Y 1 -Y 0 ) / (X 1 -X 0 ) f [X 0 , X 1 , X 2 ] = { f [X 1 , X 2 ] -f [X 0 , X 1 ]} / (X 2 -X 0 ).
【００２６】ここで、式（１）にて画素間隔距離＝１と
おくと、式（１）は、Here, when the pixel interval distance is set to 1 in the equation (1), the equation (1) becomes
【００２７】[0027]
【数２】 Y(X) = Y1(X-X1)+Y0(X1-X) + 1/2(Y2-2Y1+Y0)(X-X0)(X-X1) ・・・（２） のように変形することができる。[Formula 2] Y (X) = Y 1 (XX 1 ) + Y 0 (X 1 -X) + 1/2 (Y 2 -2Y 1 + Y 0 ) (XX 0 ) (XX 1 ) ... ( It can be transformed as in 2).
【００２８】本実施例の補間演算部126 では、基本的に
は、式（１）の２次の項に対し、係数K (0≧K ≧1)を乗
算する構成としている。つまり、The interpolation calculation unit 126 of this embodiment is basically configured to multiply the quadratic term of the equation (1) by a coefficient K (0 ≧ K ≧ 1). That is,
【００２９】[0029]
【数３】 Y(X) = Y1(X-X1)+Y0(X1-X) + K/2(Y2-2Y1+Y0)(X-X0)(X-X1) ・・・（３） である。[Formula 3] Y (X) = Y 1 (XX 1 ) + Y 0 (X 1 -X) + K / 2 (Y 2 -2Y 1 + Y 0 ) (XX 0 ) (XX 1 ) ... ( 3)
【００３０】一方、電子ズーム機能における画像の拡大
／縮小のための画素制御は式（２）において、X-X1を画
素間距離と見なして、d =(X-X1) とおくと、On the other hand, in pixel control for image enlargement / reduction in the electronic zoom function, when XX 1 is regarded as the inter-pixel distance and d = (XX 1 ) is set in Expression (2),
【００３１】[0031]
【数４】 Y(X) = Y1d+Y0(1-d)+K/2(Y2-2Y1+Y0)d(d-1) ・・・（４） となる。(4) Y (X) = Y 1 d + Y 0 (1-d) + K / 2 (Y 2 -2Y 1 + Y 0 ) d (d-1) (4)
【００３２】よって補間後の画素間距離d が１未満の値
のときは拡大処理となり、画素間距離d が１を超える値
のときには縮小処理となる。たとえば拡大時の制御は、
画素間距離d を順次積算してゆき、d = 1 となるごとに
隣接している画素を読み出し、また、縮小時には、d が
１未満になるまで画素を読み捨てる制御を行なう。本実
施例における補間演算部126 は、式（４）をさらに、次
式（５）に示すように変形して構成されている。すなわ
ち、Therefore, when the inter-pixel distance d after interpolation is a value less than 1, the enlargement process is performed, and when the inter-pixel distance d is a value greater than 1, the reduction process is performed. For example, the control when expanding is
The inter-pixel distance d 1 is sequentially integrated, and the adjacent pixel is read out every time d = 1, and at the time of reduction, the pixel is read out until d 1 is less than 1. The interpolation calculation unit 126 in this embodiment is configured by further modifying the equation (4) as shown in the following equation (5). That is,
【００３３】[0033]
【数５】 Y(X) = (Y1-Y0)d+Y0+K/2{(Y2-Y1)d-(Y1-Y0)d}(d-1) ・・・（５） である。[Formula 5] Y (X) = (Y 1 -Y 0 ) d + Y 0 + K / 2 {(Y 2 -Y 1 ) d- (Y 1 -Y 0 ) d} (d-1) ・ ・・ It is (5).
【００３４】このように本実施例では、式（５）の２次
の項に対し係数K を乗算することによって、式全体に対
するその項による値の度合いを係数K に応じて調節する
ことができる。As described above, in the present embodiment, by multiplying the quadratic term of the equation (5) by the coefficient K, the degree of the value of the term with respect to the entire equation can be adjusted according to the coefficient K. .
【００３５】この式（５）を演算回路にて表わしたのが
図２に示す補間演算部126 である。同図からわかるよう
に、第１の補間処理部202 は、前記式（５）における１
次の項「(Y1-Y0)d+Y0 」に対応する構成であり、また、
第２の補間処理部204 と出力制御部210 とは式（５）に
おける２次の項「+K/2{(Y2-Y1)d-(Y1-Y0)d}(d-1)」に対
応する構成である。The equation (5) is represented by an arithmetic circuit in the interpolation arithmetic unit 126 shown in FIG. As can be seen from the figure, the first interpolation processing unit 202 is
The configuration corresponds to the next section "(Y 1 -Y 0 ) d + Y 0 ", and
The second interpolation processing unit 204 and the output control unit 210 have the quadratic term "+ K / 2 {(Y 2 -Y 1 ) d- (Y 1 -Y 0 ) d} (d- This is a configuration corresponding to "1)".
【００３６】第１の補間処理部202 は、第２の補間処理
部204 の遅延回路220 の出力222 に接続され、たとえば
水平方向の２画素(Y1,Y0) について１次補間を行なう補
間回路である。この補間処理部202 は入力222 に現われ
る画素を遅延させて出力230に出力する遅延回路228
と、遅延回路220 にて遅延された画素Y1と遅延回路228
にて遅延された画素Y0との差Y1-Y0 を演算して、Y1-Y0
を出力234 に出力する減算器232 と、減算器232 から出
力されたY1-Y0 に、補間係数演算部124 （図１）から与
えられる補間係数d を乗算する乗算器236 と、乗算器23
6 の出力238 と遅延回路228 の出力230 とを加算する加
算器240 とを含む。加算器240 の出力224は出力制御部2
10 の加算器208 に接続されている。The first interpolation processing unit 202 is connected to the output 222 of the delay circuit 220 of the second interpolation processing unit 204, and is, for example, an interpolation circuit that performs primary interpolation for two horizontal pixels (Y1, Y0). is there. This interpolation processing unit 202 delays the pixel appearing at the input 222 and outputs it to the output 230.
And the pixel Y1 delayed by the delay circuit 220 and the delay circuit 228.
Calculate the difference Y1-Y0 from the pixel Y0 delayed by
To the output 234, a multiplier 236 for multiplying Y1-Y0 output from the subtractor 232 by the interpolation coefficient d given from the interpolation coefficient calculator 124 (FIG. 1), and a multiplier 23
And an adder 240 for adding the output 238 of 6 and the output 230 of delay circuit 228. The output 224 of the adder 240 is the output control unit 2
Connected to 10 adders 208.
【００３７】第２の補間処理部204 は、補間処理部202
とともにたとえば水平方向の３画素について(Y2,Y1,Y0)
２次補間を行なう補間回路である。この補間処理部204
は、遅延回路220 に入力される画素Y2と遅延回路220 に
て遅延された画素Y1との差Y2-Y1 を演算して、Y2-Y1 を
出力240 に出力する減算器242 と、減算器242 から出力
されたY2-Y1 に、補間係数演算部124 から与えられる補
間係数d を乗算する乗算器244 と、この乗算器244 の出
力246 と乗算器236 の出力238 との差を演算する減算器
248 と、この減算器248 の出力250 に(d-1)/2 を乗算し
て出力226 に出力する乗算器252 と、補間係数演算部12
2 から与えられる補間係数d から(d-1)/2 の値を算出し
て乗算器252 に出力する演算回路254 とを含む。補間処
理部204の226 は出力制御部210 の乗算器206 に接続さ
れている。The second interpolation processing unit 204 includes an interpolation processing unit 202.
For example, for 3 pixels in the horizontal direction (Y2, Y1, Y0)
This is an interpolation circuit that performs secondary interpolation. This interpolation processing unit 204
Is a subtractor 242 that calculates the difference Y2-Y1 between the pixel Y2 input to the delay circuit 220 and the pixel Y1 delayed by the delay circuit 220 and outputs Y2-Y1 to the output 240, and the subtracter 242 Y2-Y1 output from the multiplier 244 that multiplies the interpolation coefficient d supplied from the interpolation coefficient calculator 124, and a subtracter that calculates the difference between the output 246 of the multiplier 244 and the output 238 of the multiplier 236.
248, a multiplier 252 that multiplies the output 250 of the subtractor 248 by (d-1) / 2 and outputs the output 226, and the interpolation coefficient calculator 12
And an arithmetic circuit 254 for calculating the value of (d-1) / 2 from the interpolation coefficient d given by 2 and outputting the value to the multiplier 252. 226 of the interpolation processing section 204 is connected to the multiplier 206 of the output control section 210.
【００３８】この乗算器206 は、補間処理部204 から出
力された1/2{(Y2-Y1)d-(Y1-Y0)d}(d-1) を表わす値に対
し、補間係数設定部122 から与えられる係数K (0≦K ≦
1)を乗算し、その演算結果を加算器208 に出力する。加
算器208 は、補間処理部202の出力224 と乗算器206 の
出力とを加算し、その演算結果を画素補間後の画素とし
て出力する。This multiplier 206 calculates the value of 1/2 {(Y 2 -Y 1 ) d- (Y 1 -Y 0 ) d} (d-1) output from the interpolation processing unit 204, The coefficient K (0 ≤ K ≤ given by the interpolation coefficient setting unit 122
1) is multiplied and the calculation result is output to the adder 208. The adder 208 adds the output 224 of the interpolation processing unit 202 and the output of the multiplier 206, and outputs the calculation result as a pixel after pixel interpolation.
【００３９】図１に戻って、補間演算部126 に係数K を
出力する係数設定部128 は、本実施例では、その入力13
6 に接続された操作部130 から通知される情報に応じた
係数を補間演算部126 に出力する。操作部130 は、たと
えば操作者による電子ズーム時における画質を調節する
ダイヤルなどに入力される指示に応じて、その操作に応
じた調節情報を係数設定部128 に送出する。係数設定部
128 は、通知された調節情報に応じた係数K を補間演算
部126 に出力する。また、係数設定部128 は、絵柄に応
じた調節情報を、たとえば撮像機器に備えられたシステ
ムコントロール部などから受けて、この調節情報に応じ
て係数K を設定するように構成されてもよい。このよう
に本実施例では、撮像する被写体の絵柄に応じて補間演
算部126にて使用される係数K を任意に設定することが
できる。Returning to FIG. 1, the coefficient setting unit 128, which outputs the coefficient K to the interpolation calculation unit 126, has its input 13 in this embodiment.
The coefficient corresponding to the information notified from the operation unit 130 connected to 6 is output to the interpolation calculation unit 126. The operation unit 130 sends adjustment information corresponding to the operation to the coefficient setting unit 128 according to an instruction input to a dial or the like for adjusting the image quality during electronic zooming by the operator. Coefficient setting section
128 outputs the coefficient K according to the notified adjustment information to the interpolation calculation unit 126. Further, the coefficient setting unit 128 may be configured to receive the adjustment information according to the pattern from, for example, a system control unit provided in the imaging device, and set the coefficient K 1 according to the adjustment information. As described above, in this embodiment, the coefficient K 1 used in the interpolation calculation unit 126 can be arbitrarily set according to the pattern of the subject to be imaged.
【００４０】以上のような構成で本実施例における電子
ズーム処理装置100 の動作を以下に説明する。まず、操
作者がズーム倍率入力部を通してズーム倍率ｒを設定す
ると、処理開始画素決定部120 にて元画像の画素数M,N
およびズーム処理後の画素数m,n に基づいてカメラの撮
像系またはフレームメモリなどから供給される元画像に
おける読み出し開始画素の位置を決定して、画素入力部
124 に供給する。The operation of the electronic zoom processing apparatus 100 in the present embodiment having the above-mentioned configuration will be described below. First, when the operator sets the zoom magnification r through the zoom magnification input unit, the processing start pixel determination unit 120 causes the number of pixels M, N of the original image.
Also, the position of the read start pixel in the original image supplied from the image pickup system of the camera or the frame memory is determined based on the number of pixels m, n after zoom processing, and the pixel input unit
Supply to 124.
【００４１】たとえば、拡大処理を行なう場合、処理開
始画素決定部120 は、その水平走査方向において画素数
M,m をそれぞれ640 とし、垂直方向の画素数N,n を480
として、ズーム倍率ｒ=1.31 とすると、処理開始画素の
位置(Rx,Ry) を(75,56) と算出する。処理開始画素決定
部120 は算出した画素位置を画素入力部124 に通知し、
これを受けた画素入力部124 では、まずその画素を読み
出し、次いで、次の位置(76,56) および(77,56) の画素
を順次読み出して、補間処理部126 の遅延回路220 に供
給する。For example, when performing enlargement processing, the processing start pixel determination unit 120 determines the number of pixels in the horizontal scanning direction.
Let M and m be 640, and the number of vertical pixels N and n be 480.
Assuming that the zoom magnification r = 1.31, the position (Rx, Ry) of the processing start pixel is calculated as (75,56). The processing start pixel determination unit 120 notifies the pixel input unit 124 of the calculated pixel position,
Upon receiving this, the pixel input unit 124 first reads out the pixel, then sequentially reads out the pixels at the next positions (76,56) and (77,56), and supplies them to the delay circuit 220 of the interpolation processing unit 126. .
【００４２】処理開始画素Ｒを受けた補間画素演算部12
6 は、入力画素を遅延回路220 にて遅延出力し、さらに
遅延回路220 の出力を遅延回路228 にて遅延出力させ
る。遅延回路220 の出力(Y1)は遅延回路228 の出力(Y0)
が減算器232 にて減算され、その出力(Y1-Y0) が乗算器
236 に与えられて、これに変換係数d が乗算される。こ
の演算結果(Y1-Y0)dは、さらに加算器240 にて、遅延回
路228 から出力された(Y0)と加算され、その演算結果(Y
1-Y0)d+Y0 が加算回路228 の一方の入力に供給される。Interpolation pixel calculation unit 12 which has received the processing start pixel R
6 delays and outputs the input pixel by the delay circuit 220, and further delays and outputs the output of the delay circuit 220 by the delay circuit 228. The output of delay circuit 220 (Y1) is the output of delay circuit 228 (Y0)
Is subtracted by the subtractor 232, and the output (Y1-Y0) is the multiplier
236, which is multiplied by the transform coefficient d. This calculation result (Y1-Y0) d is further added to the (Y0) output from the delay circuit 228 in the adder 240, and the calculation result (Y
1-Y0) d + Y0 is supplied to one input of the adder circuit 228.
【００４３】一方、遅延回路220 の出力(Y1)と画素デー
タ(Y2)とは、減算器242 に入力されてその差(Y2-Y1) が
算出され、その演算結果(Y2-Y1) は乗算器244 にて変換
係数d が乗算される。この演算結果(Y2-Y1)dと乗算器23
6 の出力(Y1-Y0)dとの差が減算器248 にて演算されて、
その演算結果{(Y2-Y1)d-(Y1-Y0)d} が乗算器252 に入力
される。On the other hand, the output (Y1) of the delay circuit 220 and the pixel data (Y2) are input to the subtractor 242, the difference (Y2-Y1) is calculated, and the calculation result (Y2-Y1) is multiplied. The converter 244 multiplies the conversion coefficient d. This calculation result (Y2-Y1) d and multiplier 23
The difference from the output (Y1-Y0) d of 6 is calculated by the subtractor 248,
The calculation result {(Y2-Y1) d- (Y1-Y0) d} is input to the multiplier 252.
【００４４】乗算器252 の他方の入力には演算回路254
から(d-1)/2 が与えられており、この値と減算器248 の
出力250 とが乗算される。乗算器252 の演算結果1/2{(Y
2-Y1)d-(Y1-Y0)d}(d-1) は、接続線226 を介して乗算器
206 に入力され、この値と、係数設定部128 から設定さ
れている係数K とが乗算される。この演算結果は、加算
器208 の他方の入力に入力される。加算回路208 では、
前記式（５）における１次の項に対応する(Y1-Y0)d+Y0
と、２次の項に対応するK/2{(Y2-Y1)d-(Y1-Y0)d}(d-1)
とが加算されてその加算結果が補間後の画素データとし
て出力される。The arithmetic circuit 254 is connected to the other input of the multiplier 252.
To (d-1) / 2, which is multiplied by the output 250 of the subtractor 248. Calculation result of multiplier 252 1/2 {(Y
2-Y1) d- (Y1-Y0) d} (d-1) is the multiplier via connecting line 226
The value is input to 206, and this value is multiplied by the coefficient K set by the coefficient setting unit 128. The calculation result is input to the other input of the adder 208. In the adder circuit 208,
(Y1-Y0) d + Y0 corresponding to the first-order term in the equation (5).
And K / 2 {(Y2-Y1) d- (Y1-Y0) d} (d-1) corresponding to the quadratic term
And are added, and the addition result is output as pixel data after interpolation.
【００４５】この結果、係数設定部128 から係数K の値
がK=0 が設定されている場合には、式（５）の２次の項
における演算結果は、"0" となって実質的には加算回路
208には入力されず、加算回路208 の出力は同式（５）
の１次の項における演算結果のみが出力される。また、
K=1 が係数設定部128 にて設定されている場合には、補
間処理部204 にて演算された演算結果がそのまま加算器
208 に入力され、式（５）における１次の項に２次の項
を加えた演算結果が補間演算部126 の出力として出力さ
れる。さらに、係数設定部128 にて設定された係数K が
(0＞K ＞1)であった場合には、前記式（５）における１
次の項と２次の項との中間的な値が画素補間後の画素デ
ータとして出力される。以上の動作は水平方向の処理に
ついて説明したものである。同様な動作を垂直方向につ
いて行なう必要がある。この場合、図２に示した遅延回
路220 および228 を１水平走査線単位の遅延素子（たと
えばラインメモリ等）に置き換えたものを使用する。な
お、水平および垂直方向のいずれかを先に処理してよ
い。As a result, when the value of the coefficient K is set to K = 0 from the coefficient setting unit 128, the operation result in the quadratic term of the equation (5) becomes "0", which is substantially Adder circuit
It is not input to the 208, and the output of the adder circuit 208 is the same equation (5)
Only the calculation result in the first-order term of is output. Also,
When K = 1 is set in the coefficient setting unit 128, the calculation result calculated in the interpolation processing unit 204 is the adder as it is.
The calculation result obtained by adding the quadratic term to the first-order term in the equation (5) is output as the output of the interpolation computing section 126. Furthermore, the coefficient K set by the coefficient setting unit 128 is
If (0>K> 1), then 1 in the above formula (5)
An intermediate value between the next term and the quadratic term is output as pixel data after pixel interpolation. The above operation is for explaining the processing in the horizontal direction. A similar operation needs to be performed in the vertical direction. In this case, the delay circuits 220 and 228 shown in FIG. 2 are replaced with delay elements (for example, line memories) in units of one horizontal scanning line. Note that either the horizontal direction or the vertical direction may be processed first.
【００４６】この結果、設定された係数K が"1" に等し
いかもしくはそれに近い場合には、２次補間の演算処理
結果が充分に反映された補間処理後の画素データが出力
され、逆に、係数K が"0" に等しいかもしくはそれに近
い場合には、１次補間の特性を大きく有した補間処理後
の画素データが得られる。したがって特に前者の場合に
は、図７に示したように、ダイナミックレンジの広い補
間後の画素データを得ることができる。As a result, when the set coefficient K is equal to or close to "1", the pixel data after the interpolation processing in which the calculation processing result of the secondary interpolation is sufficiently reflected is output, and conversely. , If the coefficient K 1 is equal to or close to “0”, pixel data after interpolation processing having a large degree of primary interpolation characteristics can be obtained. Therefore, particularly in the former case, as shown in FIG. 7, it is possible to obtain pixel data after interpolation having a wide dynamic range.
【００４７】また、この係数K を変化させることによっ
て、そのダイナミックレンジを可変することができるの
で、入力画像に応じた係数を適切に選択することによっ
て、絵柄に応じたダイナミックレンジを得ることができ
る。このことは、たとえば、画像のエッジ部分における
強調の度合いを可変することができることを意味し、強
調する必要がない画像や強調によって画像が破綻するよ
うな場合には、係数Kの値を"0" か、またはそれに近い
値を選択するとよい。また、入力画像がフラットな画像
の場合には、係数K の値を"1" か、もしくはそれに近い
値を選択することで、輪郭部分が適度に強調された画像
が得られる。これらはその画像の映像表現の仕方に応じ
て操作部130 を操作することによって任意に選択調整す
ることができる。また、たとえばズーム倍率に応じて画
質の評価が変化する場合には、そのズーム倍率に連動さ
せて係数K を変化させることもでき、この場合、ズーミ
ング時における画質変化を少なくすることもできる。ま
た、このようにズーム倍率と係数K とを連動させること
によって、ズーム倍率に応じた強調処理も可能となる。Further, since the dynamic range can be changed by changing the coefficient K, it is possible to obtain the dynamic range according to the picture by appropriately selecting the coefficient according to the input image. . This means that, for example, the degree of emphasis at the edge portion of the image can be changed. When the image does not need to be emphasized or when the image fails due to the emphasis, the value of the coefficient K is set to "0". "Or a value close to it. Further, when the input image is a flat image, by selecting the value of the coefficient K 1 to be "1" or a value close thereto, an image in which the contour portion is appropriately emphasized can be obtained. These can be arbitrarily selected and adjusted by operating the operation unit 130 according to the way of expressing the image. Further, for example, when the evaluation of the image quality changes according to the zoom magnification, the coefficient K can be changed in association with the zoom magnification, and in this case, the change in image quality during zooming can be reduced. Further, by linking the zoom magnification and the coefficient K in this way, it is possible to perform an emphasis process according to the zoom magnification.
【００４８】以上のようにして補間およびズーム処理さ
れた画素は、たとえば、図10にその一例を示すように、
拡大または縮小された画素として出力される。同図に
は、水平方向640 画素、垂直方向480 画素の画像を1.31
倍にズームインした拡大例（上段）と、水平方向1024画
素、垂直方向512 画素の画像を0.66倍に縮小した縮小例
（下段）が示され、それぞれの画素補間後の画素データ
は、前述したとおり係数設定部128 から与えられた係数
に応じてそれぞれダイナミックレンジが拡大されてい
る。この図において、鎖線は１次補間における画素の対
応を示している。Pixels that have been interpolated and zoomed as described above are, for example, as shown in FIG.
It is output as an enlarged or reduced pixel. In the figure, an image with 640 pixels in the horizontal direction and 480 pixels in the vertical direction is 1.31 pixels.
An example of zooming in by zooming in twice (upper row) and an example of reducing an image with horizontal 1024 pixels and vertical 512 pixels by 0.66 times (lower row) are shown. The pixel data after each pixel interpolation is as described above. The dynamic range is expanded according to the coefficient given from the coefficient setting unit 128. In this figure, the chain line shows the correspondence of pixels in the primary interpolation.
【００４９】この様子を図７に戻ってみると、１次補間
は線形補間であるので、ダイナミックレンジが２次補間
と比較して狭い。２次補間では、たとえば水平方向に対
して３点補間であるため、２次曲線にて表わされ、その
極大および極小における画素の値が広がってダイナミッ
クレンジが拡大されていることがわかる。本実施例で
は、このダイナミックレンジを係数設定部128 による係
数K に応じて可変させることができた。Returning to this situation in FIG. 7, since the linear interpolation is linear interpolation, the dynamic range is narrower than that of secondary interpolation. In the quadratic interpolation, for example, since three-point interpolation is performed in the horizontal direction, it can be seen that the pixel is represented by a quadratic curve and the pixel values at the maximum and minimum values thereof are widened to expand the dynamic range. In the present embodiment, this dynamic range could be changed according to the coefficient K by the coefficient setting unit 128.
【００５０】以上説明した実施例では、とくに係数K を
大きい値に設定した場合には、２次補間の割合が増える
ので、補間処理後のダイナミックレンジが拡大されると
いう利点があった。しかし補間処理後の画像データを処
理する後段の信号処理回路にてオーバーフローが発生す
る場合には、補間演算部126 の出力に、ゲインコントロ
ールのための乗算器を接続することでこの問題が解決さ
れる。The embodiment described above has the advantage that the dynamic range after interpolation processing is expanded because the proportion of secondary interpolation increases, especially when the coefficient K is set to a large value. However, if an overflow occurs in the signal processing circuit in the subsequent stage that processes the image data after interpolation processing, this problem can be solved by connecting a multiplier for gain control to the output of the interpolation calculation unit 126. It
【００５１】具体的には、たとえば補間処理前の画像デ
ータが８ビットにて表わされたデータである場合、この
ダイナミックレンジが拡大されて、補間処理後の画素デ
ータが９ビットのデータになることがある。したがっ
て、たとえば後段の信号処理系が８ビットを前提として
構成されているときには、図８に示したように、出力制
御部210 の加算器208 （図２）の出力に、制御信号G に
応じてゲインコントロールする乗算器800 を接続する。
この制御信号G は、たとえば加算器208 の出力を監視す
る監視回路802 にて生成され、監視回路802 は、加算器
208 から出力される８ビットまたは９ビットの画素デー
タを判定し、９ビットデータが入力された場合には、こ
れが８ビットのデータとなるようにゲイン制御する制御
信号を乗算器800 に出力する。この場合、監視回路802
は、入力した画素データを高輝度圧縮するような制御信
号を生成するとよい。また、監視回路802 は、一定値以
上の入力画素データをすべて一定の画素値にゲイン制御
する制御信号を生成して乗算器800 に供給するリミッタ
制御機能を有してもよい。乗算器800 は監視回路802か
ら与えられた制御信号G を、入力した９ビットデータに
乗算して８ビットデータを作成し、これを補間演算部12
6 の出力として出力する。Specifically, for example, when the image data before interpolation processing is data represented by 8 bits, this dynamic range is expanded and the pixel data after interpolation processing becomes 9 bits data. Sometimes. Therefore, for example, when the signal processing system in the subsequent stage is configured on the premise of 8 bits, as shown in FIG. 8, the output of the adder 208 (FIG. 2) of the output control unit 210 is output according to the control signal G. Connect the multiplier 800 for gain control.
This control signal G is generated, for example, by a monitor circuit 802 that monitors the output of the adder 208.
The 8-bit or 9-bit pixel data output from the 208 is determined, and when 9-bit data is input, a control signal for gain control is output to the multiplier 800 so that this becomes 8-bit data. In this case, the monitoring circuit 802
May generate a control signal that compresses the input pixel data with high luminance. Further, the monitoring circuit 802 may have a limiter control function of generating a control signal for controlling the gain of all input pixel data having a certain value or more to a certain pixel value and supplying the control signal to the multiplier 800. The multiplier 800 multiplies the input control signal G from the monitor circuit 802 by the input 9-bit data to create 8-bit data, and the 8-bit data is generated by the interpolation calculation unit 12
Output as the output of 6.
【００５２】また、監視回路802 は、補間係数設定部12
8 から出力された係数K を入力し、これを監視結果に応
じて修正する機能を有してもよい。具体的には監視回路
802は、９ビットのデータを検出した場合には、入力し
た係数K の値をそれよりも小さく設定し直した係数K'を
乗算器206 に供給し、加算器208 の出力が８ビットを超
えないように、補間処理後のダイナミックレンジを制御
する。この場合、制御信号G によって可変増幅する乗算
器800 はなくてもよいがあってもよい。乗算器800 があ
る場合には、２次補間を適度に効かせた状態で、その出
力をゲインコントロールし、その結果、後段の処理回路
におけるオーバーフローを防止することができる。The monitoring circuit 802 also includes an interpolation coefficient setting unit 12
It may have a function of inputting the coefficient K output from 8 and correcting it according to the monitoring result. Specifically, the monitoring circuit
When detecting the 9-bit data, the 802 supplies the multiplier 206 with the coefficient K ′, which is obtained by resetting the input value of the coefficient K to a smaller value, and the output of the adder 208 exceeds 8 bits. The dynamic range after interpolation processing is controlled so that there is no such difference. In this case, the multiplier 800 that variably amplifies by the control signal G may be omitted. In the case where the multiplier 800 is provided, the output of the multiplier 800 can be gain-controlled while the quadratic interpolation is appropriately applied, and as a result, overflow in the processing circuit in the subsequent stage can be prevented.
【００５３】また、上記実施例では図３に示すようにカ
メラの撮像系からの映像信号を受けてバッファ300 に蓄
積するように構成したが、本発明ではたとえば図４また
は図５に示すように撮像機器以外の処理装置に適用して
もよい。この場合、図４では一般的な処理装置に適用さ
れた例であり、フィールドメモリまたはフレームメモリ
などの記憶回路400 にビデオデッキまたはビデオカメラ
などからの映像信号を蓄積して、このメモリ400 からの
映像信号を順次上記ズーム処理装置100 に読み出してズ
ーム処理し、再生装置などに拡大または縮小した画像と
して出力する。図５ではズーム処理した画像に、さらに
反転、回転などの特殊処理を施して出力する場合等に適
用される構成であり、メモリ(A) 400 に一旦蓄積した画
像を上記電子ズーム処理装置100 に順次読み出してズー
ム処理を施して、その画像を第２のメモリ(B) 500 の任
意のアドレスに蓄積して画像の反転、回転などの特殊処
理を施した状態にて蓄積し、順次読み出して出力するも
のである。In the above embodiment, the video signal from the image pickup system of the camera is received and stored in the buffer 300 as shown in FIG. 3, but in the present invention, as shown in FIG. 4 or 5, for example. It may be applied to a processing device other than the imaging device. In this case, FIG. 4 is an example applied to a general processing device, in which a video signal from a VCR or a video camera is accumulated in a storage circuit 400 such as a field memory or a frame memory, and the memory 400 from this memory 400 is stored. The video signals are sequentially read to the zoom processing device 100, subjected to zoom processing, and output as a magnified or reduced image to a reproducing device or the like. In FIG. 5, the zoomed image is subjected to special processing such as inversion and rotation and then output, and the image once stored in the memory (A) 400 is stored in the electronic zoom processing device 100. Sequential reading and zoom processing are performed, and the image is stored in an arbitrary address of the second memory (B) 500 and stored with special processing such as image inversion and rotation, and sequentially read and output. To do.
【００５４】[0054]
【発明の効果】このように本発明によれば、１次補間と
２次補間との度合いを係数設定手段により設定される第
１の係数に応じて、調節することができるので、画像の
エッジ部分における強調の度合いを可変にすることがで
き、さらに様々な絵柄において画質を高め、破綻の少な
い電子ズーム出力画を得ることができる。また、従来の
方式では不足がちであった補間処理後の周波数特性が改
善されるとともに、この周波数特性の改善の度合いを可
変することができるので、様々な絵柄に対してよりよい
補間状態を選択することが可能となった。As described above, according to the present invention, the degree of the primary interpolation and the secondary interpolation can be adjusted according to the first coefficient set by the coefficient setting means. It is possible to change the degree of emphasis in the part, further improve the image quality in various patterns, and obtain an electronic zoom output image with less failure. In addition, the frequency characteristics after interpolation processing, which tended to be insufficient in the conventional method, are improved, and the degree of improvement of this frequency characteristics can be changed, so a better interpolation state can be selected for various patterns. It became possible to do.
【図１】本発明による電子ズーム処理装置の一実施例を
示すブロック図である。FIG. 1 is a block diagram showing an embodiment of an electronic zoom processing device according to the present invention.
【図２】図１に示した実施例における補間処理部の内部
構成の一例を示す図である。FIG. 2 is a diagram showing an example of an internal configuration of an interpolation processing unit in the embodiment shown in FIG.
【図３】図１に示した実施例による電子ズーム処理装置
が撮像機器に適用される場合の構成を示すブロック図で
ある。FIG. 3 is a block diagram showing a configuration when the electronic zoom processing apparatus according to the embodiment shown in FIG. 1 is applied to an imaging device.
【図４】図１に示した実施例による電子ズーム処理装置
が一般的な画像処理装置に適用される場合の構成を示す
ブロック図である。FIG. 4 is a block diagram showing a configuration when the electronic zoom processing device according to the embodiment shown in FIG. 1 is applied to a general image processing device.
【図５】図１に示した実施例による電子ズーム処理装置
が特殊効果を施す画像処理装置に適用される場合の構成
を示すブロック図である。5 is a block diagram showing a configuration when the electronic zoom processing apparatus according to the embodiment shown in FIG. 1 is applied to an image processing apparatus that applies a special effect.
【図６】図１に示した実施例における補間係数演算部の
構成例を示すブロック図である。FIG. 6 is a block diagram showing a configuration example of an interpolation coefficient calculation unit in the embodiment shown in FIG.
【図７】１次補間および２次補間にてそれぞれ処理され
た画素のダイナミックレンジの差を示す図である。FIG. 7 is a diagram showing a difference in dynamic range of pixels processed by primary interpolation and secondary interpolation.
【図８】図２に示した出力制御部の他の構成例を示すブ
ロック図である。FIG. 8 is a block diagram illustrating another configuration example of the output control unit illustrated in FIG.
【図９】２次補間による補間処理を概念的に示す図であ
る。FIG. 9 is a diagram conceptually showing interpolation processing by secondary interpolation.
【図１０】画素補間処理後の画素位置の一例を示す図で
ある。FIG. 10 is a diagram showing an example of pixel positions after pixel interpolation processing.
100 電子ズーム処理装置 120 処理開始画素決定部 122 補間係数演算部 124 画素入力部 126 補間演算部 128 係数設定部 130 操作部 100 electronic zoom processing device 120 processing start pixel determination unit 122 interpolation coefficient calculation unit 124 pixel input unit 126 interpolation calculation unit 128 coefficient setting unit 130 operation unit
─────────────────────────────────────────────────────
─────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成７年１０月４日[Submission date] October 4, 1995
【手続補正１】[Procedure amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４５[Name of item to be corrected] 0045
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００４５】この結果、係数設定部128 から係数K の値
がK=0 が設定されている場合には、式（５）の２次の項
における演算結果は、"0" となって実質的には加算回路
208には入力されず、加算回路208 の出力は同式（５）
の１次の項における演算結果のみが出力される。また、
K=1 が係数設定部128 にて設定されている場合には、補
間処理部204 にて演算された演算結果がそのまま加算器
208 に入力され、式（５）における１次の項に２次の項
を加えた演算結果が補間演算部126 の出力として出力さ
れる。さらに、係数設定部128 にて設定された係数K が
(0＜K ＜1)であった場合には、前記式（５）における１
次の項と２次の項との中間的な値が画素補間後の画素デ
ータとして出力される。以上の動作は水平方向の処理に
ついて説明したものである。同様な動作を垂直方向につ
いて行なう必要がある。この場合、図２に示した遅延回
路220 および228 を１水平走査線単位の遅延素子（たと
えばラインメモリ等）に置き換えたものを使用する。な
お、水平および垂直方向のいずれかを先に処理してよ
い。As a result, when the value of the coefficient K is set to K = 0 from the coefficient setting unit 128, the operation result in the quadratic term of the equation (5) becomes "0", which is substantially Adder circuit
It is not input to the 208, and the output of the adder circuit 208 is the same equation (5)
Only the calculation result in the first-order term of is output. Also,
When K = 1 is set in the coefficient setting unit 128, the calculation result calculated in the interpolation processing unit 204 is the adder as it is.
The calculation result obtained by adding the quadratic term to the first-order term in the equation (5) is output as the output of the interpolation computing section 126. Furthermore, the coefficient K set by the coefficient setting unit 128 is
If (0 < K < 1), then 1 in the above formula (5)
An intermediate value between the next term and the quadratic term is output as pixel data after pixel interpolation. The above operation is for explaining the processing in the horizontal direction. A similar operation needs to be performed in the vertical direction. In this case, the delay circuits 220 and 228 shown in FIG. 2 are replaced with delay elements (for example, line memories) in units of one horizontal scanning line. Note that either the horizontal direction or the vertical direction may be processed first.
Claims (10)
タをディジタル演算して、その画像データにて表わされ
る画像を拡大または縮小する電子ズーム処理装置におい
て、該装置は、 前記ズーム倍率に応じて処理開始画素の位置を決定する
画素決定手段と、 前記ズーム倍率および前記画素決定手段にて決定された
処理開始画素に基づいて、補間処理後の画素間隔を算出
する補間係数演算手段と、 該補間係数演算手段の演算結果に基づいて、前記画像デ
ータを補間処理する補間演算手段とを有し、該補間演算
手段は、 前記画素データを１次補間する第１の補間手段と、 該第１の補間手段より与えられる情報に基づいて、前記
画素データを２次補間する第２の補間手段と、 前記第１および第２の補間手段の出力を加算して出力す
る出力制御手段とを含み、 該装置はさらに、前記出力制御手段における加算の割合
を制御する第１の係数を設定する係数設定手段を有し、 前記出力制御手段は、前記設定された第１の係数に応じ
た２次補間の処理結果を１次補間の処理結果に加算する
ことを特徴とする電子ズーム処理装置。1. An electronic zoom processing apparatus for digitally calculating image data according to a set zoom magnification, and enlarging or reducing an image represented by the image data, wherein the apparatus according to the zoom magnification. Pixel determining means for determining a position of a processing start pixel; interpolation coefficient calculating means for calculating a pixel interval after interpolation processing based on the zoom magnification and the processing start pixel determined by the pixel determining means; Interpolation processing means for interpolating the image data based on the calculation result of the coefficient calculation means, the interpolation calculation means comprising: first interpolation means for linearly interpolating the pixel data; and the first interpolation means. A second interpolating means for secondarily interpolating the pixel data based on information provided by the interpolating means, and an output control means for adding and outputting the outputs of the first and second interpolating means. The apparatus further includes a coefficient setting means for setting a first coefficient for controlling a ratio of addition in the output control means, wherein the output control means is responsive to the set first coefficient. An electronic zoom processing device, characterized in that the secondary interpolation processing result is added to the primary interpolation processing result.
おいて、該装置は、操作者の操作を検出する操作手段を
有し、前記係数設定手段は、前記操作手段にて検出され
た操作情報に従って前記第１の係数を設定することを特
徴とする電子ズーム処理装置。2. The electronic zoom processing device according to claim 1, wherein the device has an operating means for detecting an operation of an operator, and the coefficient setting means has operation information detected by the operating means. An electronic zoom processing device, wherein the first coefficient is set according to
おいて、前記出力制御手段は、前記加算結果に対し、該
加算結果が所定のビット数を超えないようにゲイン制御
する第１の乗算手段を含むことを特徴とする電子ズーム
処理装置。3. The electronic zoom processing device according to claim 1, wherein the output control means performs gain control on the addition result so that the addition result does not exceed a predetermined number of bits. An electronic zoom processing device comprising:
おいて、前記出力制御手段は、前記加算結果が前記所定
のビット数を超えたか否かを監視する第１の監視手段を
含み、 前記第１の乗算手段は、前記第１の監視手段の監視結果
に従ってゲイン制御することを特徴とするズーム処理装
置。4. The electronic zoom processing device according to claim 3, wherein the output control means includes a first monitoring means for monitoring whether or not the addition result exceeds the predetermined number of bits. The zoom processing device is characterized in that the multiplication unit 1 performs gain control according to the monitoring result of the first monitoring unit.
おいて、前記出力制御手段は、前記第２の補間手段の出
力に対し、出力制御のための第２の係数を乗算する第２
の乗算手段を有し、該出力制御手段は該第２の乗算手段
による演算結果と前記第１の補間手段の出力とを加算
し、 該出力制御手段はさらに、前記加算結果が前記所定のビ
ット数を超えたか否かを監視する第２の監視手段を含
み、 前記第２の乗算手段は、前記第２の監視手段の監視結果
に従った第２の係数を前記第２の補間手段の出力に乗算
することを特徴とするズーム処理装置。5. The electronic zoom processing device according to claim 1, wherein the output control unit multiplies an output of the second interpolation unit by a second coefficient for output control.
The output control means adds the calculation result of the second multiplication means and the output of the first interpolation means, and the output control means further adds the addition result to the predetermined bit. The second multiplication means includes a second monitoring means for monitoring whether or not the number is exceeded, and the second multiplication means outputs a second coefficient according to the monitoring result of the second monitoring means to the output of the second interpolation means. A zoom processing device characterized by multiplying by.
タをディジタル演算して、その画像データにて表わされ
る画像を拡大または縮小する電子ズーム処理方法におい
て、該方法は、 前記ズーム倍率に応じて処理開始画素の位置を決定する
画素決定工程と、 前記ズーム倍率および前記画素決定工程にて決定された
処理開始画素に基づいて、補間処理後の画素間隔を算出
する補間係数演算工程と、 該補間係数演算手段の演算結果に基づいて、前記画像デ
ータを補間処理する補間演算工程とを有し、該補間演算
工程は、 前記画素データを１次補間する第１の補間工程と、 該第１の補間工程より与えられる情報に基づいて、前記
画素データを２次補間する第２の補間工程と、 前記第１および第２の補間工程の出力を加算して出力す
る出力制御工程とを含み、 該方法はさらに、前記出力制御工程における加算の割合
を制御する第１の係数を設定する係数設定工程を有し、 前記出力制御工程は、前記設定された第１の係数に応じ
た２次補間の処理結果を１次補間の処理結果に加算する
ことを特徴とする電子ズーム処理方法。6. An electronic zoom processing method for digitally operating image data according to a set zoom magnification, and enlarging or reducing an image represented by the image data, the method according to the zoom magnification. A pixel determining step of determining a position of a processing start pixel; an interpolation coefficient calculating step of calculating a pixel interval after interpolation processing based on the zoom magnification and the processing start pixel determined in the pixel determining step; An interpolation calculation step of performing an interpolation process on the image data based on a calculation result of the coefficient calculation means, the interpolation calculation step including a first interpolation step of performing primary interpolation on the pixel data; A second interpolation step of quadratic interpolation of the pixel data, and an output control step of adding and outputting the outputs of the first and second interpolation steps based on the information given from the interpolation step. The method further includes a coefficient setting step of setting a first coefficient for controlling a rate of addition in the output control step, wherein the output control step is responsive to the set first coefficient. An electronic zoom processing method, characterized in that the secondary interpolation processing result is added to the primary interpolation processing result.
おいて、該方法は、操作者の操作を検出する操作工程を
有し、前記係数設定工程は、前記操作工程にて検出され
た操作情報に従って前記第１の係数を設定することを特
徴とする電子ズーム処理方法。7. The electronic zoom processing method according to claim 6, wherein the method includes an operation step of detecting an operation by an operator, and the coefficient setting step includes operation information detected in the operation step. An electronic zoom processing method, wherein the first coefficient is set according to
おいて、前記出力制御工程は、前記加算結果に対し、該
加算結果が所定のビット数を超えないようにゲイン制御
する第１の乗算工程を含むことを特徴とする電子ズーム
処理方法。8. The electronic zoom processing method according to claim 6, wherein in the output control step, gain control is performed on the addition result so that the addition result does not exceed a predetermined number of bits. An electronic zoom processing method comprising:
おいて、前記出力制御工程は、前記加算結果が前記所定
のビット数を超えたか否かを監視する第１の監視工程を
含み、 前記第１の乗算工程は、前記第１の監視工程の監視結果
に従ってゲイン制御することを特徴とするズーム処理方
法。9. The electronic zoom processing method according to claim 8, wherein the output control step includes a first monitoring step of monitoring whether or not the addition result exceeds the predetermined number of bits, The zoom processing method is characterized in that the multiplication step of 1 performs gain control according to the monitoring result of the first monitoring step.
において、前記出力制御工程は、前記第２の補間工程の
出力に対し、出力制御のための第２の係数を乗算する第
２の乗算工程を有し、該出力制御工程は該第２の乗算工
程による演算結果と前記第１の補間工程の出力とを加算
し、 該出力制御工程はさらに、前記加算結果が前記所定のビ
ット数を超えたか否かを監視する第２の監視工程を含
み、 前記第２の乗算工程は、前記第２の監視工程の監視結果
に従った第２の係数を前記第２の補間工程の出力に乗算
することを特徴とするズーム処理方法。10. The electronic zoom processing method according to claim 6, wherein in the output control step, the output of the second interpolation step is multiplied by a second coefficient for output control. The output control step adds the calculation result of the second multiplication step and the output of the first interpolation step, and the output control step further comprises the addition result indicating the predetermined number of bits. A second monitoring step of monitoring whether or not it has exceeded, wherein the second multiplication step multiplies an output of the second interpolation step by a second coefficient according to a monitoring result of the second monitoring step. A zoom processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23819095A JP3699171B2 (en) | 1995-09-18 | 1995-09-18 | Electronic zoom processing apparatus and electronic zoom processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23819095A JP3699171B2 (en) | 1995-09-18 | 1995-09-18 | Electronic zoom processing apparatus and electronic zoom processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0983863A true JPH0983863A (en) | 1997-03-28 |
| JP3699171B2 JP3699171B2 (en) | 2005-09-28 |
Family
ID=17026507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23819095A Expired - Fee Related JP3699171B2 (en) | 1995-09-18 | 1995-09-18 | Electronic zoom processing apparatus and electronic zoom processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3699171B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7385650B2 (en) | 2002-12-13 | 2008-06-10 | Sony Corporation | Device and method for processing image signal, program for performing the method, and computer-readable medium for recording the program |
-
1995
- 1995-09-18 JP JP23819095A patent/JP3699171B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7385650B2 (en) | 2002-12-13 | 2008-06-10 | Sony Corporation | Device and method for processing image signal, program for performing the method, and computer-readable medium for recording the program |
| KR101024960B1 (en) * | 2002-12-13 | 2011-03-25 | 소니 주식회사 | Image signal processing apparatus, image signal processing method, program for practicing that method, and computer-readable medium in which that program has been recorded |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3699171B2 (en) | 2005-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0641508B1 (en) | Method and apparatus for enhancing sharpness of a sequence of images subject to continuous zoom | |
| US5253064A (en) | Video camera apparatus with electronic zoom control and method therefor | |
| JPH0865546A (en) | Circuit and method for generating shading correction coefficient | |
| JP3116967B2 (en) | Image processing apparatus and image processing method | |
| US5940146A (en) | Video apparatus with image memory function | |
| JP3132055B2 (en) | Image processing apparatus and image processing method | |
| JPH1117984A (en) | Image processor | |
| JPH0983863A (en) | Electronic zoom processing unit and electronic zoom processing method | |
| JP2885010B2 (en) | Image motion compensation device | |
| JP3949740B2 (en) | Electronic zoom processing apparatus and electronic zoom processing method | |
| JP4314898B2 (en) | Imaging apparatus and image control method thereof | |
| JPH0767025A (en) | Video processor | |
| JP3271271B2 (en) | Image motion vector detection device, image motion vector detection method, image vibration correction device, and image vibration correction method | |
| JP2600520B2 (en) | Image motion compensation device | |
| JPS6346881A (en) | Digital outline correcting circuit | |
| JP2532775B2 (en) | Electronic zoom circuit | |
| JPH0738805A (en) | Image enlarging device | |
| JP3158802B2 (en) | Video device with interpolation function | |
| JP3221052B2 (en) | Image shake detection device | |
| JP4250807B2 (en) | Field frequency conversion device and conversion method | |
| JP2000023031A (en) | Electronic zoom device | |
| JPH11168622A (en) | Image processor, image processing method and storage medium | |
| JPH1153530A (en) | Image interpolating device | |
| JP3191586B2 (en) | Image motion compensation device | |
| JP3223577B2 (en) | Image stabilization device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050614 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050707 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080715 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080715 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130715 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |