JP4127836B2 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP4127836B2
JP4127836B2 JP2005093212A JP2005093212A JP4127836B2 JP 4127836 B2 JP4127836 B2 JP 4127836B2 JP 2005093212 A JP2005093212 A JP 2005093212A JP 2005093212 A JP2005093212 A JP 2005093212A JP 4127836 B2 JP4127836 B2 JP 4127836B2
Authority
JP
Japan
Prior art keywords
image processing
image
combination
storage
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2005093212A
Other languages
Japanese (ja)
Other versions
JP2005190500A (en
Inventor
敏也 疋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2005093212A priority Critical patent/JP4127836B2/en
Publication of JP2005190500A publication Critical patent/JP2005190500A/en
Application granted granted Critical
Publication of JP4127836B2 publication Critical patent/JP4127836B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Description

本発明は、ディジタル複写機の画像処理装置に関する。   The present invention relates to an image processing apparatus for a digital copying machine.

ディジタル複写機は、例えば特許文献1に示されるように、入力系、シェーディング補正回路、位置ずれ補正回路、MTF補正回路、変倍回路、γ補正回路、色補正回路、階調処理回路、出力系など、多岐にわたる画像処理手段を有しており、それらの画像処理機能を組み合わせて複雑な機能を実現している。特に、近年では複数の画像蓄積機能が付加され、複雑さが増している。しかし、入力系や出力系が複数になり、また蓄積機能も複雑になり、それぞれ独立に機能を要求された場合、従来の順序型の構成では対応できないようになっている。   For example, as disclosed in Patent Document 1, a digital copying machine includes an input system, a shading correction circuit, a misregistration correction circuit, an MTF correction circuit, a scaling circuit, a γ correction circuit, a color correction circuit, a gradation processing circuit, and an output system. And various image processing means, and a complex function is realized by combining these image processing functions. In particular, in recent years, a plurality of image storage functions have been added, and the complexity has increased. However, there are a plurality of input systems and output systems, and the storage function is complicated, so that when the functions are requested independently, the conventional sequential configuration cannot cope.

特開平2−67076号公報JP-A-2-67076

図7は複数の画像処理部が順序型に接続される一般的な画像処理装置の一例を示すブロック図である。図に示すように、スキャナ1、画像処理Aを行う第1の画像処理部2、画像処理Bを行う第2の画像処理部3、画像処理Cを行う第3の画像処理部4、画像処理Dを行う第4の画像処理部5、プリンタ8が順に並んでおり、かつ、第2の画像処理部3と第3の画像処理部4の間に図のように、外部出力部6と外部入力部7がある。このような構成による順序型の制御では、機能が複雑になった場合、或いは入出力を複数同時に行う場合、機能上の制約が発生する。   FIG. 7 is a block diagram illustrating an example of a general image processing apparatus in which a plurality of image processing units are connected in order. As shown in the figure, a scanner 1, a first image processing unit 2 that performs image processing A, a second image processing unit 3 that performs image processing B, a third image processing unit 4 that performs image processing C, and image processing The fourth image processing unit 5 and the printer 8 that perform D are arranged in order, and between the second image processing unit 3 and the third image processing unit 4, as shown in the figure, the external output unit 6 and the external There is an input unit 7. In the sequential control with such a configuration, when the function becomes complicated, or when a plurality of inputs / outputs are performed at the same time, functional restrictions occur.

図8は機能の処理順序を変更する場合のブロック図、図9は同時に複数の入出力を行う場合のブロック図、図10は出力を2種類行う場合のブロック図である。画像処理Bと画像処理Aを逆にする場合、第2の画像処理部3に外部入力を行う場合、第3の画像処理部4から2種類の出力を行う場合を、図8、図9、図10に示しているが、このような機能を図7に示す従来装置では達成することができない。   FIG. 8 is a block diagram when the processing order of functions is changed, FIG. 9 is a block diagram when a plurality of inputs / outputs are simultaneously performed, and FIG. 10 is a block diagram when two types of outputs are performed. When the image processing B and the image processing A are reversed, when the external input is performed to the second image processing unit 3, and when two types of output are performed from the third image processing unit 4, FIG. Although shown in FIG. 10, such a function cannot be achieved by the conventional apparatus shown in FIG.

図11は複数の画像処理部が順序型に接続される一般的な画像処理装置の他の例を示すブロック図である。図11には、図7に示す装置の他に、蓄積処理Aを行う第1の蓄積処理部9−1、蓄積処理Bを行う第2の蓄積処理部9−2が示されている。なお、蓄積処理部9はこの2つとは限らない。例えば図13、図14には4つの蓄積処理部9−1〜9−4が示されている。図11の装置においても、図7と同様に、機能が複雑になった場合、或いは入出力を複数同時に行う場合、機能上の制約が発生する。   FIG. 11 is a block diagram showing another example of a general image processing apparatus in which a plurality of image processing units are connected in order. In addition to the apparatus shown in FIG. 7, FIG. 11 shows a first accumulation processing unit 9-1 that performs accumulation processing A and a second accumulation processing unit 9-2 that performs accumulation processing B. The accumulation processing unit 9 is not limited to these two. For example, FIG. 13 and FIG. 14 show four accumulation processing units 9-1 to 9-4. In the apparatus of FIG. 11 as well, as in FIG. 7, when the function becomes complicated or when a plurality of inputs / outputs are performed simultaneously, functional restrictions occur.

図12は蓄積処理AとBを逆にした場合のブロック図、図13は第1の蓄積処理部9−1〜第2、第3の蓄積処理部9−2と9−3に同時に出力する場合のブロック図、図14は第1の蓄積処理部9−1に第3の蓄積処理部9−3からも入力が行われる場合のブロック図である。このような機能も図11に示す従来装置では達成することが出来なかった。   FIG. 12 is a block diagram when the accumulation processes A and B are reversed, and FIG. 13 is a simultaneous output to the first accumulation processing unit 9-1 to the second and third accumulation processing units 9-2 and 9-3. FIG. 14 is a block diagram when the first accumulation processing unit 9-1 is also input from the third accumulation processing unit 9-3. Such a function could not be achieved by the conventional apparatus shown in FIG.

そこで本発明は、機能が複雑になったり、入出力を複数同時に行う場合でも、効率的に制御を行うことができる画像処理装置を提供することを目的とする。特に、複数の要求モードが多重的に要求された場合、処理中の場合には、他の要求を待機させたり、何かの理由で次の要求が処理できない場合に、処理できる要求を優先的に処理することができる画像処理装置を提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus capable of efficiently performing control even when functions are complicated or when a plurality of inputs and outputs are performed simultaneously. In particular, when multiple request modes are requested multiple times, when processing is in progress, priority is given to requests that can be processed when other requests are waited or the next request cannot be processed for some reason. It is an object of the present invention to provide an image processing apparatus capable of processing the above.

上記目的を達成するために、請求項1記載の発明は、入力された画像データに対して所定の画像処理を行う画像処理装置において、前記入力された画像データに対して各々所定の画像処理を行う複数の画像処理手段と、前記複数の画像処理手段のうちで所定の使用する画像処理手段を組み合わせる画像処理用組合手段と、外部からの要求に基づいた画像処理を行うために、前記画像処理用組合手段が組み合わせる所定の画像処理手段を取得すると共に、この取得した所定の画像処理手段により前記要求に基づいた画像処理が終了すると、前記組み合わされている所定の画像処理手段を解放する取得・解放制御手段とを有し、更に、前記取得・解放制御手段は、前記外部からの要求に基づいた画像処理が、前記取得中の画像処理手段以外の残りの画像処理手段の組み合わせによって実行可能であるか否かを判断し、実行可能であると判断した場合には、前記画像処理用組合手段により組み合わせる所定の新たな画像処理手段を取得することを特徴とするものである。 In order to achieve the above object, according to a first aspect of the present invention, there is provided an image processing apparatus that performs predetermined image processing on input image data, and performs predetermined image processing on the input image data. A plurality of image processing means to perform, an image processing combination means for combining a predetermined image processing means among the plurality of image processing means, and the image processing to perform image processing based on an external request The combination unit obtains the predetermined image processing unit to be combined, and when the acquired image processing based on the request is completed by the acquired predetermined image processing unit, the combined image processing unit is released. A release control unit, and the acquisition / release control unit further performs image processing based on the request from the outside, except for the remaining image processing unit other than the image processing unit being acquired. And it determines whether it can perform a combination of the image processing means, if it is judged to be executed, and characterized by obtaining a predetermined new image processing means for combining by the image processing union means To do.

また上記目的を達成するために、請求項2記載の発明は、請求項1に記載の画像処理装置であって、更に、前記外部からの要求に係るモードを蓄積する蓄積制御手段を有し、前記取得・解放制御手段は、前記画像処理用組合手段が組み合わせる所定の画像処理手段を取得するにあたって、前記蓄積制御手段に蓄積されているモードを順次取得可能であると共に、当該取得したモードに係る要求に基づいた画像処理が前記残りの画像処理手段の組み合わせによって実行可能でないと判断した場合には、前記蓄積制御手段に蓄積されている次の要求に係るモードを取得し当該取得したモードに係る要求に基づいた画像処理が前記残りの画像処理手段の組み合わせによって実行可能であるか否かを判断することを特徴とするものである。 In order to achieve the above object, the invention according to claim 2 is the image processing apparatus according to claim 1, further comprising an accumulation control means for accumulating a mode according to the request from the outside, The acquisition / release control unit can sequentially acquire the modes stored in the storage control unit when acquiring the predetermined image processing unit to be combined by the image processing combination unit, and also relates to the acquired mode. If it is determined that the image processing based on the request cannot be executed by the combination of the remaining image processing means, the mode related to the next request stored in the storage control means is acquired and the mode related to the acquired mode is acquired. It is determined whether image processing based on the request can be executed by the combination of the remaining image processing means .

また上記目的を達成するために、請求項3記載の発明は、請求項1又は2に記載の画像処理装置において、前記画像処理用組合手段による画像処理手段の組み合わせ処理は、使用する画像処理手段に対して、パラメータの設定を行うと共に、画像処理の処理順を構築することを特徴とするものである。また、請求項4記載の発明は、請求項1乃至3の何れか一項に記載の画像処理装置において、前記複数の画像処理手段のうちで所定の画像処理手段から成るグループにまとめ、前記画像処理用組合手段が、前記グループ単位で組み合わせを行うことを特徴とするものである。また、請求項5記載の発明は、請求項1乃至3の何れか一項に記載の画像処理装置において、前記複数の各々の画像処理手段を画像データの入出力単位として扱い、前記画像処理用組合手段が、前記入出力単位で組み合わせを行うことを特徴とするものである。 In order to achieve the above object, the invention according to claim 3 is the image processing apparatus according to claim 1 or 2, wherein the combination processing of the image processing means by the image processing combination means is an image processing means to be used. On the other hand, it is characterized by setting parameters and constructing the processing order of image processing . According to a fourth aspect of the present invention, in the image processing apparatus according to any one of the first to third aspects, the images are grouped into a group including predetermined image processing means among the plurality of image processing means. The processing combination means performs the combination in units of the groups. According to a fifth aspect of the present invention, in the image processing apparatus according to any one of the first to third aspects, each of the plurality of image processing means is handled as an input / output unit of image data, and The combination means performs the combination in the input / output unit.

また上記目的を達成するために、請求項6記載の発明は、請求項2に記載の画像処理装置において、入力された画像データの蓄積処理を行う画像処理装置において、前記入力された画像データに対して各々所定の蓄積処理を行う複数の画像蓄積手段と、外部からの要求に基づいた蓄積処理を行うために、当該蓄積処理に使用する画像蓄積手段に対して、パラメータの設定を行うと共に、蓄積処理の処理順を構築する蓄積処理用組合手段とを有することを特徴とするものである。 In order to achieve the above object, according to a sixth aspect of the present invention, in the image processing apparatus according to the second aspect, the input image data is stored in the image processing apparatus for storing the input image data. On the other hand, in order to perform a storage process based on a request from the outside and a plurality of image storage units each performing a predetermined storage process, parameters are set for the image storage unit used for the storage process, And a storage processing combination means for constructing the processing order of the storage processing.

また上記目的を達成するために、請求項7記載の発明は、請求項6に記載の画像処理装置において前記複数の画像蓄積手段のうちで所定の画像蓄積手段から成るグループにまとめ、前記蓄積処理用組合手段が、前記グループ単位で組み合わせを行うことを特徴とするものである。 In order to achieve the above object, according to a seventh aspect of the present invention, there is provided the image processing apparatus according to the sixth aspect, wherein the plurality of image storage means are grouped into a group consisting of predetermined image storage means, and the storage processing is performed. The combination means performs the combination in units of the groups .

また上記目的を達成するために、請求項8記載の発明は、請求項6に記載の画像処理装置において前記複数の各々の画像蓄積手段を画像データの入出力単位として扱い、前記蓄積処理用組合手段が、前記入出力単位で組み合わせを行うことを特徴とするものである。 In order to achieve the above object, according to an eighth aspect of the present invention, in the image processing apparatus according to the sixth aspect, each of the plurality of image storage means is treated as an input / output unit of image data, and the combination for the storage processing is performed. The means performs the combination in the input / output unit .

請求項1、請求項2、請求項3記載の発明によれば、順序型の制御ではなく、機能分割された画像処理手段を組み合わせた制御であるため、機能が複雑になった場合や、入出力を複数同時に行う場合にも、効率的に制御を行うことができる。また、複数の要求を蓄積し制御することができるので、最適な画像処理手段の利用による最適な画像処理を行うことができる。 According to the first , second, and third aspects of the invention, since the control is a combination of the image processing means divided into functions, not the sequential control, the function is complicated or Even when a plurality of outputs are performed simultaneously, the control can be performed efficiently. In addition, since a plurality of requests can be accumulated and controlled, it is possible to perform optimum image processing by using optimum image processing means.

請求項4記載の発明によれば、順序型の制御ではなく、機能分割された画像処理手段をグループ単位に組み合わせた制御であるため、機能が複雑になった場合や、入出力を複数同時に行う場合にも、効率的に制御を行うことができ、さらに簡単に利用、管理ができる。また、複数の要求を蓄積し制御することができるので、最適な画像処理手段グループの利用による最適な画像処理を行うことができる。 According to the fourth aspect of the invention, since the control is not the sequential type control but the function-divided image processing means combined in units of groups, when the function becomes complicated or when a plurality of inputs and outputs are performed simultaneously. Even in this case, control can be performed efficiently, and it can be used and managed more easily. In addition, since a plurality of requests can be accumulated and controlled, optimal image processing can be performed by using an optimal image processing means group.

請求項5記載の発明によれば、順序型の制御ではなく、機能分割された画像処理手段を入出力単位に組み合わせた制御であるため、機能が複雑になった場合や、入出力を複数同時に行う場合にも、効率的に制御を行うことができる。また、複数の要求を蓄積し制御することができるので、最適な画像処理手段の利用による最適な画像処理を行うことができる。 According to the invention described in claim 5 , since the control is not the sequential control but the combination of the function-divided image processing means in the input / output unit, the case where the function becomes complicated or when a plurality of inputs / outputs are performed simultaneously. Also when performing, control can be performed efficiently. In addition, since a plurality of requests can be accumulated and controlled, it is possible to perform optimum image processing by using optimum image processing means.

請求項6記載の発明によれば、順序型の制御ではなく、機能分割された画像蓄積手段を組み合わせた制御であるため、機能が複雑になった場合や、入出力を複数同時に行う場合にも、効率的に制御を行うことができる。 According to the invention described in claim 6 , since the control is not the sequential control but the combination of the function-divided image accumulating means, even when the function becomes complicated or when a plurality of inputs and outputs are performed simultaneously. Can be controlled efficiently.

請求項7記載の発明によれば、順序型の制御ではなく、機能分割された画像蓄積手段をグループ単位に組み合わせた制御であるため、機能が複雑になった場合や、入出力を複数同時に行う場合にも、効率的に制御を行うことができ、さらに簡単に利用、管理ができる。 According to the seventh aspect of the invention, since the control is not a sequential type control but a combination of function-divided image accumulating means in units of groups, when the function becomes complicated or when a plurality of inputs and outputs are performed simultaneously Even in this case, control can be performed efficiently, and it can be used and managed more easily.

請求項8記載の発明によれば、順序型の制御ではなく、機能分割された画像蓄積手段を入出力単位に組み合わせた制御であるため、機能が複雑になった場合や、入出力を複数同時に行う場合にも、効率的に制御を行うことができ、さらに、入出力単位で、接続、非接続の拡張性を保全したまま、画像蓄積手段を管理することができる。 According to the invention described in claim 8 , since the control is not the sequential control but the combination of the function-divided image accumulating means in the input / output unit, the function becomes complicated, or a plurality of inputs / outputs are simultaneously performed. Even when it is performed, control can be performed efficiently, and the image storage means can be managed in input / output units while maintaining the expandability of connection and disconnection.

以下、本発明の実施の形態を添付図面を参照して説明する。図1は本発明の第1の実施の形態を示す画像処理装置のブロック図である。入力手段11は3系統(11−1,11−2,11−3)設けられ、出力手段12は2系統(12−1,12−2)設けられている。画像処理部13は、機能分割された画像処理手段13−1〜13−5を有する。また、要求に対する必要な画像処理手段の組み合わせを行う画像処理用組合手段(以下単に組み合わせ手段と記す)14、組み合わされた画像処理手段13−1〜13−5の取得、解放を制御する取得・解放制御手段15、複数の要求モードを蓄積し制御する蓄積制御手段16を備える。 Embodiments of the present invention will be described below with reference to the accompanying drawings. FIG. 1 is a block diagram of an image processing apparatus showing a first embodiment of the present invention. The input means 11 is provided with three systems (11-1, 11-2, 11-3), and the output means 12 is provided with two systems (12-1, 12-2). The image processing unit 13 includes image processing units 13-1 to 13-5 that are divided into functions. Also, an image processing combination means (hereinafter simply referred to as a combination means) for performing a combination of necessary image processing means in response to a request 14, and acquisition / control for controlling acquisition and release of the combined image processing means 13-1 to 13-5. The release control unit 15 includes an accumulation control unit 16 that accumulates and controls a plurality of request modes.

次にその動作を説明する。設定された要求モードにより、組み合わせ手段14にて、必要な画像処理手段13−1〜13−5の組み立てを行う。例えば、入力手段11−1からの入力画像を画像処理手段13−1,13−2で画像処理し、出力手段12−1に出力するという要求により、画像処理手段13−1,13−2に対し、パラメータの設定を行い、画像信号を順番に流れるように画像パスを組み立てる。   Next, the operation will be described. The combination means 14 assembles the necessary image processing means 13-1 to 13-5 in accordance with the set request mode. For example, in response to a request that the input image from the input unit 11-1 is processed by the image processing units 13-1 and 13-2 and output to the output unit 12-1, the image processing units 13-1 and 13-2 On the other hand, parameters are set and an image path is assembled so that image signals flow in order.

取得・解放制御手段15では、組み合わせ手段14に対して、組み立てられた画像パス上に画像信号が流れていないときに設定を許可する。つまり、前回の要求が画像処理手段13−1か13−2を利用していた場合、その組み立てられた画像パス上を画像信号が流れ終わってから許可される。言い換えれば、流れ終わってから組み立てられた画像処理手段を解放する。   The acquisition / release control means 15 permits the setting to the combination means 14 when no image signal is flowing on the assembled image path. That is, when the previous request uses the image processing means 13-1 or 13-2, the request is permitted after the image signal has finished flowing on the assembled image path. In other words, the image processing means assembled after the flow is released is released.

蓄積制御手段16では、現在処理中の要求モード、次の要求モード、さらに次というように、複数の要求モードを蓄積している。そこで、例えば以下のような制御を行う。
1)ある要求モードが処理中の場合、次からの要求モードを蓄積する。
2)処理中でない場合、次に要求されているモードの取得を取得・解放制御手段15に要求する。その場合、必要な画像処理手段が取得できた場合は、処理を開始する。但し、取得できない場合は、その次に要求されているモードの取得を要求する。
The accumulation control means 16 accumulates a plurality of request modes such as the request mode currently being processed, the next request mode, and the following. Therefore, for example, the following control is performed.
1) When a certain request mode is being processed, the next request mode is stored.
2) If not in process, request the acquisition / release control means 15 to acquire the next requested mode. In this case, if necessary image processing means can be acquired, the processing is started. However, if acquisition is not possible, the acquisition of the next requested mode is requested.

以上のように、要求に必要な画像処理手段にのみパラメータ設定を行い、また画像処理の処理順も要求により制御する。さらにその時点で最適に画像処理手段の取得を行うため、要求者に快適な画像処理装置を提供することができる。   As described above, parameters are set only for the image processing means required for the request, and the processing order of the image processing is controlled according to the request. Furthermore, since the image processing means is optimally acquired at that time, a comfortable image processing apparatus can be provided to the requester.

図2は本発明の第2の実施の形態を示す画像処理装置のブロック図である。入力手段21は3系統(21−1,21−2,21−3)設けられ、出力手段22は2系統(22−1,22−2)設けられている。画像処理部23は、機能分割された画像処理手段23−1〜23−5を有する。また、管理を簡素化するため、図の点線のようにグループ化する。また、要求に対する必要な画像処理手段グループの管理、組み合わせを行う管理・組み合わせ手段24、組み合わされた画像処理手段グループの取得、解放を制御する取得・解放制御手段25、複数の要求モードを蓄積し制御する蓄積制御手段26を備える。   FIG. 2 is a block diagram of an image processing apparatus showing a second embodiment of the present invention. The input means 21 is provided with three systems (21-1, 21-2, 21-3), and the output means 22 is provided with two systems (22-1 and 22-2). The image processing unit 23 includes image processing means 23-1 to 23-5 whose functions are divided. Further, in order to simplify the management, groups are made as shown by dotted lines in the figure. Also, management / combination means 24 for managing and combining required image processing means groups for requests, acquisition / release control means 25 for controlling acquisition and release of combined image processing means groups, and a plurality of request modes are stored. Accumulation control means 26 for controlling is provided.

次にその動作を説明する。設定された要求モードにより、組み合わせ手段24にて、必要な画像処理手段グループの管理、組み立てを行う。例えば、入力手段21−1からの入力画像に対してグループ1の画像処理を行い、出力手段22−1に出力するという要求により、グループ1に属する画像処理手段23−1,23−2に対し、パラメータの設定を行い、グループ間の画像パスを組み立てる。   Next, the operation will be described. The combination means 24 manages and assembles the necessary image processing means groups according to the set request mode. For example, in response to a request to perform group 1 image processing on the input image from the input unit 21-1 and output it to the output unit 22-1, the image processing units 23-1 and 23-2 belonging to the group 1 are requested. Set parameters and assemble image paths between groups.

取得・解放制御手段25では、管理・組み合わせ手段24に対して、組み立てられた画像パス上に画像信号が流れていないときに設定を許可する。つまり、前回の要求がグループ1を利用していた場合、その組み立てられたグループ間の画像パス上を画像信号が流れ終わってから許可される。言い換えれば、流れ終わってから組み立てられた各グループの画像処理手段を解放する。   The acquisition / release control means 25 permits the management / combination means 24 to set when no image signal is flowing on the assembled image path. That is, if the previous request uses group 1, the request is permitted after the image signal has finished flowing on the image path between the assembled groups. In other words, the image processing means of each group assembled after the flow is completed is released.

蓄積制御手段26では、現在処理中の要求モード、次の要求モード、さらに次というように、複数の要求モードを蓄積している。そこで、例えば以下のような制御を行う。
1)ある要求モードが処理中の場合、次からの要求モードを蓄積する。
2)処理中でない場合、次に要求されているモードの取得を取得・解放制御手段25に要求する。その場合、必要な画像処理手段グループが取得できた場合は、処理を開始する。但し、取得できない場合は、その次に要求されているモードの取得を要求する。
The accumulation control means 26 accumulates a plurality of request modes such as the request mode currently being processed, the next request mode, and the following. Therefore, for example, the following control is performed.
1) When a certain request mode is being processed, the next request mode is stored.
2) If not in process, request the acquisition / release control means 25 to acquire the next requested mode. In that case, if the necessary image processing means group can be acquired, the processing is started. However, if acquisition is not possible, the acquisition of the next requested mode is requested.

以上のように、要求に必要な画像処理手段グループにのみパラメータ設定を行い、またグループ間の接続も要求により制御する。さらにその時点で最適に画像処理手段グループの取得を行うため、要求者に快適な画像処理装置を提供することができる。   As described above, the parameter setting is performed only for the image processing means group required for the request, and the connection between the groups is controlled by the request. Further, since the image processing means group is optimally acquired at that time, a comfortable image processing apparatus can be provided to the requester.

図3は本発明の第3の実施の形態を示す画像処理装置のブロック図である。入力手段31は3系統(31−1,31−2,31−3)設けられ、出力手段32は2系統(32−1,32−2)設けられている。画像処理部33は、機能分割された画像処理手段33−1〜33−5を有する。また、管理を簡素化するため、図の点線のように各入出力単位に管理する。また、要求に対する必要な各入出力単位の画像処理手段の管理、組み合わせを行う管理・組み合わせ手段34、組み合わされた画像処理手段の取得、解放を制御する取得・解放制御手段35、複数の要求モードを蓄積し制御する蓄積制御手段36を備える。   FIG. 3 is a block diagram of an image processing apparatus showing a third embodiment of the present invention. The input means 31 is provided with three systems (31-1, 31-2, 31-3), and the output means 32 is provided with two systems (32-1, 32-2). The image processing unit 33 includes image processing units 33-1 to 33-5 that are function-divided. Further, in order to simplify the management, management is performed for each input / output unit as shown by a dotted line in the figure. Also, management / combination means 34 for managing and combining image processing means for each input / output unit required for the request, acquisition / release control means 35 for controlling acquisition and release of the combined image processing means, a plurality of request modes Storage control means 36 for storing and controlling.

次にその動作を説明する。設定された要求モードにより、管理・組み合わせ手段34にて、必要な各入出力単位の画像処理手段の管理、組み立てを行う。例えば、入力手段31−1からの入力画像に対して関連する画像処理を行い、出力手段32−1に出力するという要求により、入力手段31−1と出力手段32−1の管理に属する画像処理手段33−1,33−4に対し、パラメータの設定を行い、入出力間の画像パスを組み立てる。   Next, the operation will be described. In accordance with the set request mode, the management / combination means 34 manages and assembles the necessary image processing means for each input / output unit. For example, image processing belonging to the management of the input unit 31-1 and the output unit 32-1 in response to a request to perform related image processing on the input image from the input unit 31-1 and output to the output unit 32-1. Parameters are set for the means 33-1 and 33-4, and an image path between input and output is assembled.

取得・解放制御手段35では、管理・組み合わせ手段34に対して、組み立てられた画像パス上に画像信号が流れていないときに設定を許可する。つまり、前回の要求が画像処理手段を利用していた場合、その組み立てられた画像パス上を画像信号が流れ終わってから許可される。言い換えれば、流れ終わってから組み立てられた画像処理手段を解放する。   The acquisition / release control means 35 allows the management / combination means 34 to set when no image signal is flowing on the assembled image path. That is, when the previous request uses the image processing means, the request is permitted after the image signal has finished flowing on the assembled image path. In other words, the image processing means assembled after the flow is released is released.

蓄積制御手段36では、現在処理中の要求モード、次の要求モード、さらに次というように、複数の要求モードを蓄積している。そこで、例えば以下のような制御を行う。
1)ある要求モードが処理中の場合、次からの要求モードを蓄積する。
2)処理中でない場合、次に要求されているモードの取得を取得・解放制御手段35に要求する。その場合、必要な画像処理手段が取得できた場合は、処理を開始する。但し、取得できない場合は、その次に要求されているモードの取得を要求する。
The accumulation control means 36 accumulates a plurality of request modes such as the request mode currently being processed, the next request mode, and the following. Therefore, for example, the following control is performed.
1) When a certain request mode is being processed, the next request mode is stored.
2) If not in process, request the acquisition / release control means 35 to acquire the next requested mode. In this case, if necessary image processing means can be acquired, the processing is started. However, if acquisition is not possible, the acquisition of the next requested mode is requested.

以上のように、要求に必要な各入出力の管理する画像処理手段にのみパラメータ設定を行い、また各入出力間の接続も要求により制御する。さらにその時点で最適に画像処理手段の取得を行うため、要求者に快適な画像処理装置を提供することができる。   As described above, parameters are set only for the image processing means that manages each input / output necessary for the request, and the connection between each input / output is controlled by the request. Furthermore, since the image processing means is optimally acquired at that time, a comfortable image processing apparatus can be provided to the requester.

図4は本発明の第4の実施の形態を示す画像処理装置のブロック図である。入力手段41は3系統(41−1,41−2,41−3)設けられ、出力手段42は2系統(42−1,42−2)設けられている。画像蓄積部43は、複数の画像蓄積手段43−1〜43−4を有する。この画像蓄積手段43−1〜43−4は例えば速度に応じて使いわけられた一次記憶装置や二次記憶装置である。また、要求に対する必要な画像蓄積手段の組み合わせを行う組み合わせ手段44を備える。 FIG. 4 is a block diagram of an image processing apparatus showing a fourth embodiment of the present invention. The input means 41 is provided with three systems (41-1, 41-2, 41-3), and the output means 42 is provided with two systems (42-1, 42-2). The image storage unit 43 includes a plurality of image storage units 43-1 to 43-4. The image storage units 43-1 to 43-4 are, for example , primary storage devices or secondary storage devices that are used according to speed . In addition, a combination unit 44 that performs a combination of necessary image storage units in response to the request is provided.

次にその動作を説明する。設定された要求モードにより、組み合わせ手段44にて、必要な画像蓄積手段の組み立てを行う。例えば、入力手段41−1からの入力画像を画像蓄積手段43−1,43−2に蓄積し、また画像蓄積手段43−2に蓄積されている画像を画像蓄積手段43−3から画像出力手段42−1に出力するという要求により、画像蓄積の際に画像蓄積手段43−1,43−2に対し、パラメータの設定を行い、画像信号を前記順番に蓄積するように画像パスを組み立てる。また、蓄積画像の出力の際には、画像蓄積手段43−2,43−3に対し、パラメータの設定を行い、画像信号を前記順番に蓄積復帰するように画像パスを組み立てる。   Next, the operation will be described. The combination means 44 assembles necessary image storage means according to the set request mode. For example, the input image from the input unit 41-1 is stored in the image storage unit 43-1, 43-2, and the image stored in the image storage unit 43-2 is stored in the image storage unit 43-3. In response to a request to output to 42-1, parameters are set for the image storage means 43-1 and 43-2 at the time of image storage, and an image path is assembled so that the image signals are stored in the above order. Further, when the stored image is output, parameters are set for the image storage units 43-2 and 43-3, and an image path is assembled so that the image signals are stored and restored in the above order.

以上のように、要求に対して必要な画像蓄積手段にのみパラメータ設定を行い、また、画像蓄積の処理順も要求に応じて制御する。   As described above, parameters are set only for the image storage means necessary for the request, and the image storage processing order is controlled according to the request.

図5は本発明の第5の実施の形態を示す画像処理装置のブロック図である。入力手段51は3系統(51−1,51−2,51−3)設けられ、出力手段52は2系統(52−1,52−2)設けられている。画像蓄積部53は、複数の画像蓄積手段53−1〜53−4を有する。この画像蓄積手段53−1〜53−4は例えば一次記憶装置や二次記憶装置である。また、管理を簡素化するため、画像蓄積手段を図の点線のようにグループ化する。また、要求に対する必要な画像蓄積手段グループの管理、組み合わせを行う管理・組み合わせ手段54を備える。 FIG. 5 is a block diagram of an image processing apparatus showing a fifth embodiment of the present invention. The input means 51 is provided with three systems (51-1, 51-2, 51-3), and the output means 52 is provided with two systems (52-1, 52-2). The image storage unit 53 includes a plurality of image storage units 53-1 to 53-4. The image storage units 53-1 to 53-4 are, for example, a primary storage device or a secondary storage device. In order to simplify the management, the image storage means are grouped as shown by the dotted line in the figure. Further, a management / combination means 54 for managing and combining necessary image storage means groups for the request is provided.

次にその動作を説明する。設定された要求モードにより、管理・組み合わせ手段54にて、必要な画像蓄積手段グループの管理、組み立てを行う。例えば、入力手段51−1からの入力画像をグループ1の画像蓄積手段53−1,53−2に蓄積し、画像出力手段52−1に出力するという要求により、グループ1に属する画像蓄積手段53−1,53−2に対し、パラメータの設定を行い、グループ間の画像パスを組み立てる。以上のように、要求に対して必要な画像蓄積手段グループにのみパラメータ設定を行い、また、グループ間の接続も要求に応じて制御する。   Next, the operation will be described. The management / combination means 54 manages and assembles the necessary image storage means groups according to the set request mode. For example, in response to a request that the input image from the input unit 51-1 is stored in the image storage units 53-1 and 53-2 of the group 1 and output to the image output unit 52-1, the image storage unit 53 belonging to the group 1. Parameters are set for −1 and 53-2, and image paths between groups are assembled. As described above, parameters are set only for the image storage means group required for the request, and the connection between the groups is controlled according to the request.

図6は本発明の第6の実施の形態を示す画像処理装置のブロック図である。入力手段61は3系統(61−1,61−2,61−3)設けられ、出力手段62は2系統(62−1,62−2)設けられている。画像蓄積部63は、複数の画像蓄積手段63−1〜63−4を有する。この画像蓄積手段63−1〜63−4は例えば一次記憶装置や二次記憶装置である。また、管理を簡素化するため、図の点線のように各入出力単位に管理する(グループ化)。また、要求に対する必要な各入出力単位の画像蓄積手段グループの管理、組み合わせを行う管理・組み合わせ手段64を備える。 FIG. 6 is a block diagram of an image processing apparatus showing a sixth embodiment of the present invention. The input means 61 is provided with three systems (61-1, 61-2, 61-3), and the output means 62 is provided with two systems (62-1, 62-2). The image storage unit 63 includes a plurality of image storage units 63-1 to 63-4. The image storage means 63-1 to 63-4 are, for example, a primary storage device or a secondary storage device. In order to simplify the management, management is performed for each input / output unit (grouping) as shown by the dotted line in the figure. Further, a management / combination means 64 is provided for managing and combining image storage means groups for each input / output unit necessary for the request.

次にその動作を説明する。設定された要求モードにより、管理・組み合わせ手段64にて、必要な各入出力単位の画像蓄積手段の管理、組み立てを行う。例えば、入力手段61−1からの入力画像を、関連する画像蓄積手段に蓄積し、画像出力手段62−1に出力するという要求により、画像入力手段61−1と画像出力手段62−1の管理に属する画像蓄積手段63−1と63−4に対し、パラメータの設定を行い、入出力間の画像パスを組み立てる。以上のように、要求に対して、必要な各入出力単位に管理する画像蓄積手段にのみパラメータ設定を行い、また、各入出力間の接続も要求に応じて制御する。 Next, the operation will be described. The management / combination means 64 manages and assembles the necessary image storage means for each input / output unit according to the set request mode. For example, the management of the image input unit 61-1 and the image output unit 62-1 is performed in response to a request that the input image from the input unit 61-1 is stored in the related image storage unit and output to the image output unit 62-1. Parameters are set for the image storage means 63-1 and 63-4 belonging to, and an image path between input and output is assembled. As described above, in response to a request, parameters are set only in the image storage means managed in each necessary input / output unit, and the connection between the input and output is controlled according to the request.

本発明の第1の実施の形態を示す画像処理装置のブロック図である。1 is a block diagram of an image processing apparatus showing a first embodiment of the present invention. 本発明の第2の実施の形態を示す画像処理装置のブロック図である。It is a block diagram of the image processing apparatus which shows the 2nd Embodiment of this invention. 本発明の第3の実施の形態を示す画像処理装置のブロック図である。It is a block diagram of the image processing apparatus which shows the 3rd Embodiment of this invention. 本発明の第4の実施の形態を示す画像処理装置のブロック図である。It is a block diagram of the image processing apparatus which shows the 4th Embodiment of this invention. 本発明の第5の実施の形態を示す画像処理装置のブロック図である。It is a block diagram of the image processing apparatus which shows the 5th Embodiment of this invention. 本発明の第6の実施の形態を示す画像処理装置のブロック図である。It is a block diagram of the image processing apparatus which shows the 6th Embodiment of this invention. 複数の画像処理手段が順序型に接続される一般的な画像処理装置の一例を示すブロック図である。It is a block diagram showing an example of a general image processing device in which a plurality of image processing means are connected in order. 機能の処理順を変更する場合のブロック図である。It is a block diagram in the case of changing the processing order of functions. 複数の入出力を行う場合のブロック図である。It is a block diagram in the case of performing a plurality of inputs / outputs. 出力を2種類行う場合のブロック図である。It is a block diagram in the case of performing two types of outputs. 複数の画像処理手段が順序型に接続される一般的な画像処理装置の他の例を示すブロック図である。It is a block diagram which shows the other example of the general image processing apparatus with which a some image processing means is connected in order. 蓄積処理AとBを逆にした場合のブロック図である。It is a block diagram at the time of reverse storage process A and B. FIG. 第1の蓄積処理部から第2、第3の蓄積処理部に同時に出力する場合のブロック図である。It is a block diagram in the case of outputting simultaneously from the 1st accumulation | storage process part to the 2nd, 3rd accumulation | storage process part. 第1の蓄積処理部に第3の蓄積処理部から入力が行われる場合のブロック図である。It is a block diagram in case an input is performed from the 3rd accumulation | storage process part to a 1st accumulation | storage process part.

符号の説明Explanation of symbols

11 入力手段
12 出力手段
13 画像処理部
13−1〜13−5 画像処理手段
14 組み合わせ手段
15 取得・解放制御手段
16 蓄積制御手段
21 入力手段
22 出力手段
23 画像処理部
23−1〜23−5 画像処理手段
24 管理・組み合わせ手段
25 取得・解放制御手段
26 蓄積制御手段
31 入力手段
32 出力手段
33 画像処理部
33−1〜33−5 画像処理手段
34 管理・組み合わせ手段
35 取得・解放制御手段
36 蓄積制御手段
41 入力手段
42 出力手段
43 画像蓄積部
43−1〜43−4 画像蓄積手段
44 組み合わせ手段
51 入力手段
52 出力手段
53 画像蓄積部
53−1〜53−4 画像蓄積手段
54 管理・組み合わせ手段
61 入力手段
62 出力手段
63 画像蓄積部
63−1〜63−4 画像蓄積手段
64 管理・組み合わせ手段
DESCRIPTION OF SYMBOLS 11 Input means 12 Output means 13 Image processing parts 13-1 to 13-5 Image processing means 14 Combination means 15 Acquisition / release control means 16 Accumulation control means 21 Input means 22 Output means 23 Image processing parts 23-1 to 23-5 Image processing means 24 Management / combination means 25 Acquisition / release control means 26 Accumulation control means 31 Input means 32 Output means 33 Image processing units 33-1 to 33-5 Image processing means 34 Management / combination means 35 Acquisition / release control means 36 Storage control means 41 Input means 42 Output means 43 Image storage sections 43-1 to 43-4 Image storage means 44 Combination means 51 Input means 52 Output means 53 Image storage sections 53-1 to 53-4 Image storage means 54 Management / combination Means 61 Input means 62 Output means 63 Image storage units 63-1 to 63-4 Image storage means 64 Management / Assembly Combined means

Claims (8)

入力された画像データに対して所定の画像処理を行う画像処理装置において、
前記入力された画像データに対して各々所定の画像処理を行う複数の画像処理手段と、
前記複数の画像処理手段のうちで所定の使用する画像処理手段を組み合わせる画像処理用組合手段と、
外部からの要求に基づいた画像処理を行うために、前記画像処理用組合手段が組み合わせる所定の画像処理手段を取得すると共に、この取得した所定の画像処理手段により前記要求に基づいた画像処理が終了すると、前記組み合わされている所定の画像処理手段を解放する取得・解放制御手段とを有し、更に、
前記取得・解放制御手段は、前記外部からの要求に基づいた画像処理が、前記取得中の画像処理手段以外の残りの画像処理手段の組み合わせによって実行可能であるか否かを判断し、実行可能であると判断した場合には、前記画像処理用組合手段により組み合わせる所定の新たな画像処理手段を取得することを特徴とする画像処理装置。
In an image processing apparatus that performs predetermined image processing on input image data,
A plurality of image processing means for performing predetermined image processing on each of the input image data;
Image processing combination means for combining predetermined image processing means among the plurality of image processing means;
In order to perform image processing based on a request from the outside, a predetermined image processing unit combined by the image processing combination unit is acquired, and image processing based on the request is completed by the acquired predetermined image processing unit Then, it has acquisition / release control means for releasing the predetermined image processing means combined, and further,
The acquisition / release control means determines whether or not image processing based on the external request can be executed by a combination of the remaining image processing means other than the image processing means being acquired. When it is determined that the image processing apparatus is a predetermined new image processing means to be combined by the image processing combination means, an image processing apparatus is obtained.
請求項1に記載の画像処理装置であって、更に、
前記外部からの要求に係るモードを蓄積する蓄積制御手段を有し、
前記取得・解放制御手段は、前記画像処理用組合手段が組み合わせる所定の画像処理手段を取得するにあたって、前記蓄積制御手段に蓄積されているモードを順次取得可能であると共に、当該取得したモードに係る要求に基づいた画像処理が前記残りの画像処理手段の組み合わせによって実行可能でないと判断した場合には、前記蓄積制御手段に蓄積されている次の要求に係るモードを取得し当該取得したモードに係る要求に基づいた画像処理が前記残りの画像処理手段の組み合わせによって実行可能であるか否かを判断することを特徴とする画像処理装置。
The image processing apparatus according to claim 1, further comprising:
Storing control means for storing a mode according to the request from the outside;
The acquisition / release control unit can sequentially acquire the modes stored in the storage control unit when acquiring the predetermined image processing unit to be combined by the image processing combination unit, and also relates to the acquired mode. If it is determined that the image processing based on the request cannot be executed by the combination of the remaining image processing means, the mode related to the next request stored in the storage control means is acquired and the mode related to the acquired mode is acquired. An image processing apparatus for determining whether image processing based on a request can be executed by a combination of the remaining image processing means.
前記画像処理用組合手段による画像処理手段の組み合わせ処理は、使用する画像処理手段に対して、パラメータの設定を行うと共に、画像処理の処理順を構築することを特徴とする請求項1又は2に記載の画像処理装置。   The combination processing of the image processing means by the image processing combination means sets the parameters for the image processing means to be used and constructs the processing order of the image processing. The image processing apparatus described. 前記複数の画像処理手段のうちで所定の画像処理手段から成るグループにまとめ、前記画像処理用組合手段が、前記グループ単位で組み合わせを行うことを特徴とする請求項1乃至3の何れか一項に記載の画像処理装置。   4. The image processing unit is grouped into a group of predetermined image processing units among the plurality of image processing units, and the image processing combination unit performs combination in units of groups. An image processing apparatus according to 1. 前記複数の各々の画像処理手段を画像データの入出力単位として扱い、前記画像処理用組合手段が、前記入出力単位で組み合わせを行うことを特徴とする請求項1乃至3の何れか一項に記載の画像処理装置。   The plurality of image processing units are treated as input / output units of image data, and the image processing combination unit performs combination in the input / output units. The image processing apparatus described. 入力された画像データの蓄積処理を行う画像処理装置において、
前記入力された画像データに対して各々所定の蓄積処理を行う複数の画像蓄積手段と、
外部からの要求に基づいた蓄積処理を行うために、当該蓄積処理に使用する画像蓄積手段に対して、パラメータの設定を行うと共に、蓄積処理の処理順を構築する蓄積処理用組合手段とを有することを特徴とする請求項2に記載の画像処理装置。
In an image processing apparatus that performs storage processing of input image data,
A plurality of image storage means each for performing a predetermined storage process on the input image data;
In order to perform a storage process based on a request from the outside, the image storage means used for the storage process has a parameter setting and a storage processing combination means for constructing the processing order of the storage processes. The image processing apparatus according to claim 2 .
前記複数の画像蓄積手段のうちで所定の画像蓄積手段から成るグループにまとめ、前記蓄積処理用組合手段が、前記グループ単位で組み合わせを行うことを特徴とする請求項6に記載の画像処理装置。   The image processing apparatus according to claim 6, wherein the plurality of image storage units are grouped into a group including predetermined image storage units, and the storage processing combination unit performs combination in units of the groups. 前記複数の各々の画像蓄積手段を画像データの入出力単位として扱い、前記蓄積処理用組合手段が、前記入出力単位で組み合わせを行うことを特徴とする請求項6に記載の画像処理装置。   7. The image processing apparatus according to claim 6, wherein each of the plurality of image storage units is handled as an input / output unit of image data, and the storage processing combination unit performs the combination in the input / output unit.
JP2005093212A 1998-03-05 2005-03-28 Image processing device Expired - Lifetime JP4127836B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005093212A JP4127836B2 (en) 1998-03-05 2005-03-28 Image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP7138198 1998-03-05
JP2005093212A JP4127836B2 (en) 1998-03-05 2005-03-28 Image processing device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP10228680A Division JPH11316830A (en) 1998-03-05 1998-07-29 Picture processor

Publications (2)

Publication Number Publication Date
JP2005190500A JP2005190500A (en) 2005-07-14
JP4127836B2 true JP4127836B2 (en) 2008-07-30

Family

ID=34796893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005093212A Expired - Lifetime JP4127836B2 (en) 1998-03-05 2005-03-28 Image processing device

Country Status (1)

Country Link
JP (1) JP4127836B2 (en)

Also Published As

Publication number Publication date
JP2005190500A (en) 2005-07-14

Similar Documents

Publication Publication Date Title
US11461617B2 (en) Neural network device
US5898826A (en) Method and apparatus for deadlock-free routing around an unusable routing component in an N-dimensional network
US7599087B2 (en) Method and apparatus for image processing, and a computer product
JP2007115252A (en) NoC ROUTER AND NI EMPLOYING AXI, AND NoC SYSTEM AND ITS INTERLEAVING METHOD
EP1650667A2 (en) Apparatus for controlling a multi-processor system, scalable node, scalable multi-processor system, and method of controlling a multi-processor system
JP4127836B2 (en) Image processing device
JP2011151786A (en) Data processing apparatus and method of controlling the same
JP5460281B2 (en) IMAGING DEVICE, LENS DEVICE, CONTROL METHOD THEREOF, AND PROGRAM
US20090158285A1 (en) Apparatus and method for controlling resource sharing schedule in multi-decoding system
WO2002007408A1 (en) Communication control method and device
JP3581419B2 (en) Data driven information processor
JP2007013697A (en) Image receiver and image receiving method
JP6139857B2 (en) Data processing apparatus, input control apparatus, and control method
JP2013196509A (en) Information processor and control method of the same
EP0932322A2 (en) ATM layer device controlling method and ATM layer device
JP2005085079A (en) Data transfer controller
US6271938B1 (en) Image processing device
US6807594B1 (en) Randomized arbiters for eliminating congestion
JP3747020B2 (en) Crossbar mediation system
US20240028386A1 (en) Deep neural network (dnn) compute loading and traffic-aware power management for multi-core artificial intelligence (ai) processing system
JP3643219B2 (en) Image processing device
JPH11289452A (en) Image processor
JP2002337400A (en) Image processor
JP2011065343A (en) Image data processing apparatus
JP2000354142A (en) Image storage device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050425

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080512

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140523

Year of fee payment: 6

EXPY Cancellation because of completion of term