JP4581763B2 - Image input device and image evaluation device - Google Patents

Image input device and image evaluation device Download PDF

Info

Publication number
JP4581763B2
JP4581763B2 JP2005071753A JP2005071753A JP4581763B2 JP 4581763 B2 JP4581763 B2 JP 4581763B2 JP 2005071753 A JP2005071753 A JP 2005071753A JP 2005071753 A JP2005071753 A JP 2005071753A JP 4581763 B2 JP4581763 B2 JP 4581763B2
Authority
JP
Japan
Prior art keywords
image
evaluation
light
distance
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005071753A
Other languages
Japanese (ja)
Other versions
JP2006254373A (en
Inventor
純 安部
義彦 酒井
剛 齋藤
千絵 照井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2005071753A priority Critical patent/JP4581763B2/en
Publication of JP2006254373A publication Critical patent/JP2006254373A/en
Application granted granted Critical
Publication of JP4581763B2 publication Critical patent/JP4581763B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Input (AREA)
  • Facsimiles In General (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Analysis (AREA)

Description

本発明は2次元画像を評価するための画像入力装置およびこれを用いた画像評価装置に関し、特にモノクロコピーやカラーハードコピー等の画像出力装置などによって出力されたモノクロ画像やカラー画像情報を評価するための画像入力装置およびこれを用いた画像評価装置に関する。   The present invention relates to an image input apparatus for evaluating a two-dimensional image and an image evaluation apparatus using the same, and in particular, evaluates a monochrome image and color image information output by an image output apparatus such as a monochrome copy or a color hard copy. The present invention relates to an image input apparatus and an image evaluation apparatus using the same.

画像品質を評価する場合、人間が感じる画像品質の程度を数量化する心理評価と画像自体の持つ物理特性を測定機により評価する物理特性とがある。心理評価は製品の最終検査などに広く用いられているが、検査者が異なったり、検査者の疲労などによって検査結果が変化するなどの欠点がある。   When evaluating image quality, there are psychological evaluation for quantifying the degree of image quality perceived by humans and physical characteristics for evaluating physical characteristics of the image itself with a measuring machine. Psychological evaluation is widely used for final inspections of products, but has disadvantages such as different inspectors and changes in test results due to fatigue of the inspectors.

一方、画像品質の評価法としては、たとえば特許文献1に記載された画像評価方法および装置がある。この画像評価装置は、2次元的な位置情報と光学的情報を含む被画像情報を色彩情報に変換し、その変換された2次元情報を周波数解析により2次元空間周波数情報に変換し、2次元空間周波数情報を1次元化した後、人間の視覚の空間周波数特性に対応した補正を加えるものであり、濃度(明度)情報だけでなく色彩情報である彩度情報、色相情報も検出することができる。   On the other hand, as an image quality evaluation method, for example, there is an image evaluation method and apparatus described in Patent Document 1. This image evaluation apparatus converts image information including two-dimensional position information and optical information into color information, and converts the converted two-dimensional information into two-dimensional spatial frequency information by frequency analysis. After the spatial frequency information is made one-dimensional, correction corresponding to the spatial frequency characteristic of human vision is applied, and not only density (lightness) information but also saturation information and hue information as color information can be detected. it can.

従来はフォトマルや分光フィルター等を用いて検査画像の画像情報を定量化していたが、測定時間を要するために最近ではラインセンサーやエリアセンサーを用いて画像情報を定量化する方法が考案されている。   Conventionally, the image information of the inspection image was quantified using a photomultiplier, a spectral filter, etc., but since a measurement time is required, a method for quantifying the image information using a line sensor or an area sensor has been devised recently. Yes.

近年の画像出力装置の高画質化に伴い、画像評価を行う際の撮像解像度も高解像度が要求されている。評価画像を高解像度に撮像するためには高解像度レンズを用いるが、レンズの高解像度化に伴って、焦点深度が浅くなるという欠点があり、十分な光学調整を実施しないと所詮撮像像ぼけが生じてしまうという問題があった。たとえば、画質測定装置は高解像度で画像を観察するため、微小面積をCCD等を用いて画像信号に変換しているが、一例として光学分解能として10μmを有する場合、レンズにて10μm角の面積がCCDの1画素に結像するよう構成されており、10μm角の面積に十分な解像度で撮像するためレンズの焦点深度が浅く、測定対象とレンズ間の距離を一定に保持する必要があった。   With the recent improvement in image quality of image output devices, high resolution is also required for imaging resolution when performing image evaluation. A high-resolution lens is used to capture the evaluation image at a high resolution. However, there is a disadvantage that the depth of focus becomes shallow as the resolution of the lens increases, and if the optical adjustment is not performed properly, the captured image will be blurred. There was a problem that it would occur. For example, in order to observe an image with high resolution, an image quality measuring device converts a minute area into an image signal using a CCD or the like. As an example, when an optical resolution is 10 μm, the lens has an area of 10 μm square. An image is formed on one pixel of a CCD, and the lens has a shallow depth of focus in order to capture an image with a sufficient resolution in an area of 10 μm square, and the distance between the measurement target and the lens needs to be kept constant.

これに対し評価画像との距離を計測しフィードバックを行う方法がある。たとえば評価画像にレーザー光を照射し、反射光の受光位置の変化やレーザー光の位相差やレーザー光の反射時間等々方法を用いて評価画像との距離を測定することは可能である。たとえばスキャナにおいては高MTF特性にて撮像するため、原稿台に置かれた原稿との距離を測定し、その測定結果に応じて焦点調整を行う方法が提案されている(例えば、特許文献2参照)。   On the other hand, there is a method of measuring the distance from the evaluation image and performing feedback. For example, it is possible to irradiate the evaluation image with laser light and measure the distance from the evaluation image using a method such as a change in the light receiving position of the reflected light, a phase difference of the laser light, or a reflection time of the laser light. For example, in order to capture an image with high MTF characteristics in a scanner, a method has been proposed in which a distance from a document placed on a document table is measured and focus adjustment is performed according to the measurement result (see, for example, Patent Document 2). ).

しかしながら画像評価装置では評価画像を高解像・高階調にて撮像する必要があるため撮像素子の1画素に評価画像からの反射光が所望の光量必要となり、微小領域においても十分な光量を与えるためには評価画像の照明を行う光源には大光量が要求される。このため評価画像の照明下において、レーザーを用いた距離測定を行うと照明光が外乱となり距離測定が不安定となることがある。   However, since the image evaluation apparatus needs to capture the evaluation image with high resolution and high gradation, a desired amount of reflected light from the evaluation image is required for one pixel of the image sensor, and a sufficient amount of light is given even in a minute region. Therefore, a large amount of light is required for the light source that illuminates the evaluation image. For this reason, when distance measurement using a laser is performed under illumination of an evaluation image, illumination light may be disturbed and distance measurement may become unstable.

この現象の発生頻度は評価画像の内容にも依存している。すなわち評価画像内の高濃度画像等の特異な部分が存在するが、たとえば高濃度部分はからレーザー反射光が少ないため距離計測の誤検知が発生しやすくなったり、評価画像の凹凸や評価画像に付着したごみ等により距離センシングエラーが発するという問題があった。この現象について図7を用いて説明する。   The frequency of occurrence of this phenomenon also depends on the contents of the evaluation image. In other words, there are unique parts such as high-density images in the evaluation image.For example, the high-density part is less likely to cause false detection of distance measurement due to less laser reflected light, There was a problem that a distance sensing error occurred due to attached dust or the like. This phenomenon will be described with reference to FIG.

まず図7aに画像評価に用いられる評価画像の全体図の一例を示す。画像評価には線画像品質や面画像品質の画像測定を行うため、各種の評価画像206が配置されている。図7bに図7aの部分拡大図を示す。評価画像206までの距離を発光素子208と受光素子209を用いて三角測量方式にて距離測定する際に、レーザー光が評価画像の濃度の濃い部分の測定を行う場合には、レーザー光の反射光が少なくなる。一方評価画像には、評価画像を微細な面積毎に撮像素子で量子化するために強い照明光が照射されており、照明光の反射光も距離測定用の受光素子209に入射しているため、受光素子209として受光位置検出のためにもうけられたCCD上の光強度分布はレーザー光以外に照明光の入射しレーザー光の反射光の受光位置を正確に算出できなくなる。   First, FIG. 7a shows an example of an overall view of an evaluation image used for image evaluation. In the image evaluation, various evaluation images 206 are arranged in order to perform image measurement of line image quality and surface image quality. FIG. 7b shows a partially enlarged view of FIG. 7a. When the distance to the evaluation image 206 is measured by the triangulation method using the light emitting element 208 and the light receiving element 209, the laser light is reflected when the dark portion of the evaluation image is measured. Less light. On the other hand, the evaluation image is irradiated with strong illumination light in order to quantize the evaluation image for each fine area by the image sensor, and the reflected light of the illumination light is also incident on the light receiving element 209 for distance measurement. The light intensity distribution on the CCD provided for detecting the light receiving position as the light receiving element 209 cannot accurately calculate the light receiving position of the reflected light of the laser light when the illumination light is incident in addition to the laser light.

これに対し、図7cに示すように受光素子209の前面にはレーザー光の波長のみを透過させる狭帯域干渉フィルター210等を設けて照明光による外乱を抑える方法が一般的に用いられるが、照明光の強度が強く、画像評価に使用する照明光自体にレーザー光の波長を含まれている場合には、照明光が干渉フィルター210を透過するため効果が限定されてしまいレーザー光の受光位置を正確に算出することが不可能となる。勿論、受光素子209の感度・積分時間変更やレーザー強度・照射時間変更等の距離測定系の発光・受光部分にて検出レベルを上げる方法も知られているが、確実な距離検出には至らない。すなわち、距離測定に用いるレーザー光の評価画像からの反射光よりも照明光の強度が大きい場合には距離測定が不安定となる。   On the other hand, as shown in FIG. 7c, a method of suppressing disturbance caused by illumination light by providing a narrowband interference filter 210 or the like that transmits only the wavelength of laser light on the front surface of the light receiving element 209 is generally used. When the intensity of light is high and the wavelength of the laser light is included in the illumination light itself used for image evaluation, the effect is limited because the illumination light passes through the interference filter 210, and the laser light receiving position is determined. It becomes impossible to calculate accurately. Of course, there is also known a method of increasing the detection level at the light emitting / receiving portion of the distance measuring system such as the sensitivity / integration time change of the light receiving element 209 or the laser intensity / irradiation time change, but it does not lead to reliable distance detection. . That is, the distance measurement becomes unstable when the intensity of the illumination light is larger than the reflected light from the evaluation image of the laser light used for the distance measurement.

上述した問題は、一例として三角測量方式での説明を行ったが、三角測量方式に限定して発生する問題ではなく、レーザー光の位相差やレーザー光の反射時間等々方法を用いた方法でも発生することは言うまでも無く、レーザー光を用いる距離計測法すべてで起こりうる問題である。この問題に対してはシリンドリカルレンズやロッドレンズ等のレーザーラインジェネレーターを使用して距離計測用のレーザー光をライン状に変換して距離測定を行う反射面積を広げて照射し反射光をシリンドリカルレンズ等を用いて受光素子上に結像させることで反射光の弱い部分と強い部分等を平滑化が行われ、その受光位置変化から測定する方法が提案されている。   The above-mentioned problem has been described with the triangulation method as an example, but it is not a problem that occurs only in the triangulation method, but also with a method using a method such as a phase difference of laser light or a reflection time of laser light. Needless to say, this is a problem that can occur in all distance measurement methods using laser light. To solve this problem, a laser line generator such as a cylindrical lens or a rod lens is used to convert the laser light for distance measurement into a line shape and expand the reflection area for distance measurement to irradiate the reflected light with a cylindrical lens, etc. A method has been proposed in which an image is formed on a light receiving element by using a light to smooth a weak portion and a strong portion of reflected light, and measure from the change in the light receiving position.

シリンドリカルレンズ等を用いてレーザー光をライン状に変換する例を図8aに示す。半導体レーザー208からのレーザー光をシリンドリカルレンズ212等のレーザーラインジェネレーターを用いてレーザー光をライン状に変換し距離測定を行う評価画像に照射する。評価画像からのライン状反射光はシリンドリカルレンズ212に入射し、受光素子209であるCCD素子面上に結像し、図示しない制御回路を用いて反射光位置が算出され反射光位置から三角測量方式を用いて距離が算出される。   FIG. 8a shows an example in which laser light is converted into a line shape using a cylindrical lens or the like. The laser beam from the semiconductor laser 208 is converted into a line shape using a laser line generator such as a cylindrical lens 212 and irradiated to an evaluation image for distance measurement. The linear reflected light from the evaluation image enters the cylindrical lens 212, forms an image on the surface of the CCD element that is the light receiving element 209, the reflected light position is calculated using a control circuit (not shown), and the triangulation method is performed from the reflected light position. Is used to calculate the distance.

しかしながら、レーザー放射角に限界があるため評価画像内の撮像画像と比較すると小さく、特にライン画像評価等を行うときにレーザーラインジェネレーターで変換した方向と評価を行うラインの角度が合致した場合にはまったく効果が得られない。さらにレーザー光をライン状に変換しているので評価画像の所望領域の平滑化が可能となり距離計測安定性に対しては効果があるが、評価画像の単位面積あたりのレーザー強度は低下しているため反射光そのままでは反射光強度が少なく外乱に対して弱い、また反射光をシリンドリカルレンズ等を用いて集光させても外乱も集光されてしまうためやはり効果が得られない。もちろん外乱光となる照明光を評価画像に照射しない状態で距離計測を行いその距離計測結果を記憶手段に保存しておき、その結果に基づいて画像評価を行うことが考えられるが画像評価時間を非常に要するという問題がある。   However, because the laser radiation angle is limited, it is smaller than the captured image in the evaluation image. Especially when the line image evaluation direction matches the direction converted by the laser line generator when performing line image evaluation etc. There is no effect at all. Furthermore, since the laser light is converted into a line shape, the desired area of the evaluation image can be smoothed, which is effective for distance measurement stability, but the laser intensity per unit area of the evaluation image is reduced. For this reason, if the reflected light is used as it is, the reflected light intensity is small and weak against disturbance, and even if the reflected light is collected using a cylindrical lens or the like, the disturbance is also collected, so that no effect is obtained. Of course, it is possible to measure the distance without illuminating the evaluation image with the illuminating light as disturbance light, save the distance measurement result in the storage means, and perform the image evaluation based on the result. There is a problem that it takes very much.

また図8bに示す通り、レーザーをライン状に変換する代わりに複数の半導体レーザー208とレーザーと対を成す受光素子209を設けることで多点距離計測を行うことも可能であるが、装置自体が高価なものとなり実用上問題がある。ここでレーザー光をビームスプリッタ等でスプリットして用いることも考えられるが、上述した理由によりレーザー光強度が低下するため照明光の外乱の影響をうけてしまう、また受光素子209を大面積なCCDを用いることでCCD点数を減らすことは可能であるが、大面積CCDは高価であるためコスト的な問題が残る。   In addition, as shown in FIG. 8b, it is possible to perform multipoint distance measurement by providing a plurality of semiconductor lasers 208 and a light receiving element 209 paired with a laser instead of converting the laser into a line shape. It becomes expensive and has practical problems. Although it is conceivable to split the laser beam with a beam splitter or the like here, the intensity of the laser beam is lowered for the above-described reason, and therefore the influence of the disturbance of the illumination beam is caused. Although it is possible to reduce the number of CCDs by using, large area CCDs are expensive, and thus cost problems remain.

本発明の目的は、評価画像の表面状態や評価画像照明光等の外乱が存在する場合でも、評価画像と撮像装置との距離計測を安定して行い焦点調整が可能な画像入力装置およびこれを用いた画像評価装置を提供することを目的とする。
特開平5 −284260号公報 特開平4 − 56564号公報
An object of the present invention is to provide an image input device capable of adjusting the focus by stably measuring the distance between the evaluation image and the imaging device even when there is a disturbance such as the surface state of the evaluation image or the evaluation image illumination light. An object of the present invention is to provide a used image evaluation apparatus.
JP-A-5-284260 JP-A-4-56564

本発明は上記事実を考慮し、評価画像の表面状態や評価画像照明光等の外乱が存在する場合でも、評価画像と撮像装置との距離計測を安定して行い焦点調整が可能な画像入力装置およびこれを用いた画像評価装置を提供することを目的とする。   In consideration of the above-described facts, the present invention provides an image input device capable of performing focus adjustment by stably measuring the distance between an evaluation image and an imaging device even when there is a disturbance such as a surface state of the evaluation image or evaluation image illumination light. It is another object of the present invention to provide an image evaluation apparatus using the same.

請求項1に記載の画像入力装置は、被撮像物を撮像する撮像手段と、前記被撮像物を照明する照明手段と、前記被撮像物と前記撮像手段との距離を計測する距離計測手段と、前記距離計測手段の計測結果に基づいて前記撮像手段の焦点距離を調節する焦点距離調節手段と、を有する画像入力装置であって、前記距離計測手段は前記被撮像物にレーザー光を二次元的に走査するレーザー光走査手段と、前記被撮像物で拡散反射したレーザー光を受光する受光手段と、を備え、前記受光手段上における受光位置情報から前記被撮像物の表面までの距離を測定することを特徴とする。 The image input apparatus according to claim 1, an imaging unit that captures an object to be imaged, an illuminating unit that illuminates the object to be imaged, and a distance measuring unit that measures a distance between the object to be imaged and the imaging unit. A focal length adjusting unit that adjusts a focal length of the imaging unit based on a measurement result of the distance measuring unit, wherein the distance measuring unit applies a two-dimensional laser beam to the object to be imaged. A laser beam scanning unit that scans automatically, and a light receiving unit that receives laser light diffusely reflected by the object to be imaged, and measures the distance from the light receiving position information on the light receiving unit to the surface of the object to be imaged It is characterized by doing.

上記構成の発明では、測距に用いるレーザ光で撮像対象を二次元に走査することで撮像対象の内容によらず確実な距離計測が可能となり、鮮明な画像による撮像が可能となる。   In the invention having the above-described configuration, the object to be imaged is two-dimensionally scanned with the laser beam used for distance measurement, so that reliable distance measurement can be performed regardless of the contents of the object to be imaged, and a clear image can be captured.

請求項2に記載の画像入力装置は、前記被撮像物は評価画像であることを特徴とする。   The image input apparatus according to claim 2, wherein the object to be imaged is an evaluation image.

上記構成の発明では、測距に用いるレーザ光を二次元に走査することで評価画像の内容によらず確実な距離計測が可能となり、画像評価に必要な鮮明な画像による撮像が可能となる。   In the invention with the above-described configuration, it is possible to reliably measure the distance regardless of the contents of the evaluation image by scanning the laser beam used for distance measurement two-dimensionally, and it is possible to capture a clear image necessary for image evaluation.

請求項3に記載の画像入力装置は、前記受光手段の受光素子はCCD素子であることを特徴とする。   According to a third aspect of the present invention, the light receiving element of the light receiving means is a CCD element.

上記構成の発明では、受光手段に一般的なCCDを用いることで、高精度で低コストな画像入力装置とすることができる。   In the invention having the above-described configuration, a general CCD can be used as the light receiving unit, whereby an image input apparatus with high accuracy and low cost can be obtained.

請求項4に記載の画像入力装置は、前記受光手段の受光素子は光位置検出素子であることを特徴とする。   According to a fourth aspect of the present invention, the light receiving element of the light receiving means is an optical position detecting element.

上記構成の発明では、受光素子に光位置検出素子を用いることで、位置分解能、応答性に優れた高精度な画像入力装置とすることができる。   In the invention with the above configuration, by using the optical position detection element as the light receiving element, it is possible to obtain a highly accurate image input device having excellent position resolution and responsiveness.

請求項5に記載の画像入力装置は、前記レーザー光走査手段は、レーザー光を発するレーザー光源と、ポリゴンミラーを用いたことを特徴とする。 The image input device according to claim 5 is characterized in that the laser beam scanning means uses a laser light source that emits laser light and a polygon mirror .

上記構成の発明では、ポリゴンミラーを用いてレーザー光を偏向することで、通常のレーザー光源を使用して確実な距離計測が可能となり、画像評価に必要な鮮明な画像による撮像が可能となる。 In the invention having the above configuration, by deflecting the laser beam using the polygon mirror, it is possible to perform reliable distance measurement using a normal laser light source, and it is possible to capture a clear image necessary for image evaluation.

請求項6に記載の画像入力装置は、前記レーザー光走査手段は、面発光レーザーであることを特徴とする。 The image input apparatus according to a sixth aspect is characterized in that the laser beam scanning means is a surface emitting laser.

上記構成の発明では、面発光レーザーを用いることで偏向装置を不要とし、簡単な構成で確実な距離計測が可能となり、鮮明な画像による撮像が可能となる。   In the invention with the above configuration, the use of a surface emitting laser eliminates the need for a deflecting device, enables reliable distance measurement with a simple configuration, and enables imaging with a clear image.

請求項7に記載の画像評価装置は、請求項1〜請求項6の何れか1項に記載の画像入力装置を用いて鮮鋭性、粒状性、および階調性の何れかあるいは複数の項目について評価画像の評価を行うことを特徴とする。 In the first aspect 7, the sharpness by using the image input apparatus according to any one of claims 1 to 6, graininess, and for any or a plurality of items of gradation The evaluation image is evaluated .

上記構成の発明では、測距に用いるレーザ光にて評価画像を二次元的に走査することで評価画像の内容によらず確実な距離計測が可能となり、画像評価に必要な鮮明な画像による撮像が可能となる。   In the invention with the above-described configuration, the evaluation image is two-dimensionally scanned with the laser beam used for distance measurement, thereby enabling reliable distance measurement regardless of the content of the evaluation image, and taking a clear image necessary for image evaluation. Is possible.

本発明は上記構成としたので、評価画像の表面状態や評価画像照明光等の外乱が存在する場合でも、評価画像と撮像装置との距離計測を安定して行い焦点調整が可能な画像入力装置およびこれを用いた画像評価装置とすることができた。   Since the present invention has the above-described configuration, an image input device capable of stably adjusting the focus by stably measuring the distance between the evaluation image and the imaging device even in the presence of disturbance such as the surface state of the evaluation image or the evaluation image illumination light. And an image evaluation apparatus using the same.

以下、図面に基づき本発明に係る画像評価装置について説明する。   Hereinafter, an image evaluation apparatus according to the present invention will be described with reference to the drawings.

<第1の実施の形態>
図1には本発明の第1実施形態に係る画像評価装置のハード構成例を示すブロック図が示されている。
<First Embodiment>
FIG. 1 is a block diagram showing a hardware configuration example of an image evaluation apparatus according to the first embodiment of the present invention.

本実施形態の画像評価装置10は、図1に示すように、駆動装置11(請求項1に記載の「焦点距離調節手段」に相当)と、照明装置12(請求項1に記載の「照明手段」に相当)と、距離測定装置13(請求項1に記載の「距離計測手段」に相当)と、撮像素子21とレンズ22からなる撮像装置14(請求項1に記載の「撮像手段」に相当)と、制御装置15と、演算装置16から構成され、評価画像25の撮像、評価を行う。駆動装置11は撮像装置14と評価画像25との相対位置関係を変化させ、照明装置12は評価画像を所望の照度で照明するものである。撮像装置14は撮像素子21を含み評価画像25等の撮像を行う。距離測定装置13は評価画像25と撮像装置14等の距離の測定を行うものである。制御装置15は演算装置16の結果に基づき、駆動装置11および照明装置12および撮像装置13の制御を行い、特に距離測定装置13の測定結果から駆動装置11を駆動させ撮像装置14での評価画像25の撮像時に撮像装置14の焦点距離を測定結果と等しくなるように焦点調整をおこなうものである。 As shown in FIG. 1, the image evaluation apparatus 10 according to the present embodiment includes a drive device 11 (corresponding to “focal length adjusting unit” according to claim 1 ) and an illumination device 12 (with “illumination according to claim 1”). Means ” , a distance measuring device 13 (corresponding to“ distance measuring means ”described in claim 1), and an imaging device 14 including an imaging element 21 and a lens 22 (“ imaging means ”described in claim 1). and equivalent) to performs a control device 15 is constituted from the arithmetic unit 16, imaging evaluation image 25, the evaluation. The drive device 11 changes the relative positional relationship between the imaging device 14 and the evaluation image 25, and the illumination device 12 illuminates the evaluation image with a desired illuminance. The imaging device 14 includes an imaging element 21 and captures an evaluation image 25 and the like. The distance measuring device 13 measures the distance between the evaluation image 25 and the imaging device 14 and the like. The control device 15 controls the drive device 11, the illumination device 12, and the imaging device 13 based on the result of the arithmetic device 16, and in particular, drives the drive device 11 from the measurement result of the distance measurement device 13 and evaluates the evaluation image in the imaging device 14. The focus adjustment is performed so that the focal length of the imaging device 14 becomes equal to the measurement result at the time of 25 imaging.

次に、以上のように構成した本実施形態の画像評価装置の作用について、図2に示すフロー図を用いて説明する。   Next, the operation of the image evaluation apparatus of the present embodiment configured as described above will be described with reference to the flowchart shown in FIG.

初めにステップS101では、画像評価装置10内部での位置関係を把握するため画像評価装置をイニシャライズし原点復帰を行う。次にステップS102では評価画像25の画像入力に必要な光量を得るために照明装置12が点灯する。次にステップS103では、照明装置12の光量安定後に撮像素子21のゲイン調整を行うため予め設けられた白基準版や遮光状態信号等の入力を行う。   First, in step S101, the image evaluation apparatus is initialized and the origin is returned to grasp the positional relationship within the image evaluation apparatus 10. Next, in step S102, the illumination device 12 is turned on in order to obtain a light amount necessary for image input of the evaluation image 25. Next, in step S103, a white reference plate, a light shielding state signal, and the like that are provided in advance to perform gain adjustment of the image sensor 21 after the light amount of the illumination device 12 is stabilized are input.

次にステップS104では、ステップS103で得られた結果を基に撮像素子21のシェーディング補正係数等を決定する。シェーディング補正方法については、様々な補正方法が一般的に知られているための詳細説明は省略するが、特に限定しないシェーディング補正により撮像素子21の補正係数等が決定される。次にステップS105では、評価画像25をステージ23に配置しステージ213を一方向に駆動する。次にステップS106では、評価画像25までの距離を2次元情報で取り込みを行う。   In step S104, the shading correction coefficient of the image sensor 21 is determined based on the result obtained in step S103. The shading correction method is not described in detail because various correction methods are generally known, but the correction coefficient of the image sensor 21 is determined by shading correction that is not particularly limited. In step S105, the evaluation image 25 is placed on the stage 23 and the stage 213 is driven in one direction. Next, in step S106, the distance to the evaluation image 25 is captured using two-dimensional information.

次にステップS107では、1次元ラインセンサである撮像素子21で画像を取り込むため、結像されている位置までの距離をステップS106の結果から2次元位置情報の補間により算出する。補間法についての詳細説明については省くが、スプライン等の一般的に知られている補間法を用いればよく、特に補間方法は限定されるものではない。   Next, in step S107, in order to capture an image with the image sensor 21 that is a one-dimensional line sensor, the distance to the imaged position is calculated from the result of step S106 by interpolation of two-dimensional position information. Although a detailed description of the interpolation method is omitted, a generally known interpolation method such as a spline may be used, and the interpolation method is not particularly limited.

次にステップS108では、ステップS107で補間により求めた距離測定結果に基づき焦点距離調節手段で焦点距離調節を行う。次にステップS109では、ステージ23を駆動する駆動装置11と連動するリニアスケールからの信号を入力し、ステージ23が撮像素子21で撮像する場所まで移動したか否かの判定を行い、撮像位置に至っていない場合には撮像位置に至るまで更にステージ23を駆動する。 Next, in step S108, the focal length adjustment unit performs focal length adjustment based on the distance measurement result obtained by interpolation in step S107. Next, in step S109, a signal from a linear scale that is linked to the driving device 11 that drives the stage 23 is input, and it is determined whether or not the stage 23 has moved to the location where the image sensor 21 captures an image. If not, the stage 23 is further driven until the imaging position is reached.

本実施形態ではステージ23に併設されたリニアスケールからの信号よりステージ23の位置の検出を行い、撮像位置か否かの判定を行っているが、信号処理速度やステージ23駆動時の安定性を考慮して、リニアスケールの信号と非同期でステージ駆動速度から撮像タイミングを算出しても良い。   In this embodiment, the position of the stage 23 is detected from a signal from a linear scale provided along with the stage 23 to determine whether or not it is an imaging position. However, the signal processing speed and the stability during driving of the stage 23 are determined. In consideration, the imaging timing may be calculated from the stage drive speed asynchronously with the linear scale signal.

次にステップS110では、評価画像25の撮像を行う。次にステップS111では、ステップS104で算出したシェーディング補正係数により、撮像して取り込んだ画像信号の補正を行う。本実施形態においてはシェーディング補正をステップS110の次に行っているが、処理速度が追従しない等の場合には評価画像データすべてを取り込んだ後にシェーディング補正を行っても良い。   Next, in step S110, the evaluation image 25 is captured. Next, in step S111, the image signal captured by image capturing is corrected using the shading correction coefficient calculated in step S104. In this embodiment, the shading correction is performed after step S110. However, when the processing speed does not follow, the shading correction may be performed after all the evaluation image data is captured.

次にステップS112では、評価画像25の所望領域すべての撮像が終了したか否かの判定を行い、終了していない場合にはステップS105に戻り、終了するまで評価画像25の撮像を継続する。次にステップS113では、照明装置12をOFFする。   Next, in step S112, it is determined whether or not imaging of all desired regions of the evaluation image 25 has been completed. If not completed, the process returns to step S105, and imaging of the evaluation image 25 is continued until completion. Next, in step S113, the illumination device 12 is turned off.

次にステップS114では、撮像した画像の評価を行う。評価方法の詳細については省略するが、例えば先鋭性、粒状性、階調性等の評価を行う。画像評価項目、評価アルゴリズム等に関する詳細説明は省くが、一般的な画像評価アルゴリズムを用いればよく、特に画像評価方法、内容に関して限定されない。   Next, in step S114, the captured image is evaluated. Although details of the evaluation method are omitted, for example, sharpness, graininess, gradation, and the like are evaluated. Although detailed description regarding image evaluation items, evaluation algorithms, and the like is omitted, a general image evaluation algorithm may be used, and the image evaluation method and contents are not particularly limited.

次にステップS115では画像評価結果の保存を行う。ここで評価結果以外に評価画像25の撮像データや撮像日時等の項目も付随して保存しても良い。   In step S115, the image evaluation result is stored. Here, in addition to the evaluation result, items such as the imaging data of the evaluation image 25 and the imaging date and time may be stored together.

図3には本実施形態に係る画像評価装置の構成が示されている。   FIG. 3 shows the configuration of the image evaluation apparatus according to this embodiment.

図3に示すように画像評価装置10は原稿台23の上に評価画像25を配置し、照明装置12aおよび12bで評価画像25の照明を行い、反射光をレンズ22を介して撮像素子21に結像させ、評価画像25を撮像する構成となっている。   As shown in FIG. 3, the image evaluation apparatus 10 arranges the evaluation image 25 on the document table 23, illuminates the evaluation image 25 with the illumination devices 12 a and 12 b, and reflects the reflected light to the image sensor 21 via the lens 22. An image is formed and an evaluation image 25 is captured.

撮像素子21はラインCCDであるため、撮像素子21、レンズ22、照明装置12aおよび12bをラインCCDのCCD配列とは略垂直方向(図中矢印)に駆動しながら評価画像の撮像を行い、所望の領域の撮像が終了するまで撮像を繰り返す。このとき、前述のように距離測定装置13にて測距を行う。   Since the image pickup device 21 is a line CCD, an evaluation image is picked up while the image pickup device 21, the lens 22, and the illumination devices 12a and 12b are driven in a direction substantially perpendicular to the CCD arrangement of the line CCD (arrow in the figure). The imaging is repeated until the imaging of the area is completed. At this time, distance measurement is performed by the distance measuring device 13 as described above.

図4には本実施形態に係る距離測定装置の詳細が示されている。   FIG. 4 shows details of the distance measuring apparatus according to this embodiment.

図4に示すように半導体レーザー28から照射されたレーザー光はポリゴンミラー20により2次元の面状に偏向されたのち評価画像に照射され、その反射光を2次元CCDである受光素子29で受光する。   As shown in FIG. 4, the laser light emitted from the semiconductor laser 28 is deflected into a two-dimensional surface by the polygon mirror 20 and then irradiated onto the evaluation image, and the reflected light is received by the light receiving element 29 which is a two-dimensional CCD. To do.

このとき図示しない制御回路を用いて受光素子29上での反射光位置が算出され、反射光位置から三角測量方式を用いて評価画像25までの距離が算出される。算出結果に基づいて図示しない焦点距離調節手段により撮影時の焦点距離が適正に保持される。 At this time, a reflected light position on the light receiving element 29 is calculated using a control circuit (not shown), and a distance from the reflected light position to the evaluation image 25 is calculated using a triangulation method. Based on the calculation result, the focal length at the time of shooting is properly maintained by the focal length adjusting means ( not shown).

ここでポリゴンミラーによる2次元面へのレーザー照射方法について図5aを用いて説明する。   Here, a laser irradiation method to a two-dimensional surface by a polygon mirror will be described with reference to FIG.

図5には本実施形態に係る距離測定方法が示されている。   FIG. 5 shows a distance measuring method according to this embodiment.

図5に示すようにポリゴンミラー20の回転に伴いレーザー光Lは評価画像25の所望の領域を2次元で走査するように、ポリゴンミラー20のミラー面20aには面倒れや面ゆがみを意図的に設けてある。これによりポリゴンミラー20の回転に伴いレーザー光Lを距離測定が必要な範囲内に二次元的に照射することが可能となり、距離測定が不安定な部分を避けて距離測定が可能となる。   As shown in FIG. 5, the mirror surface 20a of the polygon mirror 20 is intentionally tilted or distorted so that the laser beam L scans a desired region of the evaluation image 25 two-dimensionally as the polygon mirror 20 rotates. Is provided. As a result, the laser beam L can be two-dimensionally irradiated within the range where distance measurement is required as the polygon mirror 20 rotates, and distance measurement can be performed while avoiding unstable portions of distance measurement.

図5bに評価画像25上へのレーザー光の軌跡を示す。ここではレーザー光Lの軌跡の一例として、4面ミラーによるレーザー光Lの軌跡の一例を示す。ポリゴンミラー20のミラー面20aにより反射されたレーザー光Lは図5bに示すように評価画像25の表面内を縦横に照射することで、評価画像を2次元で照射している。   FIG. 5 b shows the locus of laser light on the evaluation image 25. Here, as an example of the trajectory of the laser beam L, an example of the trajectory of the laser beam L by a four-sided mirror is shown. The laser beam L reflected by the mirror surface 20a of the polygon mirror 20 irradiates the evaluation image two-dimensionally by irradiating the surface of the evaluation image 25 vertically and horizontally as shown in FIG. 5b.

2次元面に照射したレーザー光Lを受光することで評価画像25の距離計測を2次元で行うことが可能となり、評価画像25内の高濃度部分や埃等の外乱に影響を受けずに確実に評価画像25と撮像装置14等の距離を測定することが可能となる。またレーザー光Lをスプリットやライン状に変換していないため、十分なレーザー強度を確保することが可能となり照明光等の外乱が存在する環境下でも安定した距離計測が可能となる。   By receiving the laser beam L irradiated on the two-dimensional surface, it is possible to measure the distance of the evaluation image 25 in two dimensions, and it is possible to reliably perform the measurement without being affected by disturbances such as a high density portion or dust in the evaluation image 25. In addition, the distance between the evaluation image 25 and the imaging device 14 can be measured. Further, since the laser light L is not converted into splits or lines, sufficient laser intensity can be secured, and stable distance measurement can be performed even in an environment where disturbance such as illumination light exists.

上記実施例ではポリゴンミラー20からのレーザー光Lを直接評価画像25に照射したが、より正確な距離測定を行うためにポリゴンミラー20通過後にレーザー光Lをコリメータレンズ等によりコリメートしても良い。また上記実施例ではレーザー光Lの2次元面への照射方法としてミラー面20aを歪めたポリゴンミラー20を用いたが、レーザ光Lの偏向方法はポリゴンミラー20に限定されるものではなく、例えばガルバノミラーを用いても良いし、半導体レーザー自体を圧電素子等の振動装置で2次元に振動させてもよく、レーザー光の変更方法について限定するものではないことは言うまでも無い。   In the embodiment described above, the laser light L from the polygon mirror 20 is directly applied to the evaluation image 25. However, the laser light L may be collimated by a collimator lens or the like after passing through the polygon mirror 20 in order to perform more accurate distance measurement. In the above embodiment, the polygon mirror 20 having the distorted mirror surface 20a is used as a method of irradiating the two-dimensional surface of the laser beam L. However, the deflection method of the laser beam L is not limited to the polygon mirror 20, and for example, Needless to say, a galvanometer mirror may be used, or the semiconductor laser itself may be two-dimensionally vibrated by a vibration device such as a piezoelectric element, and the method of changing the laser beam is not limited.

<第2の実施の形態>
本発明に係る第2の実施について、図6を用いて説明する。
<Second Embodiment>
A second embodiment according to the present invention will be described with reference to FIG.

図6には本発明の第2実施形態に係る距離測定装置が示されている。   FIG. 6 shows a distance measuring device according to the second embodiment of the present invention.

本実施形態では評価画像25との距離測定用の半導体レーザーとして面発光レーザー35を用いている。一例として100x100の2次元アレイから構成される面発光レーザー35からのレーザ光Lを評価画像25に照射し、その反射光を受光素子29で受光し、レーザー光Lの受光位置の算出結果から評価画像25までの距離計測を行い、第1の実施例同等に撮像系の焦点制御を実施している。   In the present embodiment, a surface emitting laser 35 is used as a semiconductor laser for measuring the distance from the evaluation image 25. As an example, the evaluation image 25 is irradiated with laser light L from a surface-emitting laser 35 constituted by a 100 × 100 two-dimensional array, the reflected light is received by a light receiving element 29, and evaluation is performed from the calculation result of the light receiving position of the laser light L. The distance to the image 25 is measured, and the focus control of the image pickup system is performed as in the first embodiment.

これにより評価画像25の2次元面に照射したレーザー光Lを受光することで評価画像25までの距離計測を2次元で行うことが可能となり、評価画像25内の高濃度部分や埃等の外乱に影響を受けずに確実に評価画像25と撮像装置14等の距離を測定することが可能となる。   As a result, by receiving the laser beam L irradiated to the two-dimensional surface of the evaluation image 25, it becomes possible to measure the distance to the evaluation image 25 in two dimensions, and disturbances such as high-density portions and dust in the evaluation image 25 Thus, the distance between the evaluation image 25 and the imaging device 14 can be reliably measured without being affected by the above.

以上説明したように、本発明の各実施形態に係る画像評価装置によれば、照明光強度や評価画像部分の濃度や評価画像の凹凸や評価画像に付着したごみ等の外乱が存在しても、評価画像との距離を正確に測定することが可能となり、焦点のあった鮮明な画像を撮像することが可能となる。   As described above, according to the image evaluation apparatus according to each embodiment of the present invention, even if there is a disturbance such as illumination light intensity, density of the evaluation image portion, unevenness of the evaluation image, dust attached to the evaluation image, etc. Therefore, it is possible to accurately measure the distance from the evaluation image, and it is possible to capture a clear and focused image.

本発明の第1実施形態例に係る画像評価装置のハード構成例を示すブロック図である。It is a block diagram which shows the hardware structural example of the image evaluation apparatus which concerns on the 1st Example of this invention. 本発明の第1実施形態例に係る画像評価装置の処理フローチャートである。It is a process flowchart of the image evaluation apparatus which concerns on the example of 1st Embodiment of this invention. 本発明の第1実施形態例に係る画像評価装置の構成を示す斜視図である。It is a perspective view which shows the structure of the image evaluation apparatus which concerns on the 1st Example of this invention. 本発明の第1実施形態例に係る距離測定装置の構成を示す斜視図である。It is a perspective view which shows the structure of the distance measuring device which concerns on the example of 1st Embodiment of this invention. 本発明の第1実施形態例に係る距離測定装置の動作を示す図である。It is a figure which shows operation | movement of the distance measuring device which concerns on the example of 1st Embodiment of this invention. 本発明の第2実施形態例に係る距離測定装置の構成を示す斜視図である。It is a perspective view which shows the structure of the distance measuring device which concerns on 2nd Example of this invention. 従来の距離測定装置の動作を示す図である。It is a figure which shows operation | movement of the conventional distance measuring apparatus. 従来の距離測定装置の動作を示す図である。It is a figure which shows operation | movement of the conventional distance measuring apparatus.

符号の説明Explanation of symbols

10 画像評価装置
11 駆動装置
12 照明装置
13 距離測定装置
14 撮像装置
15 制御装置
16 演算装置
20 ポリゴンミラー
21 撮像素子
22 レンズ
23 ステージ
25 評価画像
28 半導体レーザー
29 受光素子
35 面発光レーザー
DESCRIPTION OF SYMBOLS 10 Image evaluation apparatus 11 Drive apparatus 12 Illumination apparatus 13 Distance measuring apparatus 14 Imaging apparatus 15 Control apparatus 16 Arithmetic apparatus 20 Polygon mirror 21 Imaging element 22 Lens 23 Stage 25 Evaluation image 28 Semiconductor laser 29 Light receiving element 35 Surface emitting laser

Claims (7)

被撮像物を撮像する撮像手段と、
前記被撮像物を照明する照明手段と、
前記被撮像物と前記撮像手段との距離を計測する距離計測手段と、
前記距離計測手段の計測結果に基づいて前記撮像手段の焦点距離を前記計測結果と等しくなるように調節する焦点距離調節手段と、を有する画像入力装置であって、
前記距離計測手段は前記被撮像物にレーザー光を二次元的に走査するレーザー光走査手段と、
前記被撮像物で拡散反射したレーザー光を受光する受光手段と、を備え、
前記受光手段上における受光位置情報から前記被撮像物の表面までの距離を測定することを特徴とする画像入力装置。
Imaging means for imaging an object to be imaged;
Illumination means for illuminating the object to be imaged;
Distance measuring means for measuring the distance between the object to be imaged and the imaging means;
A focal length adjusting unit that adjusts a focal length of the imaging unit to be equal to the measurement result based on a measurement result of the distance measuring unit;
The distance measuring means is a laser light scanning means for two-dimensionally scanning the object to be imaged with laser light;
Light receiving means for receiving laser light diffusely reflected by the object to be imaged, and
An image input apparatus for measuring a distance from light receiving position information on the light receiving means to a surface of the object to be imaged.
前記被撮像物は評価画像であることを特徴とする請求項1に記載の画像入力装置。   The image input apparatus according to claim 1, wherein the imaged object is an evaluation image. 前記受光手段の受光素子はCCD素子であることを特徴とする請求項1乃至請求項2の何れかに記載の画像入力装置。   3. The image input device according to claim 1, wherein the light receiving element of the light receiving means is a CCD element. 前記受光手段の受光素子は光位置検出素子であることを特徴とする請求項1乃至請求項2の何れかに記載の画像入力装置。   3. The image input device according to claim 1, wherein the light receiving element of the light receiving means is an optical position detecting element. 前記レーザー光走査手段は、レーザー光を発するレーザー光源と、ポリゴンミラーを用いたことを特徴とする請求項1〜請求項4の何れか1項に記載の画像入力装置。   5. The image input apparatus according to claim 1, wherein the laser light scanning unit uses a laser light source that emits laser light and a polygon mirror. 6. 前記レーザー光走査手段は、面発光レーザーであることを特徴とする請求項1〜請求項5の何れか1項に記載の画像入力装置。   6. The image input device according to claim 1, wherein the laser beam scanning unit is a surface emitting laser. 請求項1〜請求項6の何れかに記載の画像入力装置を用いて鮮鋭性、粒状性、および階調性の何れかあるいは複数の項目について評価画像の評価を行う画像評価装置。   An image evaluation apparatus that evaluates an evaluation image for any one or a plurality of items of sharpness, graininess, and gradation using the image input apparatus according to claim 1.
JP2005071753A 2005-03-14 2005-03-14 Image input device and image evaluation device Expired - Fee Related JP4581763B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005071753A JP4581763B2 (en) 2005-03-14 2005-03-14 Image input device and image evaluation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005071753A JP4581763B2 (en) 2005-03-14 2005-03-14 Image input device and image evaluation device

Publications (2)

Publication Number Publication Date
JP2006254373A JP2006254373A (en) 2006-09-21
JP4581763B2 true JP4581763B2 (en) 2010-11-17

Family

ID=37094329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005071753A Expired - Fee Related JP4581763B2 (en) 2005-03-14 2005-03-14 Image input device and image evaluation device

Country Status (1)

Country Link
JP (1) JP4581763B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157227A (en) * 1999-11-24 2001-06-08 Asahi Optical Co Ltd Three-dimensional image input device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157227A (en) * 1999-11-24 2001-06-08 Asahi Optical Co Ltd Three-dimensional image input device

Also Published As

Publication number Publication date
JP2006254373A (en) 2006-09-21

Similar Documents

Publication Publication Date Title
JP5341351B2 (en) Measuring apparatus and method based on basic principle of confocal microscope system
KR102408322B1 (en) Auto-Focus system
US9618329B2 (en) Optical inspection probe
JP4485904B2 (en) Inspection apparatus and inspection method
JP6550470B2 (en) Runtime alignment system and method for spot scanning wafer inspection system
EP2993463B1 (en) Fluorescence imaging autofocus systems and methods
US9885673B2 (en) Method and apparatus for detecting defect in transparent body
CN106546333B (en) High dynamic range infrared imaging spectrometer
JP4680640B2 (en) Image input apparatus and image input method
JP4581763B2 (en) Image input device and image evaluation device
JPWO2010143375A1 (en) Microscope device and control program
CN109693035B (en) Control device for laser processing machine, laser processing method, and laser processing machine
JP2008164459A (en) Recording medium determining device
WO2023276326A1 (en) Optical image processing method, machine learning method, trained model, machine learning preprocessing method, optical image processing module, optical image processing program, and optical image processing system
KR102082556B1 (en) Imaging plate scanner
JP2008256483A (en) Shape measuring system
KR20060082204A (en) Optical coherent tomography system and method for compensating effect of penetration and focal spot characteristics
JP2005291720A (en) Fluorescent detecting device, and contrasting density information correcting method and program
US10587771B2 (en) Scanner and scanner data generating method
US10247660B2 (en) Laser displacement meter and laser ultrasonic inspection apparatus using the same
JP2021189143A (en) Three-dimensional measuring machine and data processing device
JP2005106831A (en) Light beam diagnostic device and method therefor
JP4266286B2 (en) Distance information acquisition device and distance information acquisition method
JP2006003168A (en) Measurement method for surface shape and device therefor
KR20100034901A (en) Scanner, method for compensating image of the same and image forming apparatus employing the scanner

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100816

R150 Certificate of patent or registration of utility model

Ref document number: 4581763

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130910

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees