JP5123509B2 - Measurement region setting device, measurement region setting method, and spectroscopic measurement device - Google Patents
Measurement region setting device, measurement region setting method, and spectroscopic measurement device Download PDFInfo
- Publication number
- JP5123509B2 JP5123509B2 JP2006264930A JP2006264930A JP5123509B2 JP 5123509 B2 JP5123509 B2 JP 5123509B2 JP 2006264930 A JP2006264930 A JP 2006264930A JP 2006264930 A JP2006264930 A JP 2006264930A JP 5123509 B2 JP5123509 B2 JP 5123509B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- area
- color
- region
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Spectrometry And Color Measurement (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
Description
本発明は、FPD(Flat Panel Display)やPDP(Plasma
Display Panel)に使用されるカラーフィルタ等における微小なセルの分光透過率および分光反射率等の「色」に関する測定時に用いられる測定領域設定装置、測定領域設定方法および分光測定装置に関するものである。
The present invention is based on FPD (Flat Panel Display) and PDP (Plasma).
The present invention relates to a measurement region setting device, a measurement region setting method, and a spectroscopic measurement device used at the time of measurement related to “color” such as spectral transmittance and spectral reflectance of a minute cell in a color filter or the like used in a display panel.
従来、被測定対象の「色」に関する測定を行う場合に、その測定領域をどこにすればよいかを決めることは正確な測定値を得る上で重要である。
測定領域を決定する方法として、例えば、特許文献1および特許文献2に記載された方法が知られている。
Conventionally, when measuring the “color” of an object to be measured, deciding where the measurement area should be is important for obtaining an accurate measurement value.
As a method for determining a measurement region, for example, methods described in
特許文献1の方法は、カラー共焦点顕微鏡から得られる3次元画像の測定領域を決定する方法であって、操作者から指定された「色」に関する情報と同一の情報を有する領域を測定領域として決定している。
また、特許文献2の方法は、メタリック塗装を施された被測定対象の「色」を測定する際の領域として、被測定対象となる領域全体の中で、測定したい部分に透光膜を設置することで、透光膜上の色だけを正確に測定することを可能にしている。
Moreover, the method of
しかしながら、これらの特許文献1,2に開示されている方法では、測定領域を自動的に設定することが困難である。
特に、測定しようとする「色」を有する領域が複雑な形状を有している場合に、測定領域に他の色を有する領域が含まれる場合があり、正確な測定結果を得ることができないという不都合がある。
However, with the methods disclosed in these
In particular, if the area that has the “color” to be measured has a complex shape, the measurement area may include areas having other colors, and accurate measurement results cannot be obtained. There is an inconvenience.
本発明は上述した事情に鑑みてなされたものであって、被測定対象の色領域が複雑な形状をしている場合においても、他の色を含まないように、正確に測定領域を設定することができる測定領域設定装置、測定領域設定方法および分光測定装置を提供することを目的としている。 The present invention has been made in view of the above-described circumstances, and even when the color region to be measured has a complicated shape, the measurement region is accurately set so as not to include other colors. An object of the present invention is to provide a measurement region setting device, a measurement region setting method, and a spectroscopic measurement device.
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、被測定対象のカラー画像から指定された色を有する色領域を抽出する色領域抽出部と、該色領域抽出部により抽出された前記色領域の特徴量を抽出する色領域特徴抽出部と、該色領域特徴抽出部により抽出された特徴量に基づき、前記色領域から測定領域を決定するための探索領域を抽出する探索領域抽出部と、該探索領域抽出部により抽出された探索領域の中から測定領域を決定する測定領域決定部とを有し、前記測定領域決定部は、前記探索領域を予め設定された測定領域サイズに基づいて複数の情報演算領域に分割し、指定された色を含まない情報演算領域を除外した残りの各情報演算領域に関して前記指定された色に関する標準偏差を算出し、該標準偏差が最小となる前記情報演算領域を前記測定領域として決定する測定領域設定装置を提供する。
In order to achieve the above object, the present invention provides the following means.
The present invention provides a color area extraction unit that extracts a color area having a specified color from a color image to be measured, and a color area feature extraction that extracts a feature amount of the color area extracted by the color area extraction unit. A search area extraction unit for extracting a search area for determining a measurement area from the color area based on the feature amount extracted by the color area feature extraction unit, and a search extracted by the search area extraction unit have a measurement region determination unit for determining a measuring area from the region, the measurement region determining unit divides a plurality of information calculation area on the basis of the previously set measurement area size the search area, designated measurements to calculate the remaining standard deviation for the specified color for each information calculation region, determines the information operation area in which the standard deviation is minimized as the measurement region excluding the information operation area which does not include the color To provide a frequency setting device.
上記発明においては、前記色領域特徴抽出部により抽出する特徴量が、前記色領域の重心、色領域の外接矩形上の任意の点の位置および色領域の面積の内、1以上を含むこととしてもよい。
また、上記発明においては、前記探索領域は、前記カラー画像の中心と、前記色領域の重心または外接矩形上の任意の点との距離が最小になる領域であることとしてもよい。
In the above invention, the feature amount extracted by the color region feature extraction unit includes one or more of the center of gravity of the color region, the position of an arbitrary point on the circumscribed rectangle of the color region, and the area of the color region. Also good.
In the invention described above, the search area may be an area where the distance between the center of the color image and a center of the color area or an arbitrary point on a circumscribed rectangle is minimized.
また、上記発明においては、前記探索領域は、前記色領域の面積が最大となる領域であることとしてもよい。 In the invention described above, the search area may be an area where the area of the color area is maximized.
また、上記発明においては、前記色領域抽出部が、前記カラー画像に含まれる情報の内、少なくとも色相情報に基づき前記色領域を抽出することとしてもよい。
また、上記発明においては、前記色情報抽出部が、前記カラー画像を色別に表される色別画像に分割し、前記指定された色に基づき必要とされる前記色別画像を選択し、選択された前記色別画像の輝度に基づき前記色領域を抽出することとしてもよい。
Moreover, in the said invention, the said color area extraction part is good also as extracting the said color area based on at least hue information among the information contained in the said color image.
In the above invention, the color information extraction unit divides the color image into color-specific images represented by colors, selects the color-specific images required based on the specified colors, and selects The color area may be extracted based on the luminance of the color-specific image.
また、上記発明においては、前記探索領域内における前記測定領域の相対位置情報を記憶する相対測定位置記憶部を備え、前記測定領域決定部が、前記相対測定位置記憶部に記憶されている前記測定位置の相対位置情報を用いて測定領域を決定することとしてもよい。 Further, in the above invention, a relative measurement position storage unit that stores relative position information of the measurement region in the search region is provided, and the measurement region determination unit is stored in the relative measurement position storage unit. The measurement area may be determined using the relative position information of the position.
また、上記発明においては、前記相対測定位置記憶部が、前記探索領域の面積情報を記憶し、前記測定領域決定部は、前記相対測定位置記憶部に記憶されている前回の面積情報と今回の面積情報との差が所定値以下の場合に、前記相対位置情報を用いて測定領域を決定することとしてもよい。 In the above invention, the relative measurement position storage unit stores area information of the search region, and the measurement region determination unit includes the previous area information stored in the relative measurement position storage unit and the current area information. When the difference from the area information is equal to or less than a predetermined value, the measurement region may be determined using the relative position information.
また、上記発明においては、前記面積情報が、探索領域の面積、探索領域の幅および高さの内の少なくとも1つであることとしてもよい。
また、上記発明においては、前記相対測定位置記憶部が、前記探索領域の画像情報を記憶し、前記測定領域決定部は、前記相対測定位置記憶部に記憶されている前回の画像情報と今回の画像情報とのパターンマッチング処理を行い、パターンマッチングの一致度を示す評価値が所定値以上である場合に、前記相対位置情報を用いて測定領域を決定することとしてもよい。
In the above invention, the area information may be at least one of the area of the search region, the width and the height of the search region.
In the above invention, the relative measurement position storage unit stores image information of the search area, and the measurement area determination unit stores the previous image information stored in the relative measurement position storage unit and the current image information. Pattern matching processing with image information is performed, and when the evaluation value indicating the degree of matching of pattern matching is a predetermined value or more, the measurement area may be determined using the relative position information.
また、本発明は、被測定対象のカラー画像の画像処理により測定領域を設定する方法であって、カラー画像から指定された色を示す色領域を抽出し、抽出された前記色領域の特徴量を抽出し、抽出された特徴量に基づき、前記色領域から測定領域を決定するための探索領域を抽出し、探索領域を予め設定された測定領域サイズに基づいて複数の情報演算領域に分割し、指定された色を含まない情報演算領域を除外した残りの各情報演算領域に関して前記指定された色に関する標準偏差を算出し、該標準偏差が最小となる前記情報演算領域を前記測定領域として決定する測定領域設定方法を提供する。 The present invention is also a method for setting a measurement region by image processing of a color image to be measured, wherein a color region indicating a specified color is extracted from the color image, and the extracted feature value of the color region And extracting a search area for determining a measurement area from the color area based on the extracted feature amount, and dividing the search area into a plurality of information calculation areas based on a predetermined measurement area size. Calculating the standard deviation for the designated color for each remaining information computation area excluding the information computation area not including the designated color, and determining the information computation area that minimizes the standard deviation as the measurement area A measurement area setting method is provided.
また、本発明は、被測定対象のカラー画像を取得する画像取得部と、上記いずれかの測定領域設定装置と、該測定領域設定装置により算出された測定領域における分光透過率または分光反射率を算出する分光測定部とを備える分光測定装置を提供する。 In addition, the present invention provides an image acquisition unit that acquires a color image of a measurement target, any one of the measurement region setting devices described above, and spectral transmittance or reflectance in the measurement region calculated by the measurement region setting device. A spectroscopic measurement device including a spectroscopic measurement unit for calculation is provided.
本発明によれば、被測定対象の色領域が複雑な形状をしている場合においても、他の色を含まないように、正確に測定領域を設定することができるという効果を奏する。 According to the present invention, even when the color region to be measured has a complicated shape, the measurement region can be accurately set so as not to include other colors.
本発明の第1の実施形態に係る測定領域設定装置1および分光測定装置2について図1〜図6を参照して説明する。
本実施形態に係る測定領域設定装置1は図1〜図6に示される分光測定装置2に備えられている。
A measurement region setting
A measurement
本実施形態に係る分光測定装置2は、カラーフィルタA(被測定対象)を搭載するステージ3と、該ステージ3に設けられたレール4に沿ってX方向に直線移動可能な門型フレーム5と、該門型フレーム5に固定されたレール11に沿って、前記カラーフィルタAの下方でY方向に直線移動可能な透過照明系6と、門型フレーム5に固定された図示しないレールに沿って、カラーフィルタAの上方でY方向に直線移動可能な顕微鏡ヘッド7と、該顕微鏡ヘッド7に備えられた撮像装置8により取得されたカラー画像を処理して測定領域を設定する測定領域設定装置(画像処理部)1と、該測定領域設定装置1により設定された測定領域に基づいてカラーフィルタAと顕微鏡ヘッド7の光軸とのずれ量を検出するずれ量検出部9と、該ずれ量検出部9により検出されたずれ量に基づいて、門型フレーム5、透過照明系6および顕微鏡ヘッド7を移動させる駆動制御部10とを備えている。
また、分光測定装置2は、測定領域設定装置1により設定された測定領域についての分光透過率を演算する図示しない分光演算装置を備えている。
The
The
前記透過照明系6は、門型フレーム5に固定されたレール11に沿って移動可能なスライダ12上を備えた追従移動機構13に取り付けられている。追従移動機構13は、カラーフィルタAの上方における顕微鏡ヘッド7のY方向への移動に追従して、透過照明系6を移動させることができるようになっている。
The transmitted
また、スライダ12上には、顕微鏡ヘッド7をカラーフィルタAの1画素(測定領域)に対応する位置に位置決めしたときに、撮像装置8により取得された画像データに基づいて測定領域と透過照明系6によるスポット照明光との位置ずれを補正するためのXYテーブル14が備えられている。すなわち、XYテーブル14は、前記駆動制御部10の作動により駆動されることにより、顕微鏡ヘッド7に設けられている対物レンズ15の光軸に対して透過照明系6の光軸を一致させるように透過照明系6を移動させるようになっている。
On the
前記測定領域設定装置1は、図2に示されるように、撮像装置8から送られてくるカラー画像情報aa、分光演算装置から入力されるユーザ指定の測定色情報bb、および測定領域の大きさを表す測定領域サイズ情報ccを入力され、測定領域位置情報hhを出力する装置であって、前処理部19と、測定色領域抽出部20と、測定色領域特徴抽出部21と、測定色探索領域抽出部22と、測定領域決定部23とを備えている。
As shown in FIG. 2, the measurement
前記前処理部19は、撮像装置8からのカラー画像情報aaを受け取って記憶し、必要に応じてシェーディング補正や歪補正等の補正処理を施すようになっている。
前記測定色領域抽出部20は、前処理部19から入力された補正処理後のカラー画像情報ddと分光演算装置から入力された測定色情報bbとに基づいて、カラー画像情報ddの内、測定色情報bbと略一致する色情報を有する領域を抽出するようになっている。
The preprocessing
The measurement color
測定色情報bbとしては、カラー画像情報aaからHSL変換により得られる色相Hu、彩度Sa、輝度Luである。色相Huは角度(0°≦Hu<360°)、彩度Saは百分率(0%≦Sa≦100%)、輝度Luは画像の階調(0≦Lu≦255)でそれぞれ表される。 The measurement color information bb is a hue Hu, saturation Sa, and luminance Lu obtained from the color image information aa by HSL conversion. Hue Hu is expressed as an angle (0 ° ≦ Hu <360 °), saturation Sa is expressed as a percentage (0% ≦ Sa ≦ 100%), and luminance Lu is expressed as an image gradation (0 ≦ Lu ≦ 255).
前記測定色領域特徴抽出部21は、測定色領域抽出部20から測定色領域の画像情報eeを入力され、該測定色領域に関する情報として、測定色領域の面積、重心位置座標、外接矩形座標等の特徴情報ffを算出して出力するようになっている。
前記測定色探索領域抽出部22は、測定色領域抽出部20から出力された測定色領域の画像情報eeと、測定色領域特徴抽出部21から出力された特徴情報ffとに基づいて、測定領域位置情報hhを探索するための探索領域を抽出し、探索領域情報ggを出力するようになっている。
The measurement color region
The measurement color search
前記測定領域決定部23は、測定色領域を示す画像情報ee、探索領域情報ggおよび測定領域サイズ情報ccを入力され、探索領域情報gg上に位置する画像情報が測定領域サイズ情報ccと同じ大きさで配置される測定領域位置情報hhの位置を決定し、出力するようになっている。
The measurement
このように構成された本実施形態に係る測定領域設定装置1の作用について説明する。
まず、図3に示されるように、前記前処理部19において、撮像装置8から入力されたカラー画像情報aaが前処理され(S101)、測定色領域抽出部20において指定された色に関する測定色領域が抽出される(S102)。
The operation of the measurement
First, as shown in FIG. 3, the
色領域の抽出は、図4に示されるように、まず、前処理部19から入力されてきたカラー画像情報ddに対し、色相Huがユーザ指定の測定色情報bbに含まれるしきい値Th_Hu1としきい値Th_Hu2との間に存在する領域を抽出して第1の部分画像情報を生成する(S111)。例えば、色相Huが緑を基準(Hu=0°:反時計回りを正方向)とすると、入力された色情報が赤である場合には、赤を示す色相Hu=240°となるので、しきい値Th_Hu1=225°、Th_Hu2=255°と、赤の色相を中心として±15°の範囲に設定される。
As shown in FIG. 4, the color area is extracted by first setting the hue Hu as the threshold value Th_Hu1 included in the user-specified measurement color information bb with respect to the color image information dd input from the preprocessing
次に、色相のしきい値により抽出された第1の部分画像情報に関して、輝度Luが測定色情報に含まれるしきい値Th_Lu1としきい値Th_Lu2との間に存在する領域を抽出して第2の部分画像情報を生成する(S112)。例えば、Th_Lu1=60(暗い側)、Th_Lu2=190(明るい側)と設定する。これは、暗すぎるまたは明るすぎる部分を削除し、より正確な色が再現されている領域のみを抽出するためである。 Next, with respect to the first partial image information extracted based on the hue threshold value, a region where the luminance Lu exists between the threshold value Th_Lu1 and the threshold value Th_Lu2 included in the measurement color information is extracted and the second partial image information is extracted. The partial image information is generated (S112). For example, Th_Lu1 = 60 (dark side) and Th_Lu2 = 190 (bright side) are set. This is because a portion that is too dark or too light is deleted and only a region where a more accurate color is reproduced is extracted.
そして、輝度のしきい値により抽出された第2の部分画像情報に関して、彩度Saが測定色情報に含まれるしきい値Th_Sa以上となる領域を抽出し、測定色領域を生成する(S113)。例えば、しきい値Th_Sa=30%と設定することにより、彩度が低い、すなわち色が無彩色に近い領域を削除し、より鮮やかな色が再現されている領域を測定色領域画像情報eeとして抽出することができるようになっている。 Then, with respect to the second partial image information extracted by the luminance threshold value, an area where the saturation Sa is equal to or higher than the threshold value Th_Sa included in the measurement color information is extracted to generate a measurement color area (S113). . For example, by setting the threshold Th_Sa = 30%, an area where the saturation is low, that is, an area where the color is close to an achromatic color is deleted, and a more vivid color is reproduced is used as the measurement color area image information ee. It can be extracted.
次に、抽出された測定色領域画像情報eeが測定色領域特徴抽出部21に入力され、カラー画像情報aa中に複数の測定色領域画像情報eeが含まれている場合には、その全ての測定色領域画像情報eeについて、面積、重心位置および外接矩形位置等の特徴情報ffが算出される(S103)。
そして、測定色探索領域抽出部22においては、測定色領域抽出部20から出力された測定色領域画像情報eeと、測定色領域特徴抽出部21から出力された特徴情報ffとに基づいて、探索領域情報ggが生成される。
Next, when the extracted measurement color region image information ee is input to the measurement color region
Then, the measurement color search
具体的には、まず、各測定色領域画像情報ee内の面積がしきい値Th_Me1以下となる測定色領域を除外する(S104)。ここで、しきい値Th_Me1は、例えば、カラー画像全体の面積に対して約1〜5%程度に設定されている。面積の小さい色領域は、結果として正確な色の測定ができないため、除外することとしている。 Specifically, first, a measurement color region whose area in each measurement color region image information ee is equal to or less than a threshold value Th_Me1 is excluded (S104). Here, the threshold value Th_Me1 is set to about 1 to 5% with respect to the area of the entire color image, for example. A color area having a small area is excluded because accurate color measurement is impossible as a result.
次いで、ステップS104において除外されずに残った測定色領域画像情報eeに対して、各領域の重心位置とカラー画像の中心位置との距離が算出され、しきい値Th_Me2以上となる領域を除外する(S105)。ここで、しきい値Th_Me2は、例えば、カラー画像情報aaの対角距離の20%程度と設定されている。画像中心から離れるに従って、補正処理を行っても画像の歪みやシェーディングの影響が大きくなることや、実際の測定位置への移動距離をできるだけ小さくすることが望ましいため、カラー画像情報aaの中心位置に近い測定色領域画像情報eeを選択することとしている。 Next, for the measurement color region image information ee remaining without being excluded in step S104, the distance between the center of gravity of each region and the center position of the color image is calculated, and regions that are equal to or greater than the threshold Th_Me2 are excluded. (S105). Here, the threshold value Th_Me2 is set to about 20% of the diagonal distance of the color image information aa, for example. As the distance from the image center increases, the effect of image distortion and shading increases even if correction processing is performed, and it is desirable to minimize the distance traveled to the actual measurement position. The near measurement color region image information ee is selected.
さらに、ステップS105において除外されずに残った測定色領域画像情報eeに対して、各領域の外接矩形上の各位置とカラー画像中心との距離が算出され、算出された距離が最小となる色領域が探索領域情報ggとして抽出される(S106)。
外接矩形上の各位置としては、外接矩形の4隅の点が挙げられる。それらの中でカラー画像情報aaの中心との距離が最小となるものどうしを各領域間で比較する。
これにより、カラー画像情報aaの中心に近く、かつ、面積が小さ過ぎない探索領域情報ggを抽出することができる。
Further, the distance between each position on the circumscribed rectangle of each area and the center of the color image is calculated for the measurement color area image information ee that is not excluded in step S105, and the calculated distance is the minimum. An area is extracted as search area information gg (S106).
As each position on the circumscribed rectangle, there are four corner points of the circumscribed rectangle. Among these, the regions having the smallest distance from the center of the color image information aa are compared between the regions.
Thereby, it is possible to extract the search area information gg that is close to the center of the color image information aa and whose area is not too small.
さらに具体的には、図5に示されるように、撮像装置8の作動により取得された図5(a)に示されるカラー画像aaaから探索領域gggが抽出される。
すなわち、赤を測定色とした場合、まず、測定色領域抽出部20において、図5(b)に示されるように4個の赤の測定色領域eee1〜eee4を含む画像G1が生成される。
More specifically, as shown in FIG. 5, the search area ggg is extracted from the color image aaa shown in FIG. 5A acquired by the operation of the
That is, when red is used as the measurement color, first, the measurement color
ここで、図5(b)右端の領域は、本来同一領域であるが、画像上は分離した別領域として認識される。そして、このようにして抽出された測定色領域eee1〜eee4は、測定色領域特徴抽出部21に入力されることにより、それぞれの面積が算出されるとともに、図5(c)に示されるように、重心位置C1〜C4と外接矩形S1〜S4等の特徴情報ffが算出される。
Here, the rightmost area in FIG. 5B is originally the same area, but is recognized as a separate area on the image. Then, the measurement color regions eee1 to ee4 extracted in this way are input to the measurement color region
さらに、算出された特徴情報ffと測定色領域画像情報eeとに基づいて、測定色探索領域抽出部22の作動により、まず、面積が所定値より小さい色領域が除外され、次いで、重心位置C1〜C4とカラー画像aaaの中心位置との距離が所定値より大きいものが除外され、さらに、外接矩形S1〜S4上の4隅の点とカラー画像aaaの中心位置との距離が最小になる測定色領域eee2が、図5(d)に示されるように探索領域情報gggとして抽出された画像G2が得られる。
Furthermore, based on the calculated feature information ff and measurement color region image information ee, the operation of the measurement color search
そして、このように抽出された探索領域情報gg、測定色領域画像情報eeおよび測定領域サイズ情報ccが測定領域決定部23に入力され、外接矩形S2の大きさ(幅、高さ)と測定領域の大きさ(幅、高さ)を利用して、測定領域位置情報hhの位置を決定する際の候補が定義される(S107)。
具体的には、図6(a)に示されるように、測定色領域eee2が複雑な形状をしている場合には、探索領域gggの重心位置に、実際の測定を行う円形の測定領域hh−0が配置される場合、測定領域hh−0内に異なる色の領域あるいは背景色が含まれて正確な測定を行うことができない。
Then, the search area information gg, the measurement color area image information ee, and the measurement area size information cc thus extracted are input to the measurement
Specifically, as shown in FIG. 6A, when the measurement color region eee2 has a complicated shape, a circular measurement region hh that performs actual measurement is located at the center of gravity of the search region ggg. When −0 is arranged, a different color region or background color is included in the measurement region hh-0, and accurate measurement cannot be performed.
そこで、図6(b)に示されるように、探索領域ggg内に、円形の測定領域hh−0と同じ大きさの矩形(幅および高さが円形の測定領域hh−0の直径寸法に一致)の測定候補領域(情報演算領域)hh′−1〜hh′−4を定義する。測定候補領域hh′としては相互に重複するように定義されてもよい。このようにすることで、微小にずれた測定候補領域hh′を定義でき、測定する色のみを含む測定候補領域hh′を定義することができる。なお、図6には一部の測定候補領域のみを示している。 Therefore, as shown in FIG. 6B, the search area ggg has the same size as the circular measurement area hh-0 (the width and height are the same as the diameter dimension of the measurement area hh-0 having a circular shape). ) Measurement candidate areas (information calculation areas) hh′-1 to hh′-4. The measurement candidate regions hh ′ may be defined so as to overlap each other. By doing so, it is possible to define a measurement candidate region hh ′ that is slightly shifted, and it is possible to define a measurement candidate region hh ′ that includes only the color to be measured. FIG. 6 shows only some measurement candidate regions.
そして、定義された複数の測定候補領域hh′について、測定色領域画像情報eee2に完全に重複するものだけを選択する。これにより、図6(c)に示されるように、図6(b)の測定候補領域hh′−2が除外される。
Then, for the plurality of defined measurement candidate areas hh ′, only those that completely overlap with the measurement color area
その後、残された測定領域候補hh′−1,hh′−3,hh′−4等に対して、測定色に関する標準偏差を算出する(S108)。具体的には、算出される標準偏差は、色相Huに関する標準偏差である。そして、算出された標準偏差が最小となる測定領域候補hh′−1を抽出し、その中心位置を算出することにより、最終的に測定領域hhhの位置を決定することができる(S109)。 Thereafter, the standard deviation relating to the measurement color is calculated for the remaining measurement region candidates hh′-1, hh′-3, hh′-4, etc. (S108). Specifically, the calculated standard deviation is a standard deviation regarding the hue Hu. Then, by extracting the measurement region candidate hh′-1 that minimizes the calculated standard deviation and calculating the center position thereof, the position of the measurement region hhh can be finally determined (S109).
このように、本実施形態に係る測定領域設定装置1によれば、取得されたカラー画像情報aaから指定された色を含む測定色領域画像情報eeを抽出し、その特徴情報ffに基づいて、探索領域情報ggを絞り込むので、カラー画像情報aaの中心に近接し、かつ、小さ過ぎない探索領域情報ggを抽出することができる。また、該探索領域の中で、指定された色を含まない測定領域候補を除外し、色に関する標準偏差が最小の領域を測定領域位置情報hhに設定するので、実際の測定におけるばらつきの影響を抑えることができる。そして、この測定領域設定装置1を含む本実施形態に係る分光測定装置2によれば、測定におけるばらつきの影響を抑えて、正確な測定を行うことが可能となる。
Thus, according to the measurement
なお、本実施形態に測定色探索領域抽出部22においては、ステップS104〜S106のように1つずつ異なる特徴情報ffを用いて絞り込むように探索領域情報ggを抽出することとしたが、これに代えて、探索領域情報ggの抽出はこれに限定されるものではない。例えば、面積のみに着目し面積が最大となる測定色領域画像情報eeをそのまま探索領域情報ggとして抽出してもよいし、カラー画像情報aaの中心との距離が最小となる重心位置を有する測定色領域画像情報eeを探索領域情報ggとして抽出してもよい。
In the present embodiment, the measurement color search
また、本実施形態においては、測定色領域画像情報eeの抽出がカラー画像情報aaをHSL変換して得られた情報により行うこととしたが、これに代えて、カラー画像情報aaそのものを利用してもよい。例えば、カラー画像情報aaがRGB成分で構成されている場合に、赤の領域を抽出する場合には、赤成分の輝度情報をそのまま利用してこの輝度情報が所定の範囲となる領域(輝度情報が大き過ぎたり、小さ過ぎたりしない領域)を測定領域位置情報hhを決定するための測定色領域画像情報eeとして抽出してもよい In the present embodiment, the measurement color region image information ee is extracted from information obtained by HSL conversion of the color image information aa. Instead, the color image information aa itself is used. May be. For example, when the color image information aa is composed of RGB components and the red region is extracted, the luminance information of the red component is used as it is and the luminance information is in a predetermined range (luminance information). May be extracted as measurement color region image information ee for determining the measurement region position information hh.
また、カラーフィルタAの色に応じて測定領域設定装置1以外を制御して測定色領域画像情報eeを抽出してもよい。例えば、撮像装置8の露光時間を、カラーフィルタAの色に応じて変化させ、測定領域設定装置1ではユーザ指示の測定色情報bbとして露光時間を受け取り、この値に応じて色を指定してもよい。例えば、輝度成分が大きい緑を測定するときは露光時間を比較的短く、輝度成分が小さい青を測定するときは露光時間を比較的長くとるようにし、測定領域設定装置1に露光時間の長さと測定する色との関係を記憶したテーブルを用意することにより実現できる。
Further, the measurement color region image information ee may be extracted by controlling other than the measurement
また、撮像装置8に入射する照明の光量を測定対象の色に応じて変更するようにしてもよい。また、撮像装置8が捕らえる照明光のスペクトルが測定色領域画像情報eeの抽出に影響を与える場合、照明光側にある波長の光だけを透過させるようなバンドパスフィルタを測定する色に応じて複数用意することとしてもよい。
Moreover, you may make it change the light quantity of the illumination which injects into the
次に、本発明の第2の実施形態に係る測定領域設定装置30について、図7〜図9を参照して説明する。
なお、本実施形態の説明において、上述した第1の実施形態に係る測定領域設定装置1と構成を共通とする箇所には同一符号を付して説明を省略する。
Next, a measurement
In the description of the present embodiment, portions having the same configuration as those of the measurement
本実施形態に係る測定領域設定装置30は、図7に示されるように、相対測定位置記憶部31を備える点において、第1の実施形態に係る測定領域設定装置1と相違している。
相対測定位置記憶部31は、決定された測定領域情報hhと、測定領域決定部23で利用された探索領域情報ggの入力を受け、探索領域に対する測定領域の相対位置を算出し記憶するようになっている。
As shown in FIG. 7, the measurement
The relative measurement
さらに具体的には、図8に示されるように、赤の測定色領域に対して、破線で示す外接矩形Sからなる探索領域情報ggg2と、円形の測定領域位置情報hhh2が設定された場合を例示する。ここで、図8における座標値は、画像座標値であり、カラー画像情報aaa2の左上を原点とし、右向きがX方向、下向きがY方向のそれぞれ正方向を示している。このとき、探索領域情報ggg2の左上角の座標を(SPos−X1,SPos−Y1)、決定された測定領域位置情報hhh2の重心位置を(Pos−X,Pos−Y)とすると、記憶される測定領域位置情報hhの相対位置情報kk(RPos−X,RPos−Y)は、次式で算出される。
RPos−X=Pos−X−SPos−X1
RPos−Y=Pos−Y−SPos−Y1
More specifically, as shown in FIG. 8, the search area information ggg2 including the circumscribed rectangle S indicated by a broken line and the circular measurement area position information hhh2 are set for the red measurement color area. Illustrate. Here, the coordinate values in FIG. 8 are image coordinate values, and the upper left corner of the color image information aaa2 is the origin, the rightward direction indicates the X direction, and the downward direction indicates the positive direction. At this time, the coordinates of the upper left corner of the search area information ggg2 are stored as (SPos-X1, SPos-Y1), and the center of gravity position of the determined measurement area position information hh2 is stored as (Pos-X, Pos-Y). The relative position information kk (RPos-X, RPos-Y) of the measurement region position information hh is calculated by the following equation.
RPos-X = Pos-X-SPos-X1
RPos-Y = Pos-Y-SPos-Y1
また、相対測定位置記憶部31は、探索領域情報ggから探索領域の面積および外接矩形Sの大きさ(幅、高さ)を探索領域の面積情報として記憶する。探索領域の面積は、探索領域の画素数、外接矩形の大きさは、図8における外接矩形Sの左上隅座標と右下隅座標とに基づいて画素数単位で算出することができる。
In addition, the relative measurement
そして、測定領域の決定において、相対測定位置記憶部31は測定色探索領域抽出部22から入力される探索領域情報ggを受け取り、記憶している測定領域位置情報hhの相対位置を測定領域決定部23で利用できるか否かを判断する。
この判断方法は、まず、現在の測定において抽出された探索領域情報ggを読み込み(S121)、探索領域情報ggの面積A0、外接矩形の大きさ(幅W0、高さH0)を算出する(S122)。
In determining the measurement region, the relative measurement
In this determination method, first, the search area information gg extracted in the current measurement is read (S121), and the area A0 of the search area information gg and the size of the circumscribed rectangle (width W0, height H0) are calculated (S122). ).
次に、前回の処理で記憶された探索領域に関する面積情報(探索領域の面積Ab、外接矩形の大きさ(幅Wb、高さHb))を読み込む(S123)。そして、現在の探索領域と前回の探索領域との比較として、両者の面積を比較する。具体的には、両者の面積の絶対差が面積に関するしきい値Th_Me3未満か否かを判断する(S124)。しきい値Th_Me3は、例えば、カラー画像情報aaの面積に対する割合として1%〜5%程度と小さめに設定する。 Next, the area information (area Ab of the search area, size of the circumscribed rectangle (width Wb, height Hb)) stored in the previous process is read (S123). Then, as a comparison between the current search area and the previous search area, the areas of both are compared. Specifically, it is determined whether or not the absolute difference between the two areas is less than a threshold value Th_Me3 relating to the area (S124). The threshold value Th_Me3 is set to a small value, for example, about 1% to 5% as a ratio to the area of the color image information aa.
面積の絶対差がしきい値Th_Me3未満であれば、両者の外接矩形Sの大きさの絶対差に関して幅の絶対差がしきい値Th_Me4未満、かつ高さの絶対差がTh_Me5未満であるか否かが判断される(S125)。しきい値Th_Me4,Th_Me5は、例えば、それぞれカラー画像情報aaの幅、高さに対する割合として1%〜3%程度と小さめに設定する。 If the absolute difference in area is less than the threshold Th_Me3, whether the absolute difference in width is less than the threshold Th_Me4 and the absolute difference in height is less than Th_Me5 with respect to the absolute difference in size of the circumscribed rectangle S Is determined (S125). The threshold values Th_Me4 and Th_Me5 are set to be small, for example, about 1% to 3% as a ratio to the width and height of the color image information aa.
面積の絶対差、幅の絶対差および高さの絶対差の全てがしきい値未満である場合には、記憶されている測定領域に関する探索領域と現在の探索領域は形状として略同一と判断できる。したがって、この場合、測定領域決定部23において、記憶されている相対位置を利用して測定領域位置情報hhを決定する処理を行うために、相対測定位置記憶部31から測定領域の相対位置情報kkが出力される(S126)。
When the absolute difference in area, the absolute difference in width, and the absolute difference in height are all less than the threshold value, it can be determined that the search area for the stored measurement area and the current search area are substantially identical in shape. . Therefore, in this case, in order to perform the process of determining the measurement region position information hh using the stored relative position, the measurement
一方、面積または外接矩形の大きさのいずれかがしきい値以上であった場合には、記憶されている測定領域に関する探索領域と現在の探索領域の形状は同一ではないと判断される。したがって、測定領域決定部23においては、第1の実施形態に示された処理を行うために、相対測定位置記憶部31からは相対位置情報kkとしてNULL情報が出力される(S127)。
On the other hand, if either the area or the size of the circumscribed rectangle is greater than or equal to the threshold value, it is determined that the shape of the stored search area and the current search area are not the same. Therefore, the measurement
測定領域決定部23においては、入力された相対位置情報kkに応じて測定領域位置情報hhの決定方法を判断する。すなわち、相対位置情報kkがNULL情報であれば、第1の実施形態に示された処理により測定領域位置情報hhを決定する。一方、相対位置情報kkがNULL情報でない場合には、次式により測定領域位置情報hhを決定する。
The measurement
Pos−X′=SPos−X1′+RPos−X
Pos−Y′=SPos−Y1′+RPos−Y
ここで、(SPos−X1′,SPos−Y1′)は現在のカラーフィルタAから抽出された探索領域に関する外接矩形の左上隅の座標、(RPos−X,RPos−Y)は相対測定位置記憶部31に記憶されている相対位置情報kkである。
そして、測定領域決定部23から出力される測定領域位置情報hhは、ずれ量検出部9および相対測定位置記憶部31に送られる。
Pos-X '= SPos-X1' + RPos-X
Pos−Y ′ = SPos−Y1 ′ + RPos−Y
Here, (SPos-X1 ′, SPos-Y1 ′) are the coordinates of the upper left corner of the circumscribed rectangle relating to the search area extracted from the current color filter A, and (RPos-X, RPos-Y) are relative measurement position storage units. The relative position information kk is stored in 31.
Then, the measurement region position information hh output from the measurement
図8(b)に測定領域位置情報hhの相対位置情報kkを利用する場合を示す。また、図8(c)に相対位置情報を利用しない場合を示す。図8(a)は、相対測定位置記憶部31に相対位置情報kkを記憶された前回の測定領域hhh2および探索領域ggg2を示し、図8(b)、(c)は、現在の測定領域hhh3,hhh4および探索領域ggg3,ggg4を示している。
FIG. 8B shows a case where the relative position information kk of the measurement area position information hh is used. FIG. 8C shows a case where the relative position information is not used. FIG. 8A shows the previous measurement area hh2 and search area ggg2 in which the relative position information kk is stored in the relative measurement
図8(b)の例では、図8(a)に対して、右方向にシフトした状態であり、赤の測定色領域の形状には差がない。このため、相対測定位置記憶部31から出力される相対位置情報kkを用いて、図8(b)の外接矩形Sの左上隅の座標から測定領域hhh3の位置を決定することができる。これにより、第1の実施形態における測定領域の決定処理を行う必要がなく、処理時間を節約することができる。
In the example of FIG. 8B, the state is shifted to the right with respect to FIG. 8A, and there is no difference in the shape of the red measurement color region. Therefore, the position of the measurement region hh3 can be determined from the coordinates of the upper left corner of the circumscribed rectangle S in FIG. 8B using the relative position information kk output from the relative measurement
一方、図8(c)の例では、図8(a)に対して、下方向にシフトした状態である。赤の測定色領域の形状は、両者において画像の上部に差があり、それによって外接矩形Sの幅が異なっている。このため、相対測定位置記憶部31からはNULL情報が出力され、図8(c)の測定色領域の外接矩形については、第1の実施形態で示した方法により測定領域の位置が決定される。
On the other hand, in the example of FIG. 8C, the state is shifted downward with respect to FIG. As for the shape of the red measurement color region, there is a difference in the upper part of the image between them, and the width of the circumscribed rectangle S is thereby different. For this reason, NULL information is output from the relative measurement
なお、本実施形態においては、探索領域情報ggの面積情報に基づいて測定領域決定部23の動作を異ならせることとしているが、これに代えて、画像情報そのものを利用することとしてもよい。例えば、面積情報に代えて、探索領域の画像情報を記憶しておき、新たな探索領域の画像情報が得られた時点で、画像情報どうしをパターンマッチング処理により比較することとしてもよい。その結果、一致度が所定のしきい値より大きければ相対測定位置記憶部31に記憶されている測定領域位置情報hhの相対位置情報kkに基づき測定領域の位置を算出することができる。このよう方法は、面積や外接矩形が類似していても異なる形状の測定色領域の場合に有効である。
In the present embodiment, the operation of the measurement
1 測定領域設定装置
2 分光測定装置
20 測定色領域抽出部(色領域抽出部)
21 測定色領域特徴抽出部(色領域特徴抽出部)
22 測定色探索領域抽出部(探索領域抽出部)
31 相対測定位置記憶部
aa カラー画像情報
ee 測定色領域画像情報(色領域)
ff 特徴情報
gg 探索領域情報
hh 測定領域位置情報
A カラーフィルタ(被測定対象)
C1〜C4 重心
S1〜S4,S 外接矩形
DESCRIPTION OF
21 Measurement color region feature extraction unit (color region feature extraction unit)
22 Measurement color search area extraction unit (search area extraction unit)
31 Relative measurement position storage section aa Color image information ee Measurement color area image information (color area)
ff Feature information gg Search area information hh Measurement area position information A Color filter (measurement target)
C1-C4 center of gravity S1-S4, S circumscribed rectangle
Claims (12)
該色領域抽出部により抽出された前記色領域の特徴量を抽出する色領域特徴抽出部と、
該色領域特徴抽出部により抽出された特徴量に基づき、前記色領域から測定領域を決定するための探索領域を抽出する探索領域抽出部と、
該探索領域抽出部により抽出された探索領域の中から測定領域を決定する測定領域決定部と、を有し、
前記測定領域決定部は、前記探索領域を予め設定された測定領域サイズに基づいて複数の情報演算領域に分割し、指定された色を含まない情報演算領域を除外した残りの各情報演算領域に関して前記指定された色に関する標準偏差を算出し、該標準偏差が最小となる前記情報演算領域を前記測定領域として決定する測定領域設定装置。 A color region extraction unit that extracts a color region having a specified color from the color image of the measurement target;
A color region feature extraction unit that extracts a feature amount of the color region extracted by the color region extraction unit;
A search region extraction unit that extracts a search region for determining a measurement region from the color region based on the feature amount extracted by the color region feature extraction unit;
A measurement region determination unit that determines a measurement region from the search regions extracted by the search region extraction unit ;
The measurement area determination unit divides the search area into a plurality of information calculation areas based on a predetermined measurement area size, and regarding each remaining information calculation area excluding an information calculation area that does not include a specified color A measurement area setting device that calculates a standard deviation for the designated color and determines the information calculation area that minimizes the standard deviation as the measurement area.
前記測定領域決定部が、前記相対測定位置記憶部に記憶されている前記測定位置の相対位置情報を用いて測定領域を決定する請求項1に記載の測定領域設定装置。 A relative measurement position storage unit that stores relative position information of the measurement area in the search area;
The measurement region setting device according to claim 1, wherein the measurement region determination unit determines a measurement region using relative position information of the measurement position stored in the relative measurement position storage unit.
前記測定領域決定部は、前記相対測定位置記憶部に記憶されている前回の面積情報と今回の面積情報との差が所定値以下の場合に、前記相対位置情報を用いて測定領域を決定する請求項7に記載の測定領域設定装置。 The relative measurement position storage unit stores area information of the search region,
The measurement region determination unit determines a measurement region using the relative position information when a difference between the previous area information stored in the relative measurement position storage unit and the current area information is equal to or less than a predetermined value. The measurement region setting device according to claim 7.
前記測定領域決定部は、前記相対測定位置記憶部に記憶されている前回の画像情報と今回の画像情報とのパターンマッチング処理を行い、パターンマッチングの一致度を示す評価値が所定値以上である場合に、前記相対位置情報を用いて測定領域を決定する請求項7に記載の測定領域設定装置。 The relative measurement position storage unit stores image information of the search area;
The measurement area determination unit performs a pattern matching process between the previous image information stored in the relative measurement position storage unit and the current image information, and an evaluation value indicating a degree of coincidence of pattern matching is a predetermined value or more. The measurement area setting device according to claim 7, wherein the measurement area is determined using the relative position information.
カラー画像から指定された色を示す色領域を抽出し、
抽出された前記色領域の特徴量を抽出し、
抽出された特徴量に基づき、前記色領域から測定領域を決定するための探索領域を抽出し、
探索領域を予め設定された測定領域サイズに基づいて複数の情報演算領域に分割し、指定された色を含まない情報演算領域を除外した残りの各情報演算領域に関して前記指定された色に関する標準偏差を算出し、該標準偏差が最小となる前記情報演算領域を前記測定領域として決定する測定領域設定方法。 A method of setting a measurement region by image processing of a color image to be measured,
Extract the color area indicating the specified color from the color image,
Extracting the feature amount of the extracted color region;
Based on the extracted feature quantity, extract a search area for determining a measurement area from the color area,
The search area is divided into a plurality of information calculation areas based on a predetermined measurement area size, and the standard deviation relating to the specified color with respect to each remaining information calculation area excluding the information calculation area not including the specified color , And the information calculation area that minimizes the standard deviation is determined as the measurement area.
請求項1から請求項10のいずれかに記載の測定領域設定装置と、
該測定領域設定装置により設定された測定領域における分光透過率または分光反射率を算出する分光測定部とを備える分光測定装置。 An image acquisition unit for acquiring a color image of the measurement target;
The measurement region setting device according to any one of claims 1 to 10,
A spectroscopic measurement device comprising: a spectroscopic measurement unit that calculates spectral transmittance or spectral reflectance in a measurement region set by the measurement region setting device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006264930A JP5123509B2 (en) | 2006-09-28 | 2006-09-28 | Measurement region setting device, measurement region setting method, and spectroscopic measurement device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006264930A JP5123509B2 (en) | 2006-09-28 | 2006-09-28 | Measurement region setting device, measurement region setting method, and spectroscopic measurement device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008082948A JP2008082948A (en) | 2008-04-10 |
JP5123509B2 true JP5123509B2 (en) | 2013-01-23 |
Family
ID=39353960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006264930A Expired - Fee Related JP5123509B2 (en) | 2006-09-28 | 2006-09-28 | Measurement region setting device, measurement region setting method, and spectroscopic measurement device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5123509B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010117186A (en) * | 2008-11-11 | 2010-05-27 | Olympus Corp | Measurement region setting device, measurement region setting method, and spectrometer |
US9219866B2 (en) * | 2013-01-07 | 2015-12-22 | Ricoh Co., Ltd. | Dynamic adjustment of multimode lightfield imaging system using exposure condition and filter position |
JP2014203112A (en) * | 2013-04-01 | 2014-10-27 | 日本ユニシス株式会社 | Image processor and program for image processing |
EP3950968A4 (en) * | 2019-03-28 | 2022-05-04 | JFE Steel Corporation | Powder ratio measurement device, powder ratio measurement system, powder ratio measurement method, computer program, blast furnace and blast furnace operation method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09178565A (en) * | 1995-12-21 | 1997-07-11 | Shimadzu Corp | Color measuring system |
JP2003299114A (en) * | 2002-03-29 | 2003-10-17 | Matsushita Electric Works Ltd | Color extraction image processor and method for displaying extracted color |
JP2005283326A (en) * | 2004-03-30 | 2005-10-13 | Hitachi High-Technologies Corp | Defect review method and its device |
-
2006
- 2006-09-28 JP JP2006264930A patent/JP5123509B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008082948A (en) | 2008-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8401274B2 (en) | Image processing apparatus and method | |
US11030778B2 (en) | Methods and apparatus for enhancing color vision and quantifying color interpretation | |
CN103759638B (en) | A kind of part detection method | |
CN103954213B (en) | A kind of method of the measured drawing for analyzing part | |
US9292925B2 (en) | Imaging system and control method thereof | |
JP6330574B2 (en) | Teaching apparatus and teaching method for substrate inspection apparatus | |
JP5123509B2 (en) | Measurement region setting device, measurement region setting method, and spectroscopic measurement device | |
EP3015892A1 (en) | Image pickup device and image pickup method | |
JP6981775B2 (en) | Image inspection equipment and image inspection method | |
JP2013529294A (en) | Apparatus and method for setting optical inspection parameters | |
WO2013161348A1 (en) | Image processing program and image processing device | |
JP5771423B2 (en) | Image color correction apparatus and image color correction method | |
CN105551024B (en) | LED display pointwise correction zone location judgment method and its application | |
JP2007093477A (en) | Method and apparatus of calibrating color measuring device, and color measuring method and device | |
KR101680446B1 (en) | Creation device for color table, correction and control device for camera image and method thereof | |
JP2010139324A (en) | Color irregularity measuring method and color irregularity measuring device | |
CN111344103A (en) | Coating area positioning method and device based on hyperspectral optical sensor and glue removing system | |
JP4963492B2 (en) | Image segmentation method, program and apparatus | |
JP2002100291A (en) | Measurement method and instrument of electron beam intensity distribution, and manufacturing method of cathode-ray tube | |
US20160165200A1 (en) | Measurements of cinematographic projection | |
US20140333659A1 (en) | Image processing apparatus and control method thereof | |
JP6275695B2 (en) | Estimation apparatus, estimation method, integrated circuit, and program | |
JP2010117186A (en) | Measurement region setting device, measurement region setting method, and spectrometer | |
JP2022129941A (en) | Image processing apparatus, distance measuring device, method, and program | |
JP6617537B2 (en) | Two-dimensional colorimeter, method, program, and display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121023 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121026 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5123509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |