JP6848304B2 - Wall measurement method and wall surface measurement device for carbonization chamber of coke oven - Google Patents
Wall measurement method and wall surface measurement device for carbonization chamber of coke oven Download PDFInfo
- Publication number
- JP6848304B2 JP6848304B2 JP2016189820A JP2016189820A JP6848304B2 JP 6848304 B2 JP6848304 B2 JP 6848304B2 JP 2016189820 A JP2016189820 A JP 2016189820A JP 2016189820 A JP2016189820 A JP 2016189820A JP 6848304 B2 JP6848304 B2 JP 6848304B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- carbonization chamber
- wall surface
- laser beam
- emission line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003763 carbonization Methods 0.000 title claims description 158
- 239000000571 coke Substances 0.000 title claims description 49
- 238000004441 surface measurement Methods 0.000 title description 5
- 238000000691 measurement method Methods 0.000 title description 2
- 238000012545 processing Methods 0.000 claims description 132
- 238000000034 method Methods 0.000 claims description 61
- 239000011449 brick Substances 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 15
- 230000008602 contraction Effects 0.000 claims description 9
- 238000005452 bending Methods 0.000 claims description 8
- 230000001678 irradiating effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 238000006073 displacement reaction Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 239000003245 coal Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 5
- 229910052799 carbon Inorganic materials 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000002485 combustion reaction Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000001125 extrusion Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010000 carbonizing Methods 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000002737 fuel gas Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、コークス炉の炭化室の壁面測定方法及び壁面測定装置に関する。 The present invention relates to a wall surface measuring method and a wall surface measuring device for a carbonization chamber of a coke oven.
鉄鋼業では室式と呼ばれるコークス炉が一般的に使われている。1000℃以上の高温でおおよそ20時間加熱して原料の石炭を乾留し、コークスを製造する。 In the steel industry, a coke oven called a chamber type is generally used. The raw material coal is carbonized by heating at a high temperature of 1000 ° C. or higher for about 20 hours to produce coke.
石炭を乾留してコークスを生成するコークス炉は、石炭が投入される炭化室と、炭化室を高温に保持するために燃料ガスの燃焼が行われる燃焼室とからなる。炭化室と燃焼室とは、耐火煉瓦を組み合わせて形成される、床面に対して略垂直に立つ炉壁によって区切られており、交互に複数並んでいる。1つのコークス炉につき、約100室の炭化室を有する。生成されたコークスは、押出機により押し出され、炭化室から排出される。例えば、1つの炭化室は、長さ16m、高さ6.5m、幅0.4m程度であり、長さと高さに比較して幅が狭い。炭化室上部の石炭装入口から石炭を落とし入れて、乾留が終了すると炭化室両端にある扉を開け長手方向(水平方向)にコークスを押出して取り出す。 A coke oven that produces coke by carbonizing coal consists of a carbonization chamber into which coal is charged and a combustion chamber in which fuel gas is burned to keep the carbonization chamber at a high temperature. The carbonization chamber and the combustion chamber are separated by a furnace wall formed by combining refractory bricks and standing substantially perpendicular to the floor surface, and a plurality of carbonization chambers and combustion chambers are arranged alternately. Each coke oven has about 100 carbonization chambers. The produced coke is extruded by an extruder and discharged from the carbonization chamber. For example, one carbonization chamber has a length of 16 m, a height of 6.5 m, and a width of about 0.4 m, which is narrower than the length and height. Coal is dropped from the coal inlet at the top of the carbonization chamber, and when the carbonization is completed, the doors at both ends of the carbonization chamber are opened and coke is extruded in the longitudinal direction (horizontal direction) and taken out.
コークス炉は通常30年以上の長期間にわたって使用されるが、国内鉄鋼業のコークス炉は、高度経済成長期に建設された炉が多く、40年以上の稼動年数を持つ炉が少なくない。また、コークス炉は、操業を中断して炉の温度を下げると、煉瓦の構造体の強度が著しく低下してしまうので、操業の有無に関わらず、常時炉内を高温に維持することが求められる。 Coke ovens are usually used for a long period of 30 years or more, but many coke ovens in the domestic steel industry were constructed during the period of high economic growth, and many of them have been in operation for 40 years or more. In addition, if the operation of the coke oven is interrupted and the temperature of the oven is lowered, the strength of the brick structure will be significantly reduced. Be done.
このように長期間高温に維持されるコークス炉では、炉室(炭化室及び燃焼室)を構成する耐火煉瓦が熱的、化学的あるいは機械的要因によって劣化し、耐火煉瓦に部分的な減肉や角欠け等が生じることにより炉壁面に凹凸が発生している。コークス炉を操業する上では、乾留後にコークスを押し出す際に、押出負荷が小さいことが望ましい。押出負荷は、石炭の配合・水分、乾留状態等の様々な要因に依存するが、特に、炭化室の壁面の凹凸は、コークスと壁面との摩擦抵抗となり押出負荷に大きく影響する。押出負荷が高いと「押し詰まり」といわれる排出不能の事態が発生することがあり、この場合にはコークスの減産を余儀なくされる場合がある。また、耐火煉瓦の劣化により煉瓦壁の破壊が生じた場合には、大規模な補修作業を行わなくてはならないこともあり、このような場合コークス炉の操業に著しい影響を及ぼすことになる。 In a coke oven that is maintained at a high temperature for a long period of time, the refractory bricks that make up the furnace chamber (carbonization chamber and combustion chamber) deteriorate due to thermal, chemical, or mechanical factors, and the refractory bricks are partially thinned. Irregularities are generated on the wall surface of the furnace due to the occurrence of corner chips and the like. In operating a coke oven, it is desirable that the extrusion load is small when extruding coke after carbonization. The extrusion load depends on various factors such as the blending / moisture content of coal and the carbonization state, but in particular, the unevenness of the wall surface of the carbonization chamber becomes frictional resistance between the coke and the wall surface and greatly affects the extrusion load. If the extrusion load is high, a situation called "clogging" may occur in which the coke cannot be discharged. In this case, the production of coke may be reduced. In addition, if the brick wall is destroyed due to deterioration of the refractory bricks, a large-scale repair work may have to be performed, and in such a case, the operation of the coke oven will be significantly affected.
従って、炭化室の奥行方向における各点および高さ方向における各点の壁面の表面を測定して壁面に発生した凹凸の状況を定量的に把握して保守していくことは、コークス炉の操業および設備管理上極めて重要である。しかしながら、先に説明したように、炭化室の幅は、僅か40cmであり、かつ内部は常時1000℃の高温であるため、炭化室内に人が入って煉瓦壁面を直接観察することは難しい。 Therefore, it is the operation of the coke oven to measure the surface of the wall surface at each point in the depth direction and each point in the height direction of the carbonization chamber to quantitatively grasp and maintain the condition of the unevenness generated on the wall surface. And it is extremely important for equipment management. However, as described above, since the width of the carbonization chamber is only 40 cm and the inside is always at a high temperature of 1000 ° C., it is difficult for a person to enter the carbonization chamber and directly observe the brick wall surface.
例えば、炭化室内の煉瓦壁面に生じる局所的な凹凸損傷の位置や形状を認識し得る技術としては、ラインCCD(Charge Coupled Device)カメラの線状視野に上下斜め方向からレーザ光を照射して、高温で赤熱発光している壁面画像にレーザ光の像を重畳させて凹凸計測を行う壁面測定装置が開示されている(例えば、特許文献1)。当該壁面測定装置によれば、壁面の凹凸は画像上でレーザ光像の上下の変位(炭化室の高さ方向における変位)として観測され、レーザ光の出射角度やカメラ視野角・視野サイズといった幾何学的条件から三角測量の原理で、壁面の凹凸量を求めることができる。さらに、当該壁面測定装置によれば、複数のレーザ光を炭化室の高さ方向に沿って煉瓦の間隔とほぼ同じ間隔で投射しつつ、当該炭化室の奥行方向に移動しながら照射することにより、炭化室の全長、全高にわたって壁面の凹凸量を計測することができる。このようにして、当該壁面測定装置は、当該壁面測定装置を1回炭化炉内に入れるだけで、壁面の損傷状態を視覚的に把握できる「画像データ」と、凹凸発生状況を定量的に把握する「凹凸量」とを同時に得ることができ、コークス炉の操業を極力妨げないように短時間で炉壁を観察することが可能である。 For example, as a technique capable of recognizing the position and shape of local unevenness damage occurring on a brick wall surface in a carbonization chamber, a laser beam is irradiated from an oblique vertical direction to a linear field of view of a line CCD (Charge Coupled Device) camera. A wall surface measuring device that measures unevenness by superimposing an image of a laser beam on a wall surface image that emits red heat at a high temperature is disclosed (for example, Patent Document 1). According to the wall surface measuring device, the unevenness of the wall surface is observed as the vertical displacement of the laser beam image (displacement in the height direction of the carbonization chamber) on the image, and the geometry such as the emission angle of the laser beam and the camera viewing angle / viewing size. The amount of unevenness on the wall surface can be obtained from the scientific conditions by the principle of triangulation. Further, according to the wall surface measuring device, a plurality of laser beams are projected along the height direction of the carbonization chamber at substantially the same interval as the bricks, and are irradiated while moving in the depth direction of the carbonization chamber. , The amount of unevenness on the wall surface can be measured over the total length and height of the carbonization chamber. In this way, the wall surface measuring device quantitatively grasps the "image data" that can visually grasp the damaged state of the wall surface and the unevenness generation state only by putting the wall surface measuring device in the carbonization furnace once. It is possible to obtain the "unevenness amount" at the same time, and it is possible to observe the furnace wall in a short time so as not to interfere with the operation of the coke oven as much as possible.
また、炭化室の壁面には、煉瓦の部分的な減肉や角欠け等により生じる凹凸だけなく、カーボンが部分的に付着することにより凹凸が生じる場合がある。詳細には、カーボンは、石炭の乾留中に発生するガスの炭素成分が壁面に付着することにより成長し、場合によっては、壁面上に不規則な凹凸形状を形成し、コークスを押し出す際の押出負荷の原因となることもある。そこで、上述の壁面測定装置と同様に、壁面の「画像データ」を取得して、炭化室内の煉瓦壁面に付着するカーボンの状態を観察する炉壁表面状態判定装置が開示されている(例えば、特許文献2)。 Further, the wall surface of the carbonization chamber may have irregularities due to partial adhesion of carbon as well as irregularities caused by partial wall thinning or chipping of bricks. Specifically, carbon grows when the carbon component of the gas generated during carbonization of coal adheres to the wall surface, and in some cases, forms an irregular uneven shape on the wall surface and is extruded when coke is extruded. It may cause a load. Therefore, similarly to the above-mentioned wall surface measuring device, a furnace wall surface condition determining device for acquiring "image data" of the wall surface and observing the state of carbon adhering to the brick wall surface in the carbonization chamber is disclosed (for example, Patent Document 2).
従来技術においては、先に説明したように、壁面の画像上に高輝度に表示されるレーザ光像を追跡し、その上下の変位量を検出することにより、壁面の凹凸量を求めている。しかしながら、最近では以前に比べ炭化室の煉瓦の損傷が進行し、煉瓦損傷による壁面上の大きな段差に起因して、レーザ光像が急激に上下に変位するといった箇所が増加している。このような状況を加味して、レーザ光像の追跡を行った場合、レーザ光像ではなく、画像上に高輝度に表示される煉瓦の目地を追跡してしまうことがある。さらには、壁面測定装置の汚れ等に起因して、適切にレーザ光像が追跡できないことがある。 In the prior art, as described above, the amount of unevenness on the wall surface is obtained by tracking the laser beam image displayed with high brightness on the image of the wall surface and detecting the amount of displacement above and below the laser beam image. However, recently, the damage to the bricks in the carbonization chamber has progressed more than before, and the number of places where the laser beam image is rapidly displaced up and down due to the large step on the wall surface due to the brick damage is increasing. When the laser beam image is tracked in consideration of such a situation, the brick joints displayed with high brightness on the image may be tracked instead of the laser beam image. Furthermore, the laser beam image may not be properly tracked due to dirt on the wall surface measuring device or the like.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、壁面の画像上のレーザ光像を適切に追跡することが可能なコークス炉の炭化室の壁面測定方法及び壁面測定装置を提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is a wall surface of a carbonization chamber of a coke oven capable of appropriately tracking a laser beam image on a wall surface image. It is an object of the present invention to provide a measuring method and a wall surface measuring device.
上記課題を解決するために、本発明のある観点によれば、コークス炉の炭化室の壁面測定方法において、前記コークス炉の炭化室の壁面に対して、前記炭化室の奥行方向に移動しながら、複数のレーザ光をミラーで折り曲げて照射する照射工程と、前記ミラーに映る、前記複数のレーザ光の像が重畳された前記壁面を連続的に撮影して、奥行方向に延びる前記複数のレーザ光像が現れた原画像を取得する原画像取得工程と、前記原画像を処理して追跡処理用画像を取得する画像処理工程と、前記追跡処理用画像に含まれる、前記レーザ光像を追跡する追跡工程と、追跡された前記レーザ光像の、前記炭化室の高さ方向における位置情報に基づいて、前記壁面の凹凸を検出する検出工程と、を有し、前記照射工程は、前記レーザ光を、前記レーザ光像の前記炭化室の高さ方向の幅が、前記壁面を構成する煉瓦の目地の前記炭化室の高さ方向の幅よりも細くなるように照射し、前記画像処理工程は、前記原画像に対して、前記原画像に含まれる前記複数のレーザ光像又は前記目地の像に対応する複数の輝線像を収縮させ、前記複数の輝線像から前記レーザ光像の幅以下の幅を有する前記輝線像を消失させて、収縮処理画像を取得し、前記収縮処理画像に対して、前記収縮処理画像に含まれる輝線像を膨張させて、膨張処理画像を取得し、前記原画像と前記膨張処理画像との差分を抽出して、抽出画像を取得し、前記抽出画像について、前記炭化室における高さ方向の各位置について、前記炭化室の奥行方向に沿って存在する輝度の総和を算出し、得られた輝度の総和を用いて前記炭化室の奥行方向における平均輝度を取得し、あらかじめ設定した閾値以上の高い前記平均輝度を有する高さに位置する輝線像を、前記抽出画像に含まれる輝線像から除外することにより、前記追跡処理用画像を取得する、コークス炉の炭化室の壁面測定方法が提供される。
In order to solve the above problem, according to a certain viewpoint of the present invention, in the method of measuring the wall surface of the carbonization chamber of the coke oven, while moving in the depth direction of the carbonization chamber with respect to the wall surface of the carbonization chamber of the coke furnace. , The irradiation step of bending and irradiating a plurality of laser beams with a mirror, and the wall surface on which the images of the plurality of laser beams reflected on the mirror are superimposed are continuously photographed, and the plurality of lasers extending in the depth direction. An original image acquisition step of acquiring an original image in which an optical image appears, an image processing step of processing the original image to acquire an image for tracking processing, and tracking the laser light image included in the tracking processing image. The tracking step includes a tracking step of detecting the unevenness of the wall surface based on the position information of the tracked laser beam image in the height direction of the carbonization chamber, and the irradiation step is the laser. The laser beam image is irradiated so that the width of the carbonization chamber in the height direction is narrower than the width of the joints of the bricks constituting the wall surface in the height direction of the carbonization chamber. Shrinks a plurality of laser beam images included in the original image or a plurality of emission line images corresponding to the image of the joint with respect to the original image, and is equal to or less than the width of the laser beam image from the plurality of emission line images. The emission line image having the width of is erased to acquire a contraction-processed image, and the emission line image included in the contraction-processed image is expanded with respect to the contraction-processed image to acquire an expansion-processed image. The difference between the image and the expansion processed image is extracted to obtain an extracted image, and the extracted image has the brightness existing along the depth direction of the carbonization chamber at each position in the height direction in the carbonization chamber. The total sum is calculated, the average brightness in the depth direction of the carbonization chamber is obtained using the obtained sum of the brightness, and the emission line image located at a height having the average brightness higher than the preset threshold is extracted. Provided is a method for measuring the wall surface of a carbonization chamber of a coke oven, which acquires the image for tracking processing by excluding it from the emission line image included in the image.
上記課題を解決するために、本発明のある観点によれば、コークス炉の炭化室の壁面測定方法において、前記コークス炉の炭化室の壁面に対して、前記炭化室の奥行方向に移動しながら、複数のレーザ光をミラーで折り曲げて照射する照射工程と、前記ミラーに映る、前記複数のレーザ光の像が重畳された前記壁面を連続的に撮影して、奥行方向に延びる前記複数のレーザ光像が現れた原画像を取得する原画像取得工程と、前記原画像を処理して追跡処理用画像を取得する画像処理工程と、前記追跡処理用画像に含まれる、前記レーザ光像を追跡する追跡工程と、追跡された前記レーザ光像の、前記炭化室の高さ方向における位置情報に基づいて、前記壁面の凹凸を検出する検出工程と、を有し、前記照射工程は、前記レーザ光を、前記レーザ光像の前記炭化室の高さ方向の幅が、前記壁面を構成する煉瓦の目地の前記炭化室の高さ方向の幅よりも細くなるように照射し、前記画像処理工程は、前記原画像に対して、前記原画像に含まれる前記複数のレーザ光像又は前記目地の像に対応する複数の輝線像を収縮させ、前記複数の輝線像から前記レーザ光像の幅以下の幅を有する前記輝線像を消失させて、収縮処理画像を取得し、前記収縮処理画像に対して、前記収縮処理画像に含まれる輝線像を膨張させて、膨張処理画像を取得し、前記原画像と前記膨張処理画像との差分を抽出して、抽出画像を取得し、前記抽出画像について、前記炭化室における高さ方向の各位置について、前記炭化室の奥行方向に沿って存在する輝度の総和を算出し、得られた輝度の総和を用いて前記炭化室の奥行方向における平均輝度を取得し、前記炭化室の高さ方向に隣り合う前記平均輝度の変化量を算出し、あらかじめ設定した閾値以上の高い前記変化量を有する高さに位置する輝線像を、前記抽出画像に含まれる輝線像から除外することにより、前記追跡処理用画像を取得する、コークス炉の炭化室の壁面測定方法が提供される。
In order to solve the above problems, according to a certain viewpoint of the present invention, in the method for measuring the wall surface of the carbonization chamber of the coke oven, while moving in the depth direction of the carbonization chamber with respect to the wall surface of the carbonization chamber of the coke furnace. , The irradiation step of bending and irradiating a plurality of laser beams with a mirror, and the wall surface on which the images of the plurality of laser beams reflected on the mirror are superimposed are continuously photographed, and the plurality of lasers extending in the depth direction. An original image acquisition step of acquiring an original image in which an optical image appears, an image processing step of processing the original image to acquire an image for tracking processing, and tracking the laser light image included in the tracking processing image. The irradiation step includes the tracking step of detecting the unevenness of the wall surface based on the position information of the tracked laser beam image in the height direction of the carbonization chamber, and the irradiation step of the laser. The image processing step of irradiating light so that the width of the carbonization chamber of the laser beam image in the height direction is narrower than the width of the carbonization chamber of the joints of the bricks constituting the wall surface in the height direction. Shrinks a plurality of laser beam images included in the original image or a plurality of emission line images corresponding to the image of the joint with respect to the original image, and is equal to or less than the width of the laser beam image from the plurality of emission line images. The emission line image having the width of is erased to acquire a shrinkage-processed image, and the emission line image included in the shrinkage-processed image is expanded with respect to the shrinkage-processed image to acquire an expansion-processed image. The difference between the image and the expansion processed image is extracted to obtain an extracted image, and the extracted image has the brightness existing along the depth direction of the carbonization chamber at each position in the height direction in the carbonization chamber. The total sum was calculated, the average brightness in the depth direction of the carbonization chamber was obtained using the obtained sum of the brightness, the amount of change in the average brightness adjacent to the height direction of the carbonization chamber was calculated, and set in advance. A method for measuring the wall surface of a carbonization chamber of a coke furnace, in which an image for tracking processing is acquired by excluding an emission line image located at a height having a change amount higher than a threshold value from the emission line image included in the extracted image. Is provided.
また、上記課題を解決するために、本発明の別の観点によれば、コークス炉の炭化室の壁面測定装置において、前記コークス炉の炭化室の壁面に対して、前記炭化室の奥行方向に移動しながら、複数のレーザ光をミラーで折り曲げて照射する照射部と、前記ミラーに映る、前記複数のレーザ光の像が重畳された前記壁面を連続的に撮影して、奥行方向に延びる前記複数のレーザ光像が現れた原画像を取得する撮影部と、前記原画像を処理して追跡処理用画像を取得する画像処理部と、前記追跡処理用画像に含まれる、前記レーザ光像を追跡する追跡部と、追跡された前記レーザ光像の、前記炭化室の高さ方向における位置情報に基づいて、前記壁面の凹凸を検出する検出部と、を有し、前記照射部は、前記レーザ光を、前記レーザ光像の前記炭化室の高さ方向の幅が、前記壁面を構成する煉瓦の目地の前記炭化室の高さ方向の幅よりも細くなるように照射し、前記画像処理部は、前記原画像に対して、前記原画像に含まれる前記複数のレーザ光像又は前記目地の像に対応する複数の輝線像を収縮させ、前記複数の輝線像から前記レーザ光像の幅以下の幅を有する前記輝線像を消失させて、収縮処理画像を取得し、前記収縮処理画像に対して、前記収縮処理画像に含まれる輝線像を膨張させて、膨張処理画像を取得し、前記原画像と前記膨張処理画像との差分を抽出して、抽出画像を取得し、前記抽出画像について、前記炭化室における高さ方向の各位置について、前記炭化室の奥行方向に沿って存在する輝度の総和を算出し、得られた輝度の総和を用いて前記炭化室の奥行方向における平均輝度を取得し、あらかじめ設定した閾値以上の高い前記平均輝度を有する高さに位置する輝線像を、前記抽出画像に含まれる輝線像から除外することにより、前記追跡処理用画像を取得する、コークス炉の炭化室の壁面測定装置が提供される。
Further, in order to solve the above problems, according to another viewpoint of the present invention, in the wall surface measuring device for the carbonization chamber of the coke furnace, the wall surface of the carbonization chamber of the coke furnace is oriented in the depth direction of the carbonization chamber. The irradiation unit that irradiates a plurality of laser beams by bending them with a mirror while moving, and the wall surface on which the images of the plurality of laser beams reflected on the mirror are superimposed are continuously photographed and extends in the depth direction. An imaging unit that acquires an original image in which a plurality of laser light images appear, an image processing unit that processes the original image to acquire an image for tracking processing, and the laser light image included in the tracking processing image. The tracking unit includes a tracking unit for detecting unevenness of the wall surface based on the position information of the traced laser beam image in the height direction of the carbonization chamber, and the irradiation unit is the irradiation unit. The laser beam is irradiated so that the width of the laser beam image in the height direction of the carbonization chamber is narrower than the width of the joints of the bricks constituting the wall surface in the height direction of the carbonization chamber, and the image processing is performed. The unit contracts the plurality of laser beam images included in the original image or the plurality of emission line images corresponding to the images of the joints with respect to the original image, and the width of the laser beam image from the plurality of emission line images. The emission line image having the following width is erased to acquire a contraction-processed image, and the emission line image included in the contraction-processed image is expanded with respect to the contraction-processed image to acquire an expansion-processed image. The difference between the original image and the expansion processed image is extracted to obtain the extracted image, and the brightness existing in the extracted image at each position in the height direction in the carbonization chamber along the depth direction of the carbonization chamber is obtained. The total brightness of the above is calculated, the average brightness in the depth direction of the carbonization chamber is obtained by using the total sum of the obtained brightness, and the emission line image located at a height having the average brightness higher than the preset threshold value is obtained. By excluding from the emission line image included in the extracted image, a wall surface measuring device for a carbonization chamber of a coke furnace is provided, which acquires the tracking processing image.
また、上記課題を解決するために、本発明の別の観点によれば、コークス炉の炭化室の壁面測定装置において、前記コークス炉の炭化室の壁面に対して、前記炭化室の奥行方向に移動しながら、複数のレーザ光をミラーで折り曲げて照射する照射部と、前記ミラーに映る、前記複数のレーザ光の像が重畳された前記壁面を連続的に撮影して、奥行方向に延びる前記複数のレーザ光像が現れた原画像を取得する撮影部と、前記原画像を処理して追跡処理用画像を取得する画像処理部と、前記追跡処理用画像に含まれる、前記レーザ光像を追跡する追跡部と、追跡された前記レーザ光像の、前記炭化室の高さ方向における位置情報に基づいて、前記壁面の凹凸を検出する検出部と、を有し、前記照射部は、前記レーザ光を、前記レーザ光像の前記炭化室の高さ方向の幅が、前記壁面を構成する煉瓦の目地の前記炭化室の高さ方向の幅よりも細くなるように照射し、前記画像処理部は、前記原画像に対して、前記原画像に含まれる前記複数のレーザ光像又は前記目地の像に対応する複数の輝線像を収縮させ、前記複数の輝線像から前記レーザ光像の幅以下の幅を有する前記輝線像を消失させて、収縮処理画像を取得し、前記収縮処理画像に対して、前記収縮処理画像に含まれる輝線像を膨張させて、膨張処理画像を取得し、前記原画像と前記膨張処理画像との差分を抽出して、抽出画像を取得し、前記抽出画像について、前記炭化室における高さ方向の各位置について、前記炭化室の奥行方向に沿って存在する輝度の総和を算出し、得られた輝度の総和を用いて前記炭化室の奥行方向における平均輝度を取得し、前記炭化室の高さ方向に隣り合う前記平均輝度の変化量を算出し、あらかじめ設定した閾値以上の高い前記変化量を有する高さに位置する輝線像を、前記抽出画像に含まれる輝線像から除外することにより、前記追跡処理用画像を取得する、コークス炉の炭化室の壁面測定装置が提供される。 Further, in order to solve the above problems, according to another viewpoint of the present invention, in the wall surface measuring device for the carbonization chamber of the coke furnace, the wall surface of the carbonization chamber of the coke furnace is oriented in the depth direction of the carbonization chamber. The irradiation unit that irradiates a plurality of laser beams by bending them with a mirror while moving, and the wall surface on which the images of the plurality of laser beams reflected on the mirror are superimposed are continuously photographed and extended in the depth direction. An imaging unit that acquires an original image in which a plurality of laser light images appear, an image processing unit that processes the original image to acquire an image for tracking processing, and the laser light image included in the tracking processing image. It has a tracking unit for tracking and a detection unit for detecting unevenness of the wall surface based on the position information of the tracked laser beam image in the height direction of the carbonization chamber, and the irradiation unit is said to have the same. The image processing is performed by irradiating the laser beam so that the width of the carbonization chamber of the laser beam image in the height direction is narrower than the width of the carbonization chamber of the joints of the bricks constituting the wall surface in the height direction. The unit contracts the plurality of laser beam images included in the original image or the plurality of emission line images corresponding to the images of the joints with respect to the original image, and the width of the laser beam image from the plurality of emission line images. The emission line image having the following width is erased to obtain a shrinkage-processed image, and the emission line image included in the shrinkage-processed image is expanded with respect to the shrinkage-processed image to acquire an expansion-processed image. The difference between the original image and the expansion-processed image is extracted to obtain an extracted image, and for the extracted image, the brightness existing along the depth direction of the carbonization chamber at each position in the height direction in the carbonization chamber. Is calculated, the average brightness in the depth direction of the carbonization chamber is obtained using the obtained sum of the brightness, the amount of change in the average brightness adjacent to the height direction of the carbonization chamber is calculated, and set in advance. The wall surface measurement of the carbonization chamber of the coke furnace is obtained by excluding the emission line image located at a height having the change amount higher than the threshold value from the emission line image included in the extracted image, thereby acquiring the image for tracking processing. Equipment is provided.
以上説明したように本発明によれば、壁面の画像上のレーザ光像を適切に追跡することが可能である。 As described above, according to the present invention, it is possible to appropriately track the laser beam image on the image of the wall surface.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じて透光板106a及び透光板106bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、透光板106a及び透光板106bを特に区別する必要が無い場合には、単に透光板106と称する。
Further, in the present specification and the drawings, a plurality of components having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numerals. For example, a plurality of configurations having substantially the same functional configuration or logical significance are distinguished as necessary, such as the
<<壁面測定装置100及び壁面測定方法の概要>>
本発明の実施形態に係る壁面測定装置100及び壁面測定方法は、コークス炉の炭化室10の壁面12の凹凸を測定する装置及び方法である。本実施形態においては、先に説明したように、当該壁面測定装置100の有するラインCCDカメラ200の線状視野に含まれる壁面12上に、同じく当該壁面測定装置100の有するレーザ投光器300によりレーザ光を照射する。さらに、レーザ光の像が重畳する、高温で赤熱発光している壁面12の画像(原画像)を取得する。そして、本実施形態においては、取得した原画像上でのレーザ光像の炭化室の高さ方向における上下の変位を観測し、変位量により壁面12の凹凸量を求めることができる。
<< Outline of wall
The wall
まずは、図1及び図2を参照して、本実施形態に係る壁面測定装置100の概要について説明する。図1は、本実施形態に係る壁面測定装置100の外観構成の一例を示す説明図である。詳細には、図1には、炭化室10の一方の側から、炭化室10の奥行方向に沿って、壁面測定装置100が挿入されたときの様子を示している。なお、図1中に示される、透光板106a〜106dから伸びる直線は、壁面測定装置100の内部に設けられたラインCCDカメラ(撮影部)200a〜200dのそれぞれの、透光板106a〜106dを介した視野範囲を示す。また、図1中に示される透光板108a〜108bから伸びる直線は、壁面測定装置100の内部に設けられたレーザ投光器(照射部)300a〜300bから、透光板108a〜108bを介して照射されたレーザ光の光路の一部を示す。また、図2は、本実施形態に係る垂直柱102とミラー管104と壁面12との配置関係の一例を示す説明図であり、詳細には、垂直柱102とミラー管104とを、それらの軸に垂直な方向に沿って切ったときの断面の概略を示す説明図である。なお、垂直柱102からミラー管104を介して壁面12bまで到達する矢印は、レーザ投光器300から照射されるレーザ光の光路を示す。
First, the outline of the wall
壁面測定装置100は、図1に示すように、複数のラインCCDカメラ200及び複数のレーザ投光器300が内蔵された垂直柱102と、側面にミラー400を有するミラー管104とを主に有している。垂直柱102及びミラー管104は、2重管構造を持ち、2重管構造を構成する内管と外管との間に冷却水を流すことにより、垂直柱102及びミラー管104のそれぞれの内部が高熱に曝されないようにしている。また、垂直柱102及びミラー管104は、一体で形成されており、炭化室10の内部を炭化室10の奥行方向に沿ってともに移動することができる。さらに、壁面測定装置100は、図1には図示されない処理ユニット(画像処理部)110(図7参照)を有する。当該処理ユニット110は、壁面測定装置100により取得された画像を処理等するための複数の機能部を有するユニットであり、その詳細は後で説明する。
As shown in FIG. 1, the wall
図1に示すように、垂直柱102の前面には、透光板106a〜106dが、所定の間隔で高さ方向に設けられている。垂直柱102の内部に設けられた複数のラインCCDカメラ200a〜200dは、それぞれ透光板106a〜106dを介して、ミラー管104のミラー400に映し出された像を撮影し、壁面12の原画像を取得する。ラインCCDカメラ200は、ミラー400に映し出される像を撮影することにより、極端に狭い幅を有する炭化室10の壁面12の画像を高精度に取得することができる。なお、本実施形態においては、炉壁の高さ方向に一列に投光した複数のレーザ光の像を撮像するため、撮影装置としては、エリアカメラではなくラインCCDカメラを用いることが好ましい。さらに、ラインCCDカメラ200は、壁面測定装置100が炭化室10の内部を炭化室10の奥行方向に沿って移動することで、壁面12の二次元画像を得ることができる。
As shown in FIG. 1,
また、図1に示すように、透光板106aと透光板106bとの間と、透光板106cと透光板106dとの間には、それぞれ透光板108a、108bが設けられている。さらに、垂直柱102の内部に設けられたレーザ投光器300a、300bのそれぞれは、例えば複数の半導体レーザ302(図3参照)を有する。当該レーザ投光器300a、300bは、透光板108a、108bを介して、垂直柱102の外部へ、例えば690nm程度の波長を有する複数のレーザ光を、炭化室10の床面(図示省略)に対して傾く光路となるように、照射する(図3参照)。外部へと照射されたレーザ光は、ミラー管104のミラー400での反射によってその光路は折り曲げられ、炭化室10の壁面12上のラインCCDカメラ200a〜200dの視野に到達する。このような照射により、壁面12上には、高さ方向に沿って概ね等間隔に位置する複数のレーザ光像が現れる。例えば、レーザ投光器300aは、その上方にあるラインCCDカメラ200aで撮影される複数のレーザ光像を、壁面12上につくりだすことができる。また、レーザ投光器300bは、その下方にあるラインCCDカメラ200bで撮影される複数のレーザ光像を、壁面12上につくりだすことができる。
Further, as shown in FIG. 1,
なお、レーザ投光器は、壁面12がほぼ平らである場合に、複数のレーザ光像が、耐火煉瓦の壁面12の高さ方向の間隔(例えば130mm)にほぼ等しい間隔で、耐火煉瓦の目地と目地との間に現れるように、レーザ光の照射角度を調整することができる。
In the laser floodlight, when the
また、本実施形態においては、ラインCCDカメラ200とレーザ投光器300とは、垂直柱102の管軸を回転軸としてともに旋回することができる構成を有する。ラインCCDカメラ200とレーザ投光器300とをともに旋回させることにより、炭化室10の一方の壁面12aと他方の壁面12bとを観察することができる。さらに、図2に示すように、ミラー管104には、炭化室10の一方の壁面12aを正面から観察するためのミラー400aと、炭化室10の他方の壁面12bを正面から観察するためのミラー400bとが設けられている。これらのミラー400a、400bは、例えば、ミラー管104のステンレス製の外管の表面を鏡面研磨して鏡面化した後、クロムメッキを施すことにより形成することができる。また、これらのミラー400a、400bは、レーザ投光器300から照射されるレーザ光線の光軸に対してほぼ45°の角度を持って設置される。
Further, in the present embodiment, the
次に、図2から図4を参照して、本実施形態に係る壁面測定方法の概要について説明する。図3は、本実施形態に係る壁面測定装置100による壁面12の凹凸量を測定する手法を説明するための説明図であり、詳細には、垂直柱102とミラー管104とを、それらの軸の方向に沿って切ったときの断面の概略を示す説明図である。さらに、図4は、本実施形態に係る壁面測定装置100により得られる壁面画像(原画像)600の一例を示す図(画像)である。
Next, the outline of the wall surface measurement method according to the present embodiment will be described with reference to FIGS. 2 to 4. FIG. 3 is an explanatory diagram for explaining a method of measuring the amount of unevenness of the
例えば、図2及び図3に示すように、ラインCCDカメラ200とレーザ投光器300とを、壁面12bをねらう位置に旋回させた場合、レーザ投光器300から出射される複数のレーザ光は、ミラー400bにおいて反射され、壁面12bに到達する。これにより、壁面12b上にレーザ光像が現れる。例えば、本実施形態では、ラインCCDカメラ200の線状視野の上で幅が2mm程度の複数のレーザ光像が現われる。先に説明したように、各レーザ投光器300は、複数の半導体レーザ302からなり、各レーザ投光器300の照射により、半導体レーザ302の個数分だけのレーザ光像が壁面12b上に炭化室10の高さ方向に沿って現われる。先に説明したように、レーザ光像の幅が2mm程度であるのに対し、炭化室10を構成する耐火煉瓦の目地の、炭化室10の高さ方向に沿った幅は、4mm〜5mm程度である。このように本実施形態においては、壁面12に現れるレーザ光像と耐火煉瓦の目地の、幅の差が1mmを超えるように設定されている。詳細については後述するが、このようにすることにより、レーザ光像と耐火煉瓦の目地の画像とを画像上で区別することができる。
For example, as shown in FIGS. 2 and 3, when the
以上のようにして、レーザ光像が重畳された壁面12の画像を、ラインCCDカメラ200により撮影する。この際、壁面測定装置100を奥行き方向に沿って一定の速度(例えば、7.5m/分)で移動させる。詳細には、壁面測定装置100が所定の距離(例えば1mm)だけ移動するごとに、ラインCCDカメラ200により撮影し、撮影した画像を壁面測定装置100内の記憶部(図示省略)に格納する。これを繰り返すことにより、炭化室10の奥行方向の略全長に亘る壁面12の原画像を取得することができる。例えば、図4のような壁面12の原画像600を取得することができる。図4においては、その原画像600上には、炭化室10の奥行き方向に延びるレーザ光像700が表れている。また、当該原画像600上には、奥行き方向に伸びる耐火煉瓦の目地の像702等が含まれている。原画像600上に現れる像については、後で詳細を説明する。
As described above, the image of the
ここで、取得した画像上でのレーザ光像700の、炭化室10の高さ方向における上下の変位を観測し、当該変位量により壁面12の凹凸量を求める手法について、図3を参照して説明する。例えば、壁面12に凹部が存在していると、壁面12が平らな場合に比べて、ミラー400と壁面12との間の距離が増大する(例えば、図3中A地点)。この場合、取得した画像上では、レーザ光像700は上方向に長さBだけシフトする。これは、レーザ投光器300により、ラインCCDカメラ200の下方から、炭化室10の床面(図示省略)に対して斜めにレーザ光が照射されているためである。一方、例えば、壁面12に凸部が存在していると、壁面12が平らな場合に比べてミラー400と壁面12との間の距離が減少する。したがって、取得した画像上では、レーザ光像700は下方向にシフトする。なお、レーザ光像700のシフトする方向は、レーザ投光器300が照射するレーザ光の照射角度に応じて決定される。例えば、図3のように照射角度が炭化室10の床面の方向に対して上方に傾いている場合には、レーザ光像700は凹部の存在により上方向にシフトし、凸部の存在により下方向にシフトする。一方、照射角度が炭化室10の床面の方向に対して下方に傾いている場合には、レーザ光像700は凹部の存在により下方向にシフトし、凸部の存在により上方向にシフトする。
Here, with reference to FIG. 3, a method of observing the vertical displacement of the
そこで、本実施形態においては、取得した画像上のレーザ光像700を追跡し、追跡結果に基づいて、レーザ光像700の位置情報、すなわち高さ方向における上下変位を測定する。さらに、当該測定によって得られた位置情報と、レーザ光像700に対応するレーザ光の出射角度、及びラインCCDカメラ200の視野角・視野サイズ等の幾何学的条件とに基づいて、三角測量の原理で、壁面12の凹凸量を求めることができる。
Therefore, in the present embodiment, the
<<本発明の実施形態を創作するに至った背景>>
しかしながら、最近では以前に比べ炭化室10の炉壁煉瓦の損傷が進行し、煉瓦欠損による壁面12の大きな段差でレーザ光像700が急激に上下変位するといった箇所が増加している。このような状況において、画像上でのレーザ光像700の逐次追跡の際、レーザ光像700ではなく、誤って目地等の像を追跡してしまうことがある。以下に、その詳細を図5及び図6を用いて説明する。図5は、図4の壁面画像(原画像)600の一部を拡大した図(画像)である。さらに、図6は、従来の壁面測定装置により得られるレーザ光像700の追跡結果の一例を示す図(画像)である。
<< Background that led to the creation of the embodiment of the present invention >>
However, recently, damage to the furnace wall bricks of the
詳細には、図5に示される原画像602には、壁面12の凹凸量を測定するために用いられるレーザ光像700が3本含まれている(図5中の奥行き方向に沿って伸びる細い輝線像)。また、これらレーザ光像700の一部分は、壁面12の凹部により下にシフトしている(図5中の領域C)。さらに、当該原画像602には、レーザ光像700と同様に奥行き方向に沿って伸びる複数の太い輝線像が含まれている。この太い輝線像は、炉壁煉瓦の目地の像702である。目地の像702は、目地に付着したカーボン成分により煉瓦の地肌の像よりも明るい像となり、図5に示すような輝線像として現れる。
Specifically, the
さらに、図5の画像には、左右に伸びる細い輝線像704が含まれている(図5中の下方に位置する左右に伸びる細い輝線像)。以下の説明においては、当該輝線像を「偽レーザ光像」704と呼ぶ。この偽レーザ光像704は、壁面測定装置100のミラー管104のミラー400にわずかな汚れや粉塵の付着等があると、ミラー400自体にレーザ光が写りこんでしまうことにより、原画像に現れる。このようにして画像に現れる偽レーザ光像704は、本来の測定に用いるレーザ光像700ではなく、不要な光の像である。しかしながら、コークス炉の炭化室10の内部は、1000℃の高温で、発塵が浮遊している環境であることから、ミラー400の表面が徐々に酸化したり、ミラー400にダストが付着したりすることを避けることは難しく、上述のような原画像602上の偽レーザ光像704は頻繁に発生する。
Further, the image of FIG. 5 includes a thin
このような原画像602に対して、当該原画像上でのレーザ光像700の追跡を行う。例えば、オペレータは原画像602の左側の端において追跡を開始する開始点を設定し、設定した開始点から原画像602上の左から右に向かって、炭化室10の奥行方向に沿って輝線像を追跡する。具体的には、まず開始点の右側の所定の高さ範囲にある最も輝度が高い画素を選択し、次に、選択した画素を新たな起点として同様に右側にある輝度が最も高い画素を探索する。この処理を右方向(炭化室の奥行方向)に逐次進め、高輝度画素を追跡する。この際、次の高輝度画素を探索する高さ方向の範囲は、炉壁上の段差である凹凸でレーザ光像が不連続に変位してもレーザ光像を追従できるように設定する。このような従来の壁面測定装置を用いて、目地の像702や偽レーザ光像704をも含む図5の原画像602に対してレーザ光像700の追跡を行うと、例えば、図6に示すような追跡結果620が得られることがあった。
With respect to such an
詳細には、図6に示される追跡結果620においては、図5の原画像上でレーザ光像700の追跡処理を行った結果を示す3本の追跡線706a、706b、706cが原画像602に重ねられるように示されている。具体的には、図6中の一番上に位置する追跡線706aが図6中の一番上に位置するレーザ光像700aに重なっていることから、レーザ光像700aに対しては適切に追跡がなされていることがわかる。それに対して、図6中の中段に位置する追跡線706bは、図6中の中段に位置するレーザ光像700bに一部は重なっているものの、図6中の右側に位置する領域D(白い枠に囲まれている領域)においてはレーザ光像700に重なっていないことから、レーザ光像700bに対しては適切に追跡がなされていないことがわかる。さらに、当該領域Dでは追跡線706bは目地の像702と重なっていることから、目地の像702をレーザ光像700として追跡してしまっていることがわかる。以下の説明においては、この領域Dのように、本来追跡すべきレーザ光像700から外れて他の輝線像(目地の像702等)を追跡した場合を「追跡はずれ」と称する。また、図6中の一番下に位置する追跡線706cは、図6中の一番下に位置するレーザ光像700cに一部は重なっているものの、図6中の右側に位置する領域E(白い枠に囲まれている領域)においてはレーザ光像700cに重なっていないことから、「追跡はずれ」が生じており、レーザ光像700cに対しては適切に追跡がなされていないことがわかる。さらに、当該領域Eでは追跡線706cは偽レーザ光像704と重なっており、偽レーザ光像704をレーザ光像700として追跡してしまっていることがわかる。
Specifically, in the
このように、従来の壁面測定装置を用いてレーザ光像700の追跡を行った場合、「真の」レーザ光像700と、目地の像702もしくは偽レーザ光像704とが近接している箇所においては「追跡はずれ」が生じることがある。すなわち、「真の」レーザ光像700の近くに僅かにでも輝度の高い輝線像が存在すれば、従来の壁面測定装置においては、その存在箇所において、目地の像702もしくは偽レーザ光像704を追跡対象であるレーザ光像700と認識することがある。その結果、従来の壁面測定装置においては、画像上でのレーザ光像700の逐次追跡の際、本来追跡すべきレーザ光像700以外の輝線像を誤って追跡してしまうことから、適切にレーザ光像700の追跡ができないことがある。このような場合、適切にレーザ光像700の追跡ができていないことから、壁面12の凹凸量を適切に測定することができない。
Thus, when the
そこで、本発明者は、上記事情を鑑みて本発明の実施形態を創作するに至った。本発明の実施形態によれば、壁面の画像上のレーザ光像700を適切に追跡することができる。以下、このような本発明の実施形態に係る壁面測定装置100及び壁面測定方法を順次詳細に説明する。
Therefore, the present inventor has come to create an embodiment of the present invention in view of the above circumstances. According to the embodiment of the present invention, the
<<本発明の実施形態>>
<処理ユニット110の詳細>
先に説明したように、本実施形態に係る壁面測定装置100は、壁面測定装置100により取得された画像を処理等するための複数の機能部からなる処理ユニット(画像処理部)110を有する。以下に、図7を参照して本実施形態に係る処理ユニット110を説明する。図7は、本発明の実施形態に係る壁面測定装置100が有する処理ユニット110の機能構成の一例を示すブロック図である。なお、処理ユニット110以外の壁面測定装置100の各構成要素については、先に説明したため、ここでは説明を省略する。
<< Embodiment of the present invention >>
<Details of
As described above, the wall
処理ユニット110は、例えば、パーソナルコンピュータ等、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)、画像入出力ボード、及び各種のインターフェースを有した装置である。図7に示すように、壁面測定装置100の処理ユニット110は、機能ブロックとして、原画像取得部500と、抽出画像取得部510と、追跡処理用画像取得部520と、追跡部530と、凹凸量算出部(検出部)540と、凹凸量表示部550とを主に有する。
The
(原画像取得部500)
原画像取得部500は、先に説明した壁面12の原画像をラインCCDカメラ200から取得し、取得した原画像を記憶する。例えば、原画像取得部500の動作は、処理ユニット110の通信インターフェース(図示省略)を介して、ラインCCDカメラ200から原画像のデータを受信し、処理ユニット110のCPU(図示省略)が、コンピュータプログラムに従って、受信された原画像のデータを処理ユニット110のHDD(図示省略)等に記憶することにより実現できる。
(Original image acquisition unit 500)
The original
(抽出画像取得部510)
抽出画像取得部510は、原画像上で、レーザ光像700の、炭化室10の高さ方向に沿った幅と、耐火煉瓦の目地の像702の、炭化室10の高さ方向に沿った幅とが異なることを利用して、レーザ光像700の幅以下の幅を持つ輝線像を抽出する。抽出された輝線像には、耐火煉瓦の目地の像702の幅よりも狭い幅を持つレーザ光像700が含まれる。抽出画像取得部510がレーザ光像700を抽出することにより、追跡に供される画像においては目地の像702を除外することができることから、誤って目地の像702を追跡することを避けることができる。例えば、抽出画像取得部510の動作は、上記CPU(図示省略)が、コンピュータプログラムに従って、原画像取得部500が取得した原画像を上記HDD(図示省略)から読み出すと共に、読み出した原画像に対して処理を行うことで実現される。
(Extracted image acquisition unit 510)
On the original image, the extracted
なお、ここで、レーザ光像700の幅と耐火煉瓦の目地の像702の幅とが異なるとは、これらの幅に対応する画素数が異なることを示す。例えば、レーザ光像700の幅と耐火煉瓦の目地の像702の幅との差が、画素数として「1」であればよい。しかしながら、レーザ光像700の幅や耐火煉瓦の目地の像702の幅が厳密には一定でないことを考慮すると、当該差は、画素数として「2」又は「3」又はそれ以上であることが好ましい。具体的には、耐火煉瓦の目地の像702の幅は、実際には4〜5mm程度であり、画像上では5〜7程度の画素数にあたる。一方、レーザ光像700の幅は、実際には2mm程度であり、画像上では2〜3程度の画素数にあたる。また、本実施形態においては、画像の分解能は、例えば、奥行方向で約1mm、高さ方向で約0.7mmとなっている。
Here, the difference between the width of the
−トップハット処理−
ここで、抽出画像取得部510による、レーザ光像700の幅以下の幅を持つ輝線像を抽出する抽出処理の一例を説明する。抽出画像取得部510は、例えば、原画像に対してトップハット処理を行うことにより、レーザ光像700の幅以下の幅を持つ輝線像を抽出し、抽出画像を取得する。以下に、図8を参照してトップハット処理を説明する。図8は、本実施形態に係るトップハット処理の一例を説明するための説明図であり、詳細には、図8には、図8(a)から順に図8(f)までが含まれており、それぞれ、トップハット処理における各段階における画像の状態を示している。
-Top hat processing-
Here, an example of the extraction process for extracting the emission line image having a width equal to or less than the width of the
トップハット処理では、所定の規則に基づいて画像に対して収縮処理及び膨張処理等を行うことにより、特定の線状の像のみを抽出する。本実施形態においては、収縮処理と膨張処理とを順次実行して、レーザ光像700の幅以下の幅を持つ輝線像を抽出する。先に説明したように、レーザ光像700の幅は、画像上で2〜3画素の太さになるように設計している。一方、目地の像702の幅は、画像上で5〜7画素以上である。抽出画像取得部510は、このような幅の差に着目して処理を行う。
In the top hat process, only a specific linear image is extracted by performing a shrinkage process, an expansion process, or the like on the image based on a predetermined rule. In the present embodiment, the contraction process and the expansion process are sequentially executed to extract an emission line image having a width equal to or less than the width of the
トップハット処理前の状態である図8(a)に示されるように、原画像800は、6画素の幅の輝線像820、822、824と、3画素の幅の輝線像830とを含む。なお、輝線像820、822、824は、目地の像702に対応し、輝線像830は、レーザ光像700に対応する。
As shown in FIG. 8A, which is a state before the top hat processing, the
次に、この原画像800に対して、レーザ光像700の幅以下の輝線像を収縮させて、消失させる収縮処理を行う。例えば、3×3画素の矩形カーネルによる収縮処理(3×3画素の最も暗い輝度の画素値を選択する処理を原画像800の全ての画素を注目画素として行う処理)を2回実行する(図8(b)及び図8(c))。その結果、図8(c)の画像804として示すような収縮処理画像を得ることができる。図8(c)からわかるように、画像804においては、幅が3画素の輝線像830が消失しているのに対し、幅が6画素の輝線像820、822、824は2画素の幅の細い輝線像として残存する。
Next, the
次に、画像804に対して、輝線像を膨張させる膨張処理を行う。例えば、3×3画素の矩形カーネルによる膨張処理(上述の収縮処理とは逆の処理。ここでは、3×3画素の最も明るい輝度の画素値を選択する処理を画像804の全ての画素を注目画素として行う処理)を2回実行する(図8(d)及び図8(e))。すると、図8(e)の画像808として示すような膨張処理画像を得ることができる。図8(e)からわかるように、原画像800における幅が6画素の輝線像820、822、824は元の幅の輝線像に復元されるのに対し、収縮処理で消失した幅が3画素の輝線像830は復元されない。
Next, the
次に、原画像800の画素値と、収縮処理と膨張処理とを行った後に得られる膨張処理画像808(図8(e)参照)の画素値であって、当該原画像800の画素に対応する画素の画素値との差分を求める。すると、図8(f)に示すような抽出画像810を得ることができる。図8(f)からわかるように、抽出画像810においては、原画像800における幅が3画素の輝線像830のみが抽出されている。
Next, the pixel value of the
以上の処理において、原画像800において幅が3画素よりも細い輝線像があったとしても、トップハット処理により、当該輝線像が抽出されることは明らかである。このように、トップハット処理により、特定の幅以下の輝線像だけを抽出することが可能である。なお、上述の説明においては、収縮処理及び膨張処理は、それぞれ2段階ずつ実施するものとして説明したが、本実施形態においては、これに限定されるものではなく、1段階でもよく、3段階以上でもよく、カーネルの大きさと抽出したい輝線像の幅等に応じて適宜選択される。また、本実施形態においては、収縮処理及び膨張処理の処理規則についても、同様に、抽出したい輝線像の幅等に応じて適宜選択される。
In the above processing, even if there is a bright line image having a width narrower than 3 pixels in the
(追跡処理用画像取得部520)
次に、処理ユニット110の機能構成の一例を示すブロック図である図7に戻って、追跡処理用画像取得部520を説明する。追跡処理用画像取得部520は、画像に含まれる、炭化室10の奥行方向に延びる複数の輝線像に対して、その直線性を判断し、直線性の判断に基づいて当該画像を処理し、追跡処理用画像を取得する。詳細には、追跡処理用画像取得部520は、直線性の高い輝線像であると判断した輝線像を検出し、検出した輝度像を画像から削除することにより、偽レーザ光像704の検出、削除処理を実施する。追跡処理用画像取得部520がこのような処理を行うことにより、追跡に供される画像においては偽レーザ光像704を除外されていることから、誤って偽レーザ光像704を追跡することを避けることができる。ここで、直線性の高い輝線像とは、画像上において、炭化室10の高さ方向に沿って上下変動が全くない、もしくは、非常に少ない輝線像のことをいう。また、追跡処理用画像取得部520の動作は、上記CPU(図示省略)が、コンピュータプログラムに従って、抽出画像取得部510が処理した画像を上記HDD(図示省略)から読み出すと共に、読み出した画像に対して上記の処理を行うことで実現される。
(
Next, returning to FIG. 7, which is a block diagram showing an example of the functional configuration of the
−偽レーザ光像の検出、削除処理−
ここで、追跡処理用画像取得部520による、偽レーザ光像704の検出、削除処理の一例を図9及び図10を参照して説明する。図9及び図10は、本実施形態に係る偽レーザ光像704の抽出処理の一例を説明するための説明図であり、詳細には、横軸が炭化室10の高さ方向に対応し、図中左から右に行くにしたがって、炭化室10の上方から床面(図示省略)に進むこととなる。また、図9及び図10の縦軸は、それぞれ、横軸の高さ方向の各位置における水平方向の平均輝度と、水平方向の平均輝度の変化量の大きさに対応する。
-Fake laser light image detection and deletion processing-
Here, an example of the detection and deletion processing of the false laser
まず、偽レーザ光像704の検出、削除処理を説明する前に、偽レーザ光像704の特徴を説明する。本実施形態に係る壁面測定装置100においてはラインCCDカメラ200とミラー400との位置関係は不変であるため、ミラー400に付着した汚れ等に起因してミラー400自体にレーザ光が写りこむことにより生じる偽レーザ光像704は、画像上で、高さ方向に沿って上下変動が全くない、もしくは、上下変動が非常に少ない直線性の高い像となる特徴がある。一方、画像上の「真の」レーザ光像700は、壁面12の凹凸や、炭化室10内を移動する壁面測定装置100の蛇行、揺れ等によって、炭化室10の高さ方向に沿って上下方向に変位する。そこで、本発明者は、このような偽レーザ光像704の特徴を利用して、画像上にて上下変動が全くない直線性の高い輝線像を検出することにより、偽レーザ光像704を検出する方法を独自に考案した。そして、追跡処理用画像取得部520により、偽レーザ光像704を検出し、検出した偽レーザ光像704を除外することにより、偽レーザ光像704を含まない追跡処理用画像が取得できることから、誤って偽レーザ光像704を追跡することを避けることができる。
First, before explaining the detection and deletion processing of the pseudo-laser
まず、追跡処理用画像取得部520は、抽出画像取得部510によるトップハット処理後の画像に対して炭化室10の奥行方向に沿ったプロジェクション処理(炭化室10における高さ方向の各位置において、奥行方向に沿って分布する画像の輝度の総和を算出する)を行い、算出された輝度の総和を用いて奥行方向における平均値を算出し、高さ方向の各位置での平均輝度を取得する。例えば、上述の奥行方向のプロジェクション処理等によって算出された、高さに対する平均輝度の遷移の結果は図9のように示される。なお、図9の横軸は、先に説明したように、炭化室10の高さ方向に対応し、図中左から右に行くにしたがって、炭化室10の上方から床面(図示省略)に進むこととなる。
First, the tracking processing
図9には、複数のピーク900、902、904、910が含まれているが、ピーク910の高さは、他のピーク900、902、904に比べて極端に高く、鋭い。当該ピーク910は、偽レーザ光像704に起因したピークであり高い平均輝度を示す。先に説明したように、偽レーザ光像704は上下変位のない直線性の高い輝線像であるため、偽レーザ光像704に対応する高さにおいては、平均輝度は高い値を持ち、且つ、急峻なピークを持つこととなる。一方、他のピーク900、902、904は、「真の」レーザ光像700に起因したピークであり、「真の」レーザ光像700は上下変位を持つため、偽レーザ光像704に起因したピーク910に比べて低く、且つ、広がったピークとなる。従って、このように算出された平均輝度から、あらかじめ設定した閾値(所定の値)以上の高い数値の平均輝度を有するピークを検出することにより、直線性の高い偽レーザ光像704の位置を特定することができる。さらに、追跡処理用画像取得部520によって、特定した位置に基づいて当該位置に存在する輝線像を画像から除外することにより、偽レーザ光像704を含まない追跡処理用画像を取得することができる。
FIG. 9 includes a plurality of
また、本実施形態においては、より確実に偽レーザ光像704の位置を特定するため、図9の平均輝度の結果に対して、微分処理を行い(図9における隣り合う2つの平均輝度値の差分(変化量)を算出する)平均輝度の変化量の絶対値を算出し、さらに、算出した絶対値を図9の全データの標準偏差で規格化してもよい。例えば、上述の微分処理等によって算出された、高さに対する平均輝度の変化量の遷移の結果は図10のように示される。なお、図10の横軸は、先に説明したように、炭化室10の高さ方向に対応し、図中左から右に行くにしたがって、炭化室10の上方から床面(図示省略)に進むこととなる。
Further, in the present embodiment, in order to more reliably identify the position of the pseudo-laser
図10には、複数のピーク920、922、930が含まれているが、ピーク930の高さは、他のピーク920、922に比べて極端に高く、鋭い。図9の結果と同様に、当該ピーク930は、偽レーザ光像704に起因したピークであり、急激に変化する輝度の変化量のために、図9における偽レーザ光像704に起因したピーク910に比べて、より顕著な急峻なピークとなる。上述のような処理を行うことにより偽レーザ光像704に起因したピークをより急峻なピークとして強調することができ、さらに規格化により画像の全体的な明るさに左右されることなく、より確実に偽レーザ光像704の位置を特定することができる。そして、このように算出された変化量から、あらかじめ設定した閾値(所定の値)以上の高い数値の変化量を有するピークを検出することにより、偽レーザ光像704の高さ方向における位置を特定することができる。さらに、図9と同様に、追跡処理用画像取得部520によって、特定した位置に基づいて当該位置に存在する輝線像を画像から除外することにより、偽レーザ光像704を含まない追跡処理用画像を取得することができる。
FIG. 10 includes a plurality of
すなわち、本実施形態においては、追跡処理用画像取得部520が、高さに対する輝度に関する値を用いて、画像に含まれる奥行方向に延びる複数の輝線像に対してその直線性を判断し、直線性の判断に基づいて、高い直線性を持つ輝度像を偽レーザ光像704として検出し、検出した偽レーザ光像704を画像から除外する処理を行う。従って、本実施形態においては、偽レーザ光像704を含まない追跡処理用画像を取得することができる。その結果、追跡に供される画像においては偽レーザ光像704が除外されていることから、誤って偽レーザ光像704を追跡することを避けることができる。
That is, in the present embodiment, the tracking processing
なお、上述の説明においては、図9の例では輝度の平均値を算出し、閾値(所定の値)以上の高い数値の平均輝度を有するピークを検出することにより、直線性の高い偽レーザ光像704を検出するとしていたが、本実施形態はこれに限定されるものではない。例えば、輝度の総和値を直接用いて、偽レーザ光像704を検出してもよい。また、本実施形態においては、例えば、画像に含まれる複数の輝線像に対してそれぞれの自己相関値を数学的に算出することにより、偽レーザ光像704を検出してもよい。具体的には、各輝度像に対して、ある領域における輝度像の形状と、当該領域から所定の距離だけ奥行方向にシフトさせた領域における当該輝度像の形状とが、どれだけ良く整合しているかを示す尺度としての自己相関を算出する。偽レーザ光像704は、レーザ光像700に比べて直線性が高いことから、どのようにシフトさせた場合であっても、その形状は整合し、レーザ光像700に比べて高い自己相関値を持つこととなる。従って、自己相関値を算出し、高い相関値を有する輝度像を検出することにより、直線性の高い偽レーザ光像704を検出することができる。また、本実施形態においては、このような数学的処理の他にも、パターンマッチング等を用いて偽レーザ光像704を検出してもよい。すなわち、本実施形態においては、各輝度像の直線性の判断に基づいて高い直線性の輝度像を検出することにより、偽レーザ光像704を検出する方法については、上述の方法に限定されるものではなく、画像上のレーザ光像700や偽レーザ光像704の状態や、所望する検出の精度等に応じて、適宜選択することができる。
In the above description, in the example of FIG. 9, the average value of the brightness is calculated, and the peak having the average brightness of a numerical value higher than the threshold value (predetermined value) is detected, so that the pseudo-laser light having high linearity is detected. Although it was supposed to detect the
(追跡部530)
次に、処理ユニット110の機能構成の一例を示すブロック図である図7に戻って、追跡部530を説明する。追跡部530は、上述の抽出画像取得部510及び追跡処理用画像取得部520によって処理がなされた後の画像においてレーザ光像700を追跡する追跡処理を行う。本実施形態では、例えば、上述の処理後の壁面12の画像を液晶ディスプレイ等の表示装置(図示省略)に表示し、その表示を参照して、オペレータが、ユーザインターフェースを操作して、追跡を開始する開始点を当該画像上に指定する。追跡部530は、指定された開始点から当該画像上に輝線像を奥行方向に沿って追跡する。なお、開始点の指定は、オペレータの手動によるものに限定されるものではなく、処理ユニット110が当該画像等を解析して自動的に指定してもよい。また、追跡部530の動作は、例えば、上記CPU(図示省略)が、コンピュータプログラムに従って、抽出画像取得部510及び追跡処理用画像取得部520によって処理がなされた後の画像を上記HDD(図示省略)から読み出すと共に、レーザ光像700の追跡に用いる条件等を上記HDDから読み出し、読み出した画像に対して追跡処理を行うことで実現される。
(Tracking unit 530)
Next, the
(凹凸量算出部540)
凹凸量算出部540は、追跡部530により得られたレーザ光像700の追跡結果と、レーザ光の出射角度、及びラインCCDカメラ200の視野角・視野サイズ等の幾何学的条件とに基づいて、三角測量の原理で壁面12の凹凸量を算出する。先に説明したように、壁面12に凹凸部が存在した場合には、レーザ光像700は、炭化室10の高さ方向において上下にシフトする。したがって、レーザ光像700の追跡結果を用いることにより、壁面12の全体に亘って凹凸量を検出することができる。例えば、凹凸量算出部540の動作は、上記CPU(図示省略)が、コンピュータプログラムに従って、追跡部530のレーザ光像700の追跡結果を上記RAM(図示省略)等から読み出すと共に、幾何学的条件を上記HDD(図示省略)等から読み出し、処理を行うことで実現される。
(Concavo-convex amount calculation unit 540)
The
(凹凸量表示部550)
凹凸量表示部550は、凹凸量算出部540によって算出された壁面12の凹凸量を示すデータを液晶ディスプレイ等の表示装置(図示省略)に表示させる。例えば、凹凸量表示部550の動作は、上記CPU(図示省略)が、コンピュータプログラムに従って、壁面12の凹凸量を上記RAM(図示省略)等から読み出して当該凹凸量の表示データを生成し、上記表示装置に出力することによって実現される。
(Concavo-convex amount display unit 550)
The unevenness
<壁面測定方法>
次に、本実施形態に係る壁面測定方法を、図5、図11から図15を用いて説明する。図11は、本実施形態に係る壁面測定方法の一例を示すフローチャート図である。図12は、本実施形態に係るトップハット処理より得られる抽出画像604の一例を示す図(画像)である。図13は、比較例として、図12のトップハット処理による抽出画像604に対してレーザ光像700の追跡を行った追跡結果622の一例を示す図(画像)である。図14は、本実施形態に係る偽レーザ光像704の検出により得られる結果624の一例を示す図(画像)である。図15は、図14の結果624に基づいて、レーザ光像700の追跡を行った追跡結果626の一例を示す図(画像)である。
<Wall measurement method>
Next, the wall surface measurement method according to the present embodiment will be described with reference to FIGS. 5, 11 to 15. FIG. 11 is a flowchart showing an example of the wall surface measuring method according to the present embodiment. FIG. 12 is a diagram (image) showing an example of the extracted image 604 obtained by the top hat process according to the present embodiment. FIG. 13 is a diagram (image) showing an example of a
図11に示すように、本実施形態に係る壁面測定方法は、ステップS100からS150までの主に6つのステップを含む。 As shown in FIG. 11, the wall surface measuring method according to the present embodiment mainly includes six steps from steps S100 to S150.
(ステップS100)
壁面測定装置100が、炭化室10の壁面12に対して、奥行方向に移動しながらレーザ光を照射し(照射工程)、レーザ光像700が重畳された壁面12を連続的に撮影した後に、原画像取得部500は、壁面測定装置100で得られた壁面12の原画像を取得する(原画像取得工程)。例えば、ステップS100で取得される原画像は、図5に示されるような原画像602のようになる。この原画像602には、レーザ光像700、目地の像702、及び偽レーザ光像704が含まれている。
(Step S100)
The wall
(ステップS110)
抽出画像取得部510は、ステップS100で取得された原画像602に対して、上述したようなトップハット処理を行う。トップハット処理を行うことにより、レーザ光像700の幅以下の幅を持つ輝線像を抽出する。例えば、ステップS110における処理により、図12に示すような抽出画像604を取得することができる。この抽出画像604には、レーザ光像700及び偽レーザ光像704が含まれているものの、レーザ光像700の幅よりも広い幅を持つ目地の像702は含まれていない。
(Step S110)
The extracted
ところで、本実施形態に対する比較例として、ステップS110で得られた抽出画像604に対してレーザ光像700の追跡処理を行った場合には、ステップS110で得られた抽出画像には偽レーザ光像704が含まれているため、適切にレーザ光像700の追跡ができないことがある。例えば、図13に示される比較例の追跡結果622においては、図12の抽出画像604に基づいてレーザ光像700の追跡処理を行った結果である3本の追跡線706d、706e、706fが原画像602に重ねられるように示されている。具体的には、図13中の一番上及び中段に位置する追跡線706d、706eは、図13中の一番上に位置するレーザ光像700d及び図13の中段に位置するレーザ光像700eにそれぞれ重なっており、適切にレーザ光像700d、700eの追跡がなされていることがわかる。それに対して、また、図13中の一番下に位置する追跡線706fは、図13中の一番下に位置するレーザ光像700fに一部は重なっているものの、図13中の右側に位置する領域F(白い枠に囲まれている領域)においては、レーザ光像700fに重なっていないことから、「追跡はずれ」が生じており、レーザ光像700fに対しては適切に追跡がなされていないことがわかる。さらに、当該領域Fでは、追跡線706fは偽レーザ光像704aに重なっており、すなわち、偽レーザ光像704aをレーザ光像700として追跡してしまっていることがわかる。そこで、本実施形態においては、適切にレーザ光像700の追跡を行うために、次のステップS120を行うこととなる。
By the way, as a comparative example with respect to the present embodiment, when the tracking process of the
(ステップS120)
追跡処理用画像取得部520は、ステップS110で得られたトップハット処理後の抽出画像604に対して、抽出画像604に含まれる奥行方向に延びる複数の輝線像に対してその直線性を判断し、直線性の判断に基づいて偽レーザ光像704を検出する。例えば、ステップS120における処理により、図14に示すような結果624を取得することができる。詳細には、追跡処理用画像取得部520は、直線性の高い輝線像を偽レーザ光像704aとして検出し、検出した偽レーザ光像704aを図14の下側に位置する枠940で囲むことにより、当該検出結果を示す。そして、追跡処理用画像取得部520は、検出した偽レーザ光像704aを抽出画像604から除外して、次のステップS130での追跡処理のための追跡処理用画像を取得する。
(Step S120)
The tracking processing
(ステップS130)
追跡部530は、ステップS120で得られた追跡処理用画像に対してレーザ光像700を追跡する追跡処理を行う(追跡工程)。例えば、ステップS130における処理により、図15に示すような追跡結果626を取得することができる。詳細には、図15に示される追跡結果626においては、ステップS120で得られた追跡処理用画像に基づいてレーザ光像700の追跡処理を行った結果である3本の追跡線706g、706h、706iが原画像602に重ねられるように示されている。これら3本の追跡線706g、706h、706iは、それぞれ図15中のレーザ光像700g、700h、700iと重なっており、適切にレーザ光像700g、700h、700iの追跡がなされていることがわかる。本実施形態によれば、上述のステップS110及びステップS120での処理を経た追跡処理用画像に対して追跡処理を行うことにより、「追跡はずれ」が生ずることなく、「真の」レーザ光像700を追跡することができる。
(Step S130)
The
(ステップS140)
凹凸量算出部540は、ステップS130で得られたレーザ光像700の追跡結果に基づいて、壁面12の凹凸を検出し、凹凸量を算出する(検出工程)。
(Step S140)
The
(ステップS150)
凹凸量表示部550は、ステップS140で算出された壁面12の凹凸量を示すデータを表示装置(図示省略)に表示させる。
(Step S150)
The unevenness
以上、本発明の実施形態について説明した。本実施形態においては、トップハット処理を行うことにより、レーザ光像700の幅以下の幅を持つ輝線像を抽出することができるため、追跡処理用画像から目地の像702を除外することができる。さらに、本実施形態においては、画像に含まれる奥行方向に延びる複数の輝線像に対してその直線性を判断し、直線性の判断に基づいて偽レーザ光像704を検出することにより、追跡処理用画像から偽レーザ光像704aを除外することができる。従って、本実施形態によれば、目地の像702及び偽レーザ光像704が除外された追跡処理用画像に対して、レーザ光像700の追跡を行うことができることから、「追跡はずれ」が生ずることなく、「真の」レーザ光像700を適切に追跡することができる。その結果、本実施形態によれば、壁面12の凹凸量を適切に測定することができる。
The embodiment of the present invention has been described above. In the present embodiment, since the emission line image having a width equal to or less than the width of the
<<補足>>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
<< Supplement >>
Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to such examples. It is clear that a person having ordinary knowledge in the field of technology to which the present invention belongs can come up with various modifications or modifications within the scope of the technical idea described in the claims. , These are also naturally understood to belong to the technical scope of the present invention.
また、上述した実施形態の方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理の方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって処理されていてもよい。 Also, each step in the method of the above-described embodiment does not necessarily have to be processed in the order described. For example, each step may be processed in an appropriately reordered manner. Further, each step may be partially processed in parallel or individually instead of being processed in chronological order. Further, the processing method of each step does not necessarily have to be processed according to the described method, and may be processed by, for example, another functional unit.
さらに、上述した実施形態にかかる方法の少なくとも一部は、コンピュータを機能させる情報処理プログラムとして、ソフトウェアで構成することが可能であり、ソフトウェアで構成する場合には、これらの方法の少なくとも一部を実現するプログラムをフレキシブルディスクやCD(Conpact Disc)−ROM等の記録媒体に収納し、壁面測定装置100等、もしくは、壁面測定装置100以外の他の装置に読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。さらに、これらの方法の少なくとも一部を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
Further, at least a part of the methods according to the above-described embodiment can be configured by software as an information processing program for operating a computer, and when configured by software, at least a part of these methods can be configured. The program to be realized may be stored in a recording medium such as a flexible disk or a CD (Compact Disc) -ROM, read by a wall
10 炭化室
12、12a、12b 壁面
100 壁面測定装置
102 垂直柱
104 ミラー管
106、106a〜106d、108、108a〜108b 透光板
110 処理ユニット
200、200a〜200d ラインCCDカメラ
300、300a〜300b レーザ投光器
302 半導体レーザ
400、400a、400b ミラー
500 原画像取得部
510 抽出画像取得部
520 追跡処理用画像取得部
530 追跡部
540 凹凸量算出部
550 凹凸量表示部
600、602、604 画像
620、622、624、626 結果
700、700a〜700f レーザ光像
702 目地の像
704、704a 偽レーザ光像
706、706a〜706i 追跡線
800、802、804、806、808、810 画像
820、822、824、830 輝線像
900、902、904、910、920、922、930 ピーク
940 枠
10
Claims (4)
前記コークス炉の炭化室の壁面に対して、前記炭化室の奥行方向に移動しながら、複数のレーザ光をミラーで折り曲げて照射する照射工程と、
前記ミラーに映る、前記複数のレーザ光の像が重畳された前記壁面を連続的に撮影して、奥行方向に延びる前記複数のレーザ光像が現れた原画像を取得する原画像取得工程と、
前記原画像を処理して追跡処理用画像を取得する画像処理工程と、
前記追跡処理用画像に含まれる、前記レーザ光像を追跡する追跡工程と、
追跡された前記レーザ光像の、前記炭化室の高さ方向における位置情報に基づいて、前記壁面の凹凸を検出する検出工程と、
を有し、
前記照射工程は、前記レーザ光を、前記レーザ光像の前記炭化室の高さ方向の幅が、前記壁面を構成する煉瓦の目地の前記炭化室の高さ方向の幅よりも細くなるように照射し、
前記画像処理工程は、
前記原画像に対して、前記原画像に含まれる前記複数のレーザ光像又は前記目地の像に対応する複数の輝線像を収縮させ、前記複数の輝線像から前記レーザ光像の幅以下の幅を有する前記輝線像を消失させて、収縮処理画像を取得し、
前記収縮処理画像に対して、前記収縮処理画像に含まれる輝線像を膨張させて、膨張処理画像を取得し、
前記原画像と前記膨張処理画像との差分を抽出して、抽出画像を取得し、
前記抽出画像について、前記炭化室における高さ方向の各位置について、前記炭化室の奥行方向に沿って存在する輝度の総和を算出し、得られた輝度の総和を用いて前記炭化室の奥行方向における平均輝度を取得し、あらかじめ設定した閾値以上の高い前記平均輝度を有する高さに位置する輝線像を、前記抽出画像に含まれる輝線像から除外することにより、前記追跡処理用画像を取得する、コークス炉の炭化室の壁面測定方法。 In the method of measuring the wall surface of the carbonization chamber of a coke oven,
An irradiation step of irradiating the wall surface of the carbonization chamber of the coke oven by bending a plurality of laser beams with a mirror while moving in the depth direction of the carbonization chamber.
An original image acquisition step of continuously photographing the wall surface on which the images of the plurality of laser beams reflected on the mirror are superimposed, and acquiring an original image in which the plurality of laser light images extending in the depth direction appear.
An image processing step of processing the original image to acquire an image for tracking processing, and
A tracking step for tracking the laser beam image included in the tracking processing image, and
A detection step of detecting the unevenness of the wall surface based on the position information of the traced laser beam image in the height direction of the carbonization chamber.
Have,
In the irradiation step, the width of the laser beam in the height direction of the carbonization chamber of the laser beam image is narrower than the width of the carbonization chamber of the brick joint constituting the wall surface in the height direction. Irradiate and
The image processing step is
A plurality of laser beam images included in the original image or a plurality of emission line images corresponding to the images of the joints are contracted with respect to the original image, and the width of the plurality of emission line images is equal to or less than the width of the laser beam image. The emission line image having the above-mentioned emission line image is erased, and a contraction processed image is acquired.
The bright line image included in the contraction-processed image is expanded with respect to the contraction-processed image to obtain an expansion-processed image.
The difference between the original image and the expansion processed image is extracted, and the extracted image is acquired.
With respect to the extracted image, the total brightness existing along the depth direction of the carbonization chamber is calculated for each position in the height direction in the carbonization chamber, and the total brightness obtained is used in the depth direction of the carbonization chamber. The tracking processing image is acquired by acquiring the average brightness in the above and excluding the emission line image located at a height having the average brightness higher than a preset threshold value from the emission line image included in the extracted image. , How to measure the wall surface of the carbonization chamber of a coke oven.
前記コークス炉の炭化室の壁面に対して、前記炭化室の奥行方向に移動しながら、複数のレーザ光をミラーで折り曲げて照射する照射工程と、
前記ミラーに映る、前記複数のレーザ光の像が重畳された前記壁面を連続的に撮影して、奥行方向に延びる前記複数のレーザ光像が現れた原画像を取得する原画像取得工程と、
前記原画像を処理して追跡処理用画像を取得する画像処理工程と、
前記追跡処理用画像に含まれる、前記レーザ光像を追跡する追跡工程と、
追跡された前記レーザ光像の、前記炭化室の高さ方向における位置情報に基づいて、前記壁面の凹凸を検出する検出工程と、
を有し、
前記照射工程は、前記レーザ光を、前記レーザ光像の前記炭化室の高さ方向の幅が、前記壁面を構成する煉瓦の目地の前記炭化室の高さ方向の幅よりも細くなるように照射し、
前記画像処理工程は、
前記原画像に対して、前記原画像に含まれる前記複数のレーザ光像又は前記目地の像に対応する複数の輝線像を収縮させ、前記複数の輝線像から前記レーザ光像の幅以下の幅を有する前記輝線像を消失させて、収縮処理画像を取得し、
前記収縮処理画像に対して、前記収縮処理画像に含まれる輝線像を膨張させて、膨張処理画像を取得し、
前記原画像と前記膨張処理画像との差分を抽出して、抽出画像を取得し、
前記抽出画像について、前記炭化室における高さ方向の各位置について、前記炭化室の奥行方向に沿って存在する輝度の総和を算出し、得られた輝度の総和を用いて前記炭化室の奥行方向における平均輝度を取得し、前記炭化室の高さ方向に隣り合う前記平均輝度の変化量を算出し、あらかじめ設定した閾値以上の高い前記変化量を有する高さに位置する輝線像を、前記抽出画像に含まれる輝線像から除外することにより、前記追跡処理用画像を取得する、コークス炉の炭化室の壁面測定方法。 In the method of measuring the wall surface of the carbonization chamber of a coke oven,
An irradiation step of irradiating the wall surface of the carbonization chamber of the coke oven by bending a plurality of laser beams with a mirror while moving in the depth direction of the carbonization chamber.
An original image acquisition step of continuously photographing the wall surface on which the images of the plurality of laser beams reflected on the mirror are superimposed, and acquiring an original image in which the plurality of laser light images extending in the depth direction appear.
An image processing step of processing the original image to acquire an image for tracking processing, and
A tracking step for tracking the laser beam image included in the tracking processing image, and
A detection step of detecting the unevenness of the wall surface based on the position information of the traced laser beam image in the height direction of the carbonization chamber.
Have,
In the irradiation step, the width of the laser beam in the height direction of the carbonization chamber of the laser beam image is narrower than the width of the carbonization chamber of the brick joint constituting the wall surface in the height direction. Irradiate and
The image processing step is
A plurality of laser beam images included in the original image or a plurality of emission line images corresponding to the images of the joints are contracted with respect to the original image, and the width of the plurality of emission line images is equal to or less than the width of the laser beam image. The emission line image having the above-mentioned emission line image is erased, and a contraction processed image is acquired.
The bright line image included in the contraction-processed image is expanded with respect to the contraction-processed image to obtain an expansion-processed image.
The difference between the original image and the expansion processed image is extracted, and the extracted image is acquired.
With respect to the extracted image, the total brightness existing along the depth direction of the carbonization chamber is calculated for each position in the height direction in the carbonization chamber, and the total brightness obtained is used in the depth direction of the carbonization chamber. The average brightness in the above is obtained, the amount of change in the average brightness adjacent to each other in the height direction of the carbonization chamber is calculated, and the emission line image located at a height having the amount of change higher than a preset threshold is extracted. A method for measuring the wall surface of a carbonization chamber of a coke oven, which acquires the image for tracking processing by excluding it from the emission line image included in the image.
前記コークス炉の炭化室の壁面に対して、前記炭化室の奥行方向に移動しながら、複数のレーザ光をミラーで折り曲げて照射する照射部と、
前記ミラーに映る、前記複数のレーザ光の像が重畳された前記壁面を連続的に撮影して、奥行方向に延びる前記複数のレーザ光像が現れた原画像を取得する撮影部と、
前記原画像を処理して追跡処理用画像を取得する画像処理部と、
前記追跡処理用画像に含まれる、前記レーザ光像を追跡する追跡部と、
追跡された前記レーザ光像の、前記炭化室の高さ方向における位置情報に基づいて、前記壁面の凹凸を検出する検出部と、
を有し、
前記照射部は、前記レーザ光を、前記レーザ光像の前記炭化室の高さ方向の幅が、前記壁面を構成する煉瓦の目地の前記炭化室の高さ方向の幅よりも細くなるように照射し、
前記画像処理部は、
前記原画像に対して、前記原画像に含まれる前記複数のレーザ光像又は前記目地の像に対応する複数の輝線像を収縮させ、前記複数の輝線像から前記レーザ光像の幅以下の幅を有する前記輝線像を消失させて、収縮処理画像を取得し、
前記収縮処理画像に対して、前記収縮処理画像に含まれる輝線像を膨張させて、膨張処理画像を取得し、
前記原画像と前記膨張処理画像との差分を抽出して、抽出画像を取得し、
前記抽出画像について、前記炭化室における高さ方向の各位置について、前記炭化室の奥行方向に沿って存在する輝度の総和を算出し、得られた輝度の総和を用いて前記炭化室の奥行方向における平均輝度を取得し、あらかじめ設定した閾値以上の高い前記平均輝度を有する高さに位置する輝線像を、前記抽出画像に含まれる輝線像から除外することにより、前記追跡処理用画像を取得する、コークス炉の炭化室の壁面測定装置。 In the wall surface measuring device of the carbonization chamber of the coke oven
An irradiation unit that irradiates the wall surface of the carbonization chamber of the coke oven by bending a plurality of laser beams with a mirror while moving in the depth direction of the carbonization chamber.
An imaging unit that continuously photographs the wall surface on which the images of the plurality of laser beams reflected on the mirror are superimposed, and acquires an original image in which the plurality of laser beam images extending in the depth direction appear.
An image processing unit that processes the original image and acquires an image for tracking processing,
A tracking unit that tracks the laser beam image included in the tracking processing image, and
A detection unit that detects the unevenness of the wall surface based on the position information of the tracked laser beam image in the height direction of the carbonization chamber.
Have,
The irradiation unit emits the laser beam so that the width of the laser beam image in the height direction of the carbonization chamber is narrower than the width of the brick joint forming the wall surface in the height direction of the carbonization chamber. Irradiate and
The image processing unit
A plurality of laser beam images included in the original image or a plurality of emission line images corresponding to the images of the joints are contracted with respect to the original image, and the width of the plurality of emission line images is equal to or less than the width of the laser beam image. The emission line image having the above-mentioned emission line image is erased, and a contraction processed image is acquired.
The bright line image included in the contraction-processed image is expanded with respect to the contraction-processed image to obtain an expansion-processed image.
The difference between the original image and the expansion processed image is extracted, and the extracted image is acquired.
With respect to the extracted image, the total brightness existing along the depth direction of the carbonization chamber is calculated for each position in the height direction in the carbonization chamber, and the total brightness obtained is used in the depth direction of the carbonization chamber. The tracking processing image is acquired by acquiring the average brightness in the above and excluding the emission line image located at a height having the average brightness higher than a preset threshold value from the emission line image included in the extracted image. , Wall measuring device for carbonization chamber of coke oven.
前記コークス炉の炭化室の壁面に対して、前記炭化室の奥行方向に移動しながら、複数のレーザ光をミラーで折り曲げて照射する照射部と、
前記ミラーに映る、前記複数のレーザ光の像が重畳された前記壁面を連続的に撮影して、奥行方向に延びる前記複数のレーザ光像が現れた原画像を取得する撮影部と、
前記原画像を処理して追跡処理用画像を取得する画像処理部と、
前記追跡処理用画像に含まれる、前記レーザ光像を追跡する追跡部と、
追跡された前記レーザ光像の、前記炭化室の高さ方向における位置情報に基づいて、前記壁面の凹凸を検出する検出部と、
を有し、
前記照射部は、前記レーザ光を、前記レーザ光像の前記炭化室の高さ方向の幅が、前記壁面を構成する煉瓦の目地の前記炭化室の高さ方向の幅よりも細くなるように照射し、
前記画像処理部は、
前記原画像に対して、前記原画像に含まれる前記複数のレーザ光像又は前記目地の像に対応する複数の輝線像を収縮させ、前記複数の輝線像から前記レーザ光像の幅以下の幅を有する前記輝線像を消失させて、収縮処理画像を取得し、
前記収縮処理画像に対して、前記収縮処理画像に含まれる輝線像を膨張させて、膨張処理画像を取得し、
前記原画像と前記膨張処理画像との差分を抽出して、抽出画像を取得し、
前記抽出画像について、前記炭化室における高さ方向の各位置について、前記炭化室の奥行方向に沿って存在する輝度の総和を算出し、得られた輝度の総和を用いて前記炭化室の奥行方向における平均輝度を取得し、前記炭化室の高さ方向に隣り合う前記平均輝度の変化量を算出し、あらかじめ設定した閾値以上の高い前記変化量を有する高さに位置する輝線像を、前記抽出画像に含まれる輝線像から除外することにより、前記追跡処理用画像を取得する、コークス炉の炭化室の壁面測定装置。
In the wall surface measuring device of the carbonization chamber of the coke oven
An irradiation unit that irradiates the wall surface of the carbonization chamber of the coke oven by bending a plurality of laser beams with a mirror while moving in the depth direction of the carbonization chamber.
An imaging unit that continuously photographs the wall surface on which the images of the plurality of laser beams reflected on the mirror are superimposed, and acquires an original image in which the plurality of laser beam images extending in the depth direction appear.
An image processing unit that processes the original image and acquires an image for tracking processing,
A tracking unit that tracks the laser beam image included in the tracking processing image, and
A detection unit that detects the unevenness of the wall surface based on the position information of the tracked laser beam image in the height direction of the carbonization chamber.
Have,
The irradiation unit emits the laser beam so that the width of the laser beam image in the height direction of the carbonization chamber is narrower than the width of the brick joint forming the wall surface in the height direction of the carbonization chamber. Irradiate and
The image processing unit
A plurality of laser beam images included in the original image or a plurality of emission line images corresponding to the images of the joints are contracted with respect to the original image, and the width of the plurality of emission line images is equal to or less than the width of the laser beam image. The emission line image having the above-mentioned emission line image is erased, and a contraction processed image is acquired.
The bright line image included in the contraction-processed image is expanded with respect to the contraction-processed image to obtain an expansion-processed image.
The difference between the original image and the expansion processed image is extracted, and the extracted image is acquired.
With respect to the extracted image, the total brightness existing along the depth direction of the carbonization chamber is calculated for each position in the height direction in the carbonization chamber, and the total brightness obtained is used in the depth direction of the carbonization chamber. The average brightness in the above is obtained, the amount of change in the average brightness adjacent to each other in the height direction of the carbonization chamber is calculated, and the emission line image located at a height having the amount of change higher than a preset threshold is extracted. A wall surface measuring device for a carbonization chamber of a coke oven, which acquires an image for tracking processing by excluding it from a luminance line image included in the image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016189820A JP6848304B2 (en) | 2016-09-28 | 2016-09-28 | Wall measurement method and wall surface measurement device for carbonization chamber of coke oven |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016189820A JP6848304B2 (en) | 2016-09-28 | 2016-09-28 | Wall measurement method and wall surface measurement device for carbonization chamber of coke oven |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018053075A JP2018053075A (en) | 2018-04-05 |
JP6848304B2 true JP6848304B2 (en) | 2021-03-24 |
Family
ID=61833567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016189820A Active JP6848304B2 (en) | 2016-09-28 | 2016-09-28 | Wall measurement method and wall surface measurement device for carbonization chamber of coke oven |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6848304B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3962173B2 (en) * | 1999-03-16 | 2007-08-22 | 新日本製鐵株式会社 | Coke oven wall observation device |
JP4362391B2 (en) * | 2004-03-08 | 2009-11-11 | 新日本製鐵株式会社 | Furnace wall shape measuring method and furnace wall shape measuring apparatus |
JP4262282B2 (en) * | 2007-03-29 | 2009-05-13 | 新日本製鐵株式会社 | Coke oven wall surface repair simulation apparatus, coke oven wall surface repair simulation method, and computer program |
JP5569318B2 (en) * | 2010-10-06 | 2014-08-13 | 新日鐵住金株式会社 | Coke oven carbonization chamber wall surface measuring method, coke oven carbonization chamber wall surface measuring device, and computer program |
JP5569332B2 (en) * | 2010-10-20 | 2014-08-13 | 新日鐵住金株式会社 | Coke oven wall surface state evaluation method, coke oven wall surface state evaluation apparatus, and computer program |
JP6227220B2 (en) * | 2010-12-27 | 2017-11-08 | Jfeスチール株式会社 | Furnace wall shape measuring apparatus, furnace wall shape measuring system, and furnace wall shape measuring method |
-
2016
- 2016-09-28 JP JP2016189820A patent/JP6848304B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018053075A (en) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10679374B2 (en) | Graphic overlay for measuring dimensions of features using a video inspection device | |
JP5569318B2 (en) | Coke oven carbonization chamber wall surface measuring method, coke oven carbonization chamber wall surface measuring device, and computer program | |
JP5175528B2 (en) | Tunnel lining crack inspection system | |
JP5462093B2 (en) | Point cloud data processing device, point cloud data processing system, point cloud data processing method, and point cloud data processing program | |
JP7204359B2 (en) | Graphic overlay for measuring feature dimensions using video inspection equipment | |
JP6635712B2 (en) | Inspection method, inspection device, image processing device, program, and recording medium | |
JP2017053790A (en) | Defect detection device and defect detection method | |
JP2005016991A (en) | Infrared structure diagnosis system | |
JP4906609B2 (en) | Imaging apparatus and method | |
KR101261016B1 (en) | method and apparatus for automatic optical inspection of flat panel substrate | |
JP6848304B2 (en) | Wall measurement method and wall surface measurement device for carbonization chamber of coke oven | |
WO2022262133A1 (en) | Method and device for detecting position of stain on transparent medium | |
EP1167919B1 (en) | Wall surface observing device with y movement | |
JP4292095B2 (en) | Fine crack width calibration method | |
JP5876139B2 (en) | Analysis of digital images of tire inner surfaces and processing of false measurement points | |
JP4362391B2 (en) | Furnace wall shape measuring method and furnace wall shape measuring apparatus | |
JP6740827B2 (en) | Furnace wall crack detection device, furnace wall crack detection method, and program | |
JP2006118913A (en) | Method of detecting crack and crack detector | |
JP2009068765A (en) | Profile measuring method of refractory in coke oven, and wear amount measuring method of refractory | |
JP4295819B2 (en) | Fine crack width calibration method | |
JP2008111705A (en) | Method and program for detecting defect and inspection apparatus | |
JP4344007B2 (en) | Fine crack width calibration method | |
JP3981610B2 (en) | Method and apparatus for observing inner wall of coke oven carbonization chamber | |
JP6662126B2 (en) | Detecting device, method and program | |
JP2007128308A (en) | Monitoring controller and monitoring control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190415 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190419 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190422 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6848304 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |