WO2023139956A1 - 被測定物の3次元の絶対位置の計測方法、および溶融物位置の検出方法 - Google Patents

被測定物の3次元の絶対位置の計測方法、および溶融物位置の検出方法 Download PDF

Info

Publication number
WO2023139956A1
WO2023139956A1 PCT/JP2022/045050 JP2022045050W WO2023139956A1 WO 2023139956 A1 WO2023139956 A1 WO 2023139956A1 JP 2022045050 W JP2022045050 W JP 2022045050W WO 2023139956 A1 WO2023139956 A1 WO 2023139956A1
Authority
WO
WIPO (PCT)
Prior art keywords
measured
point
camera
dimensional
image
Prior art date
Application number
PCT/JP2022/045050
Other languages
English (en)
French (fr)
Inventor
亮太郎 松永
Original Assignee
Jfeスチール株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jfeスチール株式会社 filed Critical Jfeスチール株式会社
Priority to JP2023512706A priority Critical patent/JP7468782B2/ja
Publication of WO2023139956A1 publication Critical patent/WO2023139956A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques

Definitions

  • the present invention relates to a technique for measuring the three-dimensional absolute position of a point to be measured on an object using an image.
  • Three-dimensional image measurement is to measure the position of the subject in the three-dimensional space captured by the camera, the three-dimensional shape and length of the subject, etc. from the captured image. There are a wide variety of specific methods for three-dimensional image measurement.
  • triangulation there is an example in which two cameras are used to photograph the measurement target and perform triangulation.
  • triangulation the distance between the two cameras is known, and all the angles of the triangle formed by one point of the measurement target and the two cameras can be obtained, so the three-dimensional coordinates of the measurement target can be obtained.
  • triangulation can be applied by moving one camera while taking pictures without using two cameras.
  • Japanese Patent Laid-Open No. 2002-200001 adopts a method of applying triangulation by photographing with one camera at different positions and angles when the position of a measurement target existing in a certain three-dimensional space is desired.
  • 3D image measurement there is also a method called monocular vision that calculates the 3D coordinates of a subject using only one camera and one image.
  • Patent Document 2 four reference points with known three-dimensional coordinates are photographed, and the three-dimensional coordinates of the object to be measured are calculated by calculating the distortion of the camera lens, the camera position, and the angle.
  • iron-making process in which iron ore and coke are reacted in a blast furnace under high-temperature and high-pressure conditions to produce hot metal.
  • hot metal is mainly produced in a blast furnace called a blast furnace.
  • Molten iron is an ultra-high temperature fluid of about 1500°C and is discharged from the tap hole at the bottom of the blast furnace. Just before the discharge is completed, the liquid level of the residual iron slag drops, causing a phenomenon called tapping roughening in which the gas in the furnace is vigorously blown out from the tap hole. Carbon monoxide gas is contained in this vigorously blowing gas.
  • JP 2006-258486 A Japanese Unexamined Patent Application Publication No. 2012-027000
  • Patent Document 1 With the technology of Patent Document 1, there is a process of moving one camera to take pictures two or more times, and equipment and machines for moving the camera are required separately, so there is a lot of hardware required to apply the technology. In addition, since two or more shots are essential, the number of data to be handled by this technology is large and complicated, making it difficult to apply. In addition, since triangulation is performed for measurement, an error is likely to occur if the distance between the point to be measured and the camera is much larger than the movement distance of the camera. In other words, it cannot be implemented when the object to be measured is far and the place where the camera can be installed is small, and it is not suitable for measuring the position of objects in factories where there are high temperature objects or toxic gases that are limited to installation locations.
  • the present invention has been made in view of the above circumstances, and its purpose is to provide a method that can measure the three-dimensional absolute position of a point to be measured from a remote position, even in a dangerous area where a person cannot enter and directly measure the coordinates with a measure or the like, from at least one image.
  • Means for solving the above problems are as follows. [1] A method of measuring the three-dimensional absolute position of a point to be measured existing on a plane containing any three points on the object to be measured from an image using a three-dimensional orthogonal coordinate system, measuring the relative position of the reference point and the camera; a step of capturing an image of the point to be measured with the camera; a step of calculating three-dimensional relative position coordinates with the lens position of the camera of the point to be measured as an origin from the image; and calculating the three-dimensional absolute position of the point to be measured from the relative position and the three-dimensional relative position coordinates.
  • [2] The method of measuring the three-dimensional absolute position of the object according to [1], wherein the plane includes two of the three orthogonal axes of the three-dimensional orthogonal coordinate system.
  • [3] The three-dimensional absolute position measuring method according to [1], wherein the point to be measured is a point on the fluid existing on the plane.
  • [4] The three-dimensional absolute position measuring method according to [2], wherein the point to be measured is a point on the fluid existing on the plane.
  • [5] Using the three-dimensional absolute position measurement method according to any one of [1] to [4], a melt discharged from a blast furnace having a discharge hole for discharging the melt at the bottom of the blast furnace.
  • the present invention can measure the three-dimensional absolute position of a point to be measured from at least one image. Therefore, the three-dimensional absolute position of the object to be measured can be easily measured from a distant position by an image in areas where fluid flows out, areas where high-temperature objects exist, and dangerous areas where toxic gas exists, where a person cannot enter and directly measure the coordinates with a tape measure or the like.
  • FIG. 3 is a schematic diagram showing the positional relationship in a three-dimensional space between a point P in a three-dimensional space and a point P' in an image; 1 is a photograph showing the entire device of Example 1.
  • FIG. 4 is a photograph showing a three-dimensional absolute coordinate system set in Example 1.
  • FIG. 4 is a photograph showing an image taken by the camera 24 of Example 1.
  • FIG. 4 is a photograph showing the positional relationship between a camera 25 and a discharge hole 22 of Example 1.
  • FIG. 4 is a photograph showing an image taken by the camera 25 of Example 1.
  • FIG. 4 is a graph comparing actual measurement values and calculated values of the X coordinate of measurement point A.
  • FIG. 4 is a graph comparing actual measurement values and calculated values of the Z coordinate of measurement point A.
  • FIG. 4 is a graph comparing actual measurement values and calculated values of the Z coordinate of measurement point A.
  • FIG. 2 is a photograph showing the equipment of Example 2.
  • FIG. 4 is a photograph showing a three-dimensional absolute coordinate system set in Example 2.
  • FIG. 10A to 10D are photographs showing images taken by the camera 103 of Example 2 respectively for (a) to (d). 10 is a graph comparing the value obtained by the present method and the value for verification with respect to the height 105 of the melt.
  • FIG. 1 shows the positional relationship between the camera and the point P to be measured on the object to be measured.
  • a method for measuring the three-dimensional absolute position of the object 16 to be measured according to the present invention will be described with reference to FIG.
  • the camera is installed in a place where the relative position between the reference point O' (0, 0, 0) and the camera can be measured, and the respective positions of the reference point O' and the camera are measured.
  • This is the step of measuring the relative positions of the reference point and the camera.
  • the reference point O' can be set at an arbitrary location, but both the measured point P and the reference point O' may exist on a plane containing any three points on the object to be measured.
  • the reference point O′ is set to the origin (0, 0, 0) of the absolute coordinate system ⁇ , which is a three-dimensional orthogonal coordinate system, but is not limited to this, and may be any point on the absolute coordinate system ⁇ .
  • the camera 11 photographs a range including the point to be measured. This is the process of acquiring an image.
  • the positions of the point P photographed by the camera 11 and the center point O of the lens 12 in the camera exist as shown in FIG. 1(a).
  • a camera has an image sensor that detects light focused on a lens. Since the image captured by the image pickup device 13a is a reversed image, it is assumed that the virtual image pickup device 13b exists in front of the lens and the virtual image pickup device 13b reflects a normal rotation image.
  • the coordinates of the three-dimensional space in which the point P to be measured on the object to be measured exists can be defined by an arbitrary absolute coordinate system ⁇ .
  • the position of the center point O of the lens 12 is (Xo, Yo, Zo) [m]
  • the position of the object point P is (X, Y, Z) [m].
  • the point P reflected in the image 14 is a point P'
  • the point P' is the intersection of the line segment OP and the virtual image sensor 13b as shown in FIG. 1(a).
  • a photographic coordinate system ⁇ having an xy plane parallel to the plane created by the virtual imaging element 13b, having the opposite direction of the optical axis 15 of the camera as the z-axis, and having the position of the lens as the origin is defined as shown in FIG.
  • x and y are coordinates in the photographic coordinate system ⁇ obtained by unit-converting the coordinates [pixels] of the point P in the image 14 to [m] from the size of the imaging element 13b and the resolution of the image 14 .
  • This is the process of calculating the three-dimensional relative position coordinates with the camera lens position of the point to be measured as the origin from the image.
  • the image element size and image size can be arbitrarily selected, and the higher the resolution of the image, the more accurate the coordinates of the measurement point can be obtained.
  • Equation (1) is any real number.
  • R is a 3.times.3 rotation matrix for transforming the photographic coordinate system .beta. into the absolute coordinate system .alpha., and is represented by equation (2).
  • the rotation matrix R defined by equation (2) is a rotation matrix obtained when the x, y, and z axes of the photographic coordinate system ⁇ are rotated by ⁇ , ⁇ , and ⁇ [rad] in the order of z, y, and x to match the absolute coordinate system ⁇ .
  • the rotation matrix R shown in equation (2) is just one example, if the photographic coordinate system ⁇ and the absolute coordinate system ⁇ match, there is no problem in changing the order of rotating the axes or rotating the same axis twice or more.
  • Formula (1) is a formula with three components, and if k included in the formula for the x and y components is eliminated by the formula for the z component, formulas such as the following formulas (3-x) and (3-y) can be derived.
  • (X, Y, Z) [m] are the three-dimensional absolute coordinates of point P; There are three unknowns X, Y, and Z in the two equations (3-x) and (3-y), and one more equation is required to uniquely solve them.
  • the equation F of the plane on which the point P exists can be used as a condition, as shown in equation (4).
  • F(X, Y, Z) 0 (4)
  • the process of capturing an image by a camera and calculating the three-dimensional relative position coordinates with the lens position of the camera as the origin may be performed before or after the process of calculating the relative position of the reference point O' and the camera.
  • equations (3-x), (3-y) and (4) which are the three-dimensional relative position coordinates with the camera lens position as the origin, are known values, so equation 3 can be solved for the three unknowns. This makes it possible to uniquely solve X, Y, and Z of the desired three-dimensional absolute position.
  • the above is the process of calculating the three-dimensional absolute position of the object to be measured from the reference point O', the relative position of the camera, and the three-dimensional relative position coordinates with the lens position of the camera at the point to be measured as the origin.
  • the position information in the three-dimensional coordinate system (the relative position of the reference point and the camera) is used, but if a camera installation stand such as a tripod that can confirm the installation position of the camera is not used, it may be difficult to obtain any one of the three-dimensional coordinates. In that case, after measuring the distance between the reference point and the camera position with a laser rangefinder, etc., the coordinates of the axis that cannot be obtained from the three-dimensional coordinates of the camera installation position and the distance can be geometrically obtained.
  • the camera angle in the present invention means the shooting angle of the camera with respect to the point on the plane where the object to be measured exists.
  • the plane on which the point P, which is the point to be measured, and the point O', which is the reference, both exist is a plane containing two of the three orthogonal axes of the three-dimensional orthogonal coordinate system.
  • the plane on which both the point P to be measured and the point O' to be measured exist is a plane that includes two of the three orthogonal axes of the three-dimensional orthogonal coordinate system, the coordinates to be obtained are points in the two-dimensional orthogonal coordinate system, and the coordinates of the point to be measured can be obtained more easily.
  • the points to be measured in the present invention are points on the fluid existing on a plane containing arbitrary three points on the object to be measured.
  • the reason for this is that the fluid ejected into the air draws a parabola on the same plane when it does not receive a force having a component perpendicular to the direction of gravity, so the coordinates of the point to be measured, which is a point on the fluid, can be easily obtained as described above.
  • the object to be measured in the present invention is preferably a melt discharged from a blast furnace having a discharge hole for discharging the melt in the lower part of the blast furnace, and the point to be measured is preferably a point on the melt.
  • the melt position detection method detects the position of the melt using the absolute position measurement method of the present invention.
  • the molten material discharged from the blast furnace is a fluid, and in addition to the effect that the coordinates of the point to be measured on the fluid can be easily obtained as described above, the molten material is hot, so even in a dangerous area where a person cannot enter and directly measure the coordinates with a tape measure or the like, the coordinates can be measured from a remote position using an image.
  • FIG. 1 Verification experiments were conducted to confirm the validity of the present invention.
  • Figure 2 shows the state of the verification experiment.
  • tapping of a blast furnace was simulated using a simple tapping model 21 (hereinafter simply referred to as a model) in which a discharge hole 22 capable of discharging liquid was attached to a cylindrical plastic container imitating a blast furnace.
  • a rod 23 (hereinafter simply referred to as a rod) with a scale at regular intervals is attached.
  • two cameras 24 and 25 were used to take pictures.
  • the three-dimensional absolute coordinate system ⁇ was set as shown in Fig. 3.
  • the origin O' of the absolute coordinate system ⁇ is set at the outlet of the discharge hole 22.
  • the X-axis was set so that the direction from the model 21 to the outlet of the discharge hole 22 was positive and parallel to the rod 23 .
  • the Y-axis was set so that the XY plane was parallel to the ground, and the Z-axis was set upward.
  • FIG. 4 shows a part of the image obtained by the camera 24 in this experiment.
  • An image 41 can be obtained by photographing the discharge flow 42 of the liquid discharged from the model 21 using the camera 24 from the side.
  • the rod 23 and the X-axis were set to be parallel, and the Z-axis was set to extend from the discharge hole 22 in a vertical direction perpendicular to the X-axis.
  • the technology of the present invention is applied by photographing the discharge stream 42 with the camera 25 .
  • the positional relationship between the camera 25 and the discharge hole 22 of the model 21 is shown in FIG.
  • the coordinates of the camera 25 in the absolute coordinate system ⁇ are (Xo, Yo, Zo) [m], and the coordinate point O' of the outlet of the discharge hole 22 is (0, 0, 0).
  • Xo, Yo, and Zo were accurately measured during the experiment according to the set absolute coordinate system ⁇ , and the coordinates of the camera 25 were obtained.
  • the angle of the camera 25 is set so that the camera optical axis intersects the discharge hole 22 .
  • FIG. 6 shows an image 61 taken by the camera 25. As shown in FIG.
  • the relative positions of the points O′ (0, 0, 0) and (Xo, Yo, Zo) are obtained, and the photographic coordinate system ⁇ is rotated about the x-axis, the y-axis, and the z-axis, respectively.
  • Example 2 attempts to detect the location 105 of the melt discharged from blast furnace B using this technique.
  • the melt position 105 refers to the height from the bottom of the blast furnace B to the upper surface of the melt.
  • the method performed in Example 2 will be described with reference to FIG.
  • the blast furnace B has a capacity of about 5000 m 3 , and in the lower part of the furnace there is a pool 101 of melt and a discharge hole 102 for removing the melt from the blast furnace B.
  • a melt stream 104 is generated in a parabolic shape and is photographed by a camera 103 installed near the blast furnace B.
  • FIG. The position of the camera 103 in absolute coordinates and the camera angle are known.
  • Example 2 as shown in FIG.
  • the melt flow 104 is photographed by a camera 103, and the position coordinates on the melt flow 104 are obtained by applying the present technology to the image captured as the subject.
  • the equation for the parabola 107 of the melt flow 104 shown in FIG. 10 is then determined, from which the melt discharge velocity and melt position 105 are determined stepwise.
  • the melt position 105 obtained here is compared with the melt position 105 geometrically obtained by actual measurement to verify the position coordinate measurement method of the present technology.
  • the absolute coordinate system ⁇ ′ has the discharge hole 102 as the origin and the Z axis is upward with respect to the horizontal plane, and the melt flow 104 always exists on the XZ plane.
  • Equation (7) the equation of the parabola 107 is given by Equation (7) using the gravitational acceleration g (m/s 2 ), the melt ejection speed v tap (m/s), and the melt ejection angle ⁇ tap (rad), based on the same principle as the trajectory drawn by the object in projective motion.
  • formula (8) Since formula (8) has two unknowns, constants a and b, it can be calculated if the X and Z coordinates of two points on the parabola are known.
  • the absolute coordinates (X, 0, Z) of two points on the parabola are obtained from the two points on the photographic coordinate system ⁇ ' and the equation (5) by the present technology
  • the constants a and b of the equation (8) are calculated from the absolute coordinates of the two points
  • the ejection speed and the ejection angle of the melt are calculated from the constants a and b and the equation (7).
  • the position 105 of the molten material is obtained from the obtained discharge speed of the molten material by the equations (7) to (10) described in Japanese Patent No. 07056813.
  • the values of the melt position 105 calculated by the melt position 105 obtained by the above method, the discharge distance 108 of the melt flow 104, and the discharge speed geometrically obtained from the discharge hole height 106 were compared.
  • the method described in Japanese Patent No. 07056813 was also used to obtain the melt position 105 from the discharge distance 108 and the discharge hole height 106 .
  • FIG. 11 A specific method for obtaining the position 105 of the melt is shown below. This technique was applied to the photographs shown in FIGS. All the images shown in FIG. 11 are 2064 pixels ⁇ 1544 pixels.
  • a melt flow 104 shown in white is shown as an object, and the melt discharged from the blast furnace B is accumulated under it.
  • two points on the melt flow 104 at positions where the x-coordinates of the photographic coordinate system ⁇ ′ are ⁇ 732 pixels and ⁇ 32 pixels are substituted into the equation (2), the position on the melt flow 104 on the absolute coordinates is obtained, this value is substituted into the equation (8), and the simultaneous equations are solved to obtain the constants a and b.
  • Table 2 shows the parameters used for applying image processing in Example 2
  • Table 3 shows the parameters used for calculating the melt position 105, and the photographic coordinates and absolute coordinates of the two points in each of (a) to (d).
  • FIG. 12 shows the result of obtaining the melt height 105 using this method from the parameters listed in Table 3 (this method melt height (m), horizontal axis) and the calculation result of the melt position 105 (verification melt height (m), vertical axis) calculated by the discharge speed geometrically determined from the discharge distance 108 and the discharge hole height 106.
  • this method melt height (m), horizontal axis) and the calculation result of the melt position 105 verification melt height (m), vertical axis

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本発明の目的とするところは、少なくとも1枚の画像から、人間が立ち入ってメジャー等で座標を直接測定できない危険領域内の点の測定であっても、離れた位置から3次元座標を測定することが可能な方法を提供することにある。3次元直交座標系を用いて、被測定物上の任意の三点を含む平面に存在する被測定点の3次元の絶対位置を画像から計測する方法であって、前記平面上に存在する基準とする点とカメラの相対位置を測定する工程と、前記被測定点を前記カメラで撮影し画像を取得する工程と、前記画像から前記被測定点の前記カメラのレンズ位置を原点とする3次元相対位置座標を算出する工程と、前記相対位置と前記3次元相対位置座標とから前記被測定点の3次元の絶対位置を算出する工程と、を備える被測定物の3次元の絶対位置の計測方法。

Description

被測定物の3次元の絶対位置の計測方法、および溶融物位置の検出方法
 本発明は、画像で被測定物上の被測定点の3次元の絶対位置を計測する技術に関する。
 3次元画像計測とは、カメラで撮影された被写体の3次元空間内における位置や被写体の3次元形状および長さ等を撮影画像から測定することである。3次元画像計測の具体的な方法は多岐にわたる。
 例えば、2台のカメラを用いて測定対象を撮影して三角測量を行う例がある。三角測量では、撮影カメラ2台の距離も既知であり、測定対象の1点と2台のカメラが作る三角形のすべての角度も取得可能であるため、測定対象の3次元座標を得る事ができる。また前記の方法で測定対象の位置が時間経過で変化しない場合、カメラを2台用いなくとも、1台のカメラを移動させながら撮影を行うことでも三角測量を適用できる。特許文献1では、ある3次元空間内に存在する測定対象の位置を知りたいとき、1台のカメラを異なる位置およびアングルで撮影して三角測量を適用する手法を取っている。
 一方、3次元画像計測の中にはカメラ1台および画像1枚のみを用いて被写体の3次元座標を算出する単眼視法と呼ばれる手法も存在する。特許文献2では、撮影において3次元座標が既知の基準点4つを撮影して、カメラレンズの歪みやカメラ位置およびアングルを算出することによって、測定対象の3次元座標を算出している。
 ところで、製鉄プロセスの中には、鉄鉱石およびコークスを溶鉱炉において高温高圧条件で反応させ、溶銑を製造する製銑工程が存在する。製銑工程では、主に高炉と呼ばれる溶鉱炉で溶銑を生産する。溶銑は約1500℃の超高温流体であり高炉の下部の出銑孔から排出されるが、排出終了間際には残銑滓の液面が下がることで、炉内ガスが出銑孔から勢いよく噴き出る出銑荒れという現象が生じる。この勢いよく吹き出るガスには一酸化炭素ガスが含まれている。出銑時に出銑荒れで飛び散った溶銑による火傷や噴き出した一酸化炭素ガスによる酸素欠乏症などの危険が伴い、製銑工場では人が立ち寄れない危険領域が存在する。そのため、危険領域内で特定物体の長さ及び物体間の距離を測定しなければならない場合、カメラを用いた3次元画像計測による測定が有効である。
特開2006-258486号公報 特開2012-027000号公報
 特許文献1の技術では、カメラ1台を移動させて2回以上撮影を行う工程があり、カメラを移動させる機器や機械が別途必要であるため、技術を適用するために必要なハードウェアが多い。また、2回以上の撮影が必須であるため、本技術で扱わなければならないデータ数が多く複雑となり、適用が容易ではない。その上、三角測量を行って測定を行っているため、測定対象点とカメラの距離がカメラの移動距離に比べて大幅に大きいと誤差が生じやすくなる。つまり、測定対象までが遠く、カメラを設置できる場所が狭い場合は実施できず、設置場所に制限のあるような高温の物体や有毒ガスが存在する工場内での物体の位置計測には適さない。
 また、特許文献2の技術では単一カメラで既知の4点の座標(ただし、任意の3点は同一直線上に存在しない)を予め記憶して、そこからカメラ位置およびアングルを計算しなければならない。そのため、既知の点を4つも用意できる状況でなければならない。
 本発明は上記事情に鑑みてなされたものであり、その目的とするところは、少なくとも1枚の画像から、人間が立ち入ってメジャー等で座標を直接測定できない危険領域内の測定であっても、離れた位置から被測定点の3次元の絶対位置を計測できる方法を提供することにある。
 上記課題を解決するための手段は、以下の通りである。
[1] 3次元直交座標系を用いて、被測定物上の任意の3点を含む平面に存在する被測定点の3次元の絶対位置を画像から計測する方法であって、
 基準とする点とカメラの相対位置を測定する工程と、
 前記被測定点を前記カメラで撮影し画像を取得する工程と、
 前記画像から前記被測定点の前記カメラのレンズ位置を原点とする3次元相対位置座標を算出する工程と、
 前記相対位置と前記3次元相対位置座標とから前記被測定点の3次元の絶対位置を算出する工程と、を備える被測定物の3次元の絶対位置の計測方法。
[2] 前記平面が、前記3次元直交座標系の直交する3つの軸のうちの2つの軸を含む平面である[1]に記載の被測定物の3次元の絶対位置の計測方法。
[3] 前記被測定点が、前記平面に存在する流体上の点である[1]に記載の3次元の絶対位置の計測方法。
[4] 前記被測定点が、前記平面に存在する流体上の点である[2]に記載の3次元の絶対位置の計測方法。
[5] [1]~[4]のいずれかに記載の3次元の絶対位置の計測方法を用いて、溶鉱炉下部に溶融物を排出する排出孔を有する溶鉱炉から排出される溶融物上の被測定点の3次元の絶対位置を計測する溶融物位置の検出方法。
 本発明は、少なくとも1枚の画像から被測定点の3次元の絶対位置を測定できる。そのため、人間が立ち入ってメジャー等で座標を直接測定できないような、流体が流出する領域や高温物体が存在する領域や有毒ガスが存在する危険領域内の被測定物の3次元の絶対位置を離れた位置から画像によって容易に計測することができる。
3次元空間内の点Pと画像内の点P’の3次元空間内の位置関係を示した模式図である。 実施例1の装置の全体を示した写真である。 実施例1で設定した3次元絶対座標系を示した写真である。 実施例1のカメラ24で撮影した画像を示した写真である。 実施例1のカメラ25と排出孔22の位置関係を示した写真である。 実施例1のカメラ25で撮影した画像を示した写真である。 測定点AのX座標の実測値と算出値を比較したグラフである。 測定点AのZ座標の実測値と算出値を比較したグラフである。 実施例2の設備を示した写真である。 実施例2で設定した3次元絶対座標系を示した写真である。 実施例2のカメラ103で(a)~(d)についてそれぞれ撮影した画像を示した写真である。 溶融物の高さ105について、本手法で求めた値と検証用の値を比較したグラフである。
 次に、本発明を実施するための形態について説明する。
[画像計測手法] 
 図1に、カメラと被測定物上の被測定点Pの位置関係を示す。以下、図1を参照しつつ本発明による被測定物16の3次元の絶対位置の計測方法を説明する。
 まず、基準とする点O’(0,0,0)とカメラとの相対位置を測定できる場所にカメラを設置し、基準とする点O’とカメラのそれぞれの位置を測定する。これが、基準とする点とカメラの相対位置を測定する工程である。ここで、基準とする点O’は任意の場所に設定することができるが、前記被測定物上の任意の3点を含む平面上には、被測定点Pと基準とする点O’が共に存在していてもよい。なお、本説明では、説明の都合上図1(a)に示すように、基準とする点O’を3次元直交座標系である絶対座標系αの原点(0,0,0)としたが、これに限らず絶対座標系α上の任意の点であってよい。
 本発明の画像計測を行う際は、撮影画像中の被測定点とカメラの相対位置関係を示す式を用いる。まず、被測定点を含む範囲をカメラ11で撮影する。これが画像を取得する工程である。カメラ11で撮影される点Pとカメラ内のレンズ12の中心点O(以下、単に点Oとする場合もある。)の位置が図1(a)のように存在している。カメラには、レンズに集められた光を検知する撮像素子が備わっている。撮像素子13aに映る画像は逆転した図であるため、レンズ前方に仮想の撮像素子13bが存在し、仮想の撮像素子13bに正転の図が映ると仮定する。被測定物上の被測定点Pが存在する3次元空間は任意の絶対座標系αで座標が定義できるが、本実施形態の説明では前述のように基準とする点O’を原点とする3次元直交座標系とする。絶対座標系αで、レンズ12の中心点Oの位置は(Xo,Yo,Zo)[m]、被写体点Pの位置は(X,Y,Z)[m]とする。
 図1(a)のカメラ11で撮影すると、点Pから出て仮想の撮像素子13bを透過した光が検知され、最終的に図1(b)の画像14を得る事が出来る。画像14に写った点Pを点P’とすると、図1(a)に示すように点P’は線分OPと仮想の撮像素子13bの交点となる。
 ここで仮想の撮像素子13bが作る面と平行なxy平面を持ち、カメラの光軸15の逆向きをz軸に持ち、レンズの位置を原点に持つ写真座標系βを図1(a)のように定義すると、点P’の写真座標系β上の位置はカメラレンズ12と撮像素子13bの距離cを用いて(x,y,-c)となる。x,yとは画像14中の点Pの座標[pixels]を、撮像素子13bの大きさと画像14の解像度から[m]へ単位変換して得られる写真座標系βにおける座標である。これが、画像から被測定点のカメラのレンズ位置を原点とする3次元相対位置座標を算出する工程である。画像素子サイズおよび画像サイズは任意に選択することが可能であり、画像の解像度が高いほど測定点の正確な座標を求めることが可能である。
 図1(a)に示す通り、点O、点P’、点Pは同一直線上に存在するため、共線条件よりこれらの点の関係は(1)式のように示す事が出来る。
Figure JPOXMLDOC01-appb-M000001
(1)式において、kは任意の実数である。Rは写真座標系βを絶対座標系αに変換する3×3回転行列であり、(2)式で表される。
Figure JPOXMLDOC01-appb-M000002
(2)式で定義される回転行列Rは、写真座標系βのx、y、z軸をz、y、xの順番にそれぞれκ、φ、ω[rad]だけ回転させ、絶対座標系αと一致させた時の回転行列になる。本発明において、ある軸の周りに回転させるとき、その軸に対して時計回りに回転させる場合を正の回転とする。(2)式に示した回転行列Rはあくまでも1つの例であるため、写真座標系βと絶対座標系αが一致するのであれば、軸を回転させる順番の変更、または同じ軸を2回以上回転させても問題ない。(1)式は3成分を持つ式であり、x,y成分の式に含まれるkをz成分の式で消去すると、以下に示す(3-x)(3-y)式のような式を導出する事ができる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 (X,Y,Z)[m]は点Pの3次元絶対座標である。(3-x)(3-y)式の2式中にある未知数はX,Y,Zの3つであり、これを一意に解くにはもう1つ式が必要である。ここで、被測定点である点Pが、被測定物上の任意の3点を含む平面に存在する場合、(4)式のように点Pが存在する平面の方程式Fを条件とすることができる。
F(X,Y,Z)=0・・・(4)
(4)式を加えることで、点Pとカメラの相対位置を求めることができる。
 カメラで撮影し、画像を取得する工程およびカメラのレンズ位置を原点とする3次元相対位置座標の算出する工程は、基準とする点O’とカメラの相対位置を算出する工程の前に実施してもよいし、あとに実施しても問題ない。
 (3-x)(3-y)式と(4)式に加えて、カメラのレンズ位置を原点とする3次元相対位置座標であるx、yおよびcが既知の値であるため、3つの未知数に対して3式を解けばいい事になる。これにより、求めたい3次元の絶対位置のX,Y,Zを一意に解くことが出来る。以上が、基準とする点O’とカメラの相対位置と被測定点のカメラのレンズ位置を原点とする3次元相対位置座標とから被測定物の3次元の絶対位置を算出する工程である。
 本発明で、回転行列に用いるパラメータを計算する際、3次元座標系での位置情報(基準とする点とカメラの相対位置)を用いるが、カメラ設置の設置位置を確認できる三脚などのカメラ設置台を使用しない場合、3次元の座標のうちいずれか一つの取得が難しい場合がある。その場合、基準とする点とカメラ位置の距離をレーザー距離計などで測定した後、カメラ設置位置の3次元座標と距離から取得できていない軸の座標を幾何学的に求めればよい。また、本発明におけるカメラアングルとは被測定物が存在する平面上の点に対するカメラの撮影角度のことをいう。
 また、被測定点である点Pと基準とする点O’が共に存在する平面が3次元直交座標系の直交する3つの軸のうちの2つの軸を含む平面であることが好ましい。この理由は、被測定点である点Pと基準とする点O’が共に存在する平面が、3次元直交座標系の直交する3つの軸のうちの2つの軸を含む平面である場合、求める座標は2次元の直交座標系中の点となり、被測定点の座標をより簡便に求めることができるからである。
 本発明において測定する被測定点は、被測定物上の任意の3点を含む平面上に存在する流体上の点であることがさらに好ましい。この理由は、空中に噴出した流体は重力の方向に対して垂直方向の成分を持つ力を受けない場合は同じ平面において放物線を描くため、前述の通り流体上の点である被測定点の座標を簡便に求めることができるからである。また、本発明における被測定物は、溶鉱炉下部に溶融物を排出する排出孔を有する溶鉱炉から排出される溶融物であり、被測定点は溶融物上の点であることが好ましい。すなわち、本発明の絶対位置の計測方法を用いて溶融物の位置を検出する、溶融物位置の検出方法であることが好ましい。この理由は、溶鉱炉から排出される溶融物は流体であり、前述の流体上の被測定点の座標を簡便に求めることができる効果に加えて、溶融物は高温であるため、人間が立ち入ってメジャー等で座標を直接測定できない危険領域内であっても、離れた位置から画像による座標の測定ができるからである。
[実施例1]
 本発明の妥当性を確認するために、検証実験を行った。図2に検証実験の様子を示す。実験では、高炉を模した円筒形のプラスチック容器に液体を排出できる排出孔22を取り付けた簡易出銑模型21(以下、単に模型ともいう、)を用いて高炉の出銑を模擬した。排出孔22直下には、一定間隔で目盛りが振ってある棒23(以下、単に棒ともいう、)が取り付けられている。実験中は2つのカメラ24とカメラ25を用いて撮影を行った。
 カメラ24で撮影した画像から、排出孔22から排出される液体が棒23に着地した地点を目盛から読み取り、3次元座標の実測値として、本発明による算出値と比較した。
 この実験において、3次元絶対座標系αは図3のように設定した。絶対座標系αの原点O’を排出孔22の出口に設定した。また、X軸は模型21から排出孔22の出口への向きが正で、かつ棒23と平行となるように設定した。Y軸はXY平面が地面と平行になるように設定し、Z軸は上向きに設定した。
 次に、本実験でカメラ24から得られる画像を用いて、流体上の点である被測定点Aの3次元座標を測定する計測方法について説明する。本実験において、カメラ24で得られた画像の一部を図4に示す。カメラ24を用いて模型21から排出される液体の排出流42を横から撮影する事で、画像41を得る事ができる。図3および図4のように棒23とX軸が平行となるように設定し、かつZ軸は排出孔22からX軸に対して垂直縦方向に伸びるように設定した。排出孔22をXZ平面上に存在するように配置し、排出流42が常にY=0の平面上に存在するように排出孔の向きを調整した。よって、被測定点AはY=0の平面上に存在するため、出銑流飛距離43を画像41に写された棒23から測定でき、更に排出孔高さ44を別途測定すれば被測定点Aの3次元座標を得る事ができる。ここで得た値を実測値とする。
 以降、実験において本発明をどのように被測定点Aに対して適用したか説明する。
 本発明の技術は、カメラ25で排出流42を撮影して適用する。カメラ25と模型21の排出孔22の位置関係を図5に示す。カメラ25の絶対座標系αにおける座標は(Xo,Yo,Zo)[m]であり、排出孔22の出口の座標点O’が(0,0,0)である。まず初めに、設定した絶対座標系αに従って実験中にXo,Yo,Zoを正確に測定し、カメラ25の座標を得た。次に、カメラ25のアングルはカメラ光軸が排出孔22と交差するように設定した。図6にカメラ25で撮影して得た画像61を示す。写真座標系βのx軸を絶対座標系αのX軸に、写真座標系βのy軸を絶対座標系αのY軸に、写真座標系βのz軸を絶対座標系αのZ軸に一致させるため、点O’(0,0,0)と(Xo,Yo,Zo)の相対位置を求め、写真座標系βをx軸、y軸、z軸周りにそれぞれ回転させる。写真座標系βと絶対座標系αが一致するのであれば、軸を回転させる順番の変更、または同じ軸を2回以上回転させても問題ない。具体的には、まず初めに写真座標系βのz軸をκ1だけ回転させ、次にy軸をφだけ回転させる。最後に、もう一度z軸をκだけ回転させることで絶対座標系αと一致させるような回転行列Rを得た。本実験の回転行列Rは(5)式のように得られる。
Figure JPOXMLDOC01-appb-M000005
 また、カメラ25のカメラレンズ―撮像素子の距離cは予め求めておいた。以上、本実験で用いたパラメータを表1に示す。
Figure JPOXMLDOC01-appb-T000006
 絶対座標の3軸のうち2つの軸を平面に持つ(本実施例の場合はXZ軸平面)場合には以下(6)式を条件とすることができる。
Y=0・・・(6)
 次に、カメラ25によって撮影された排出流42上の任意の3点を含む平面であるY=0と被測定点Aを含む画像から、被測定点Aの写真座標系βの座標(x,y,-c)を算出した。
 本測定では画像素子サイズ6.2mm×4.6mm、画像サイズ4608pixels×3456pixelsのカメラを用いた。
 (3-x)(3-y)式に表1のパラメータとY=0および点Aの座標(x,y,-c)を代入することより、XとZの連立2次方程式が導かれ、絶対座標系αの点Aの座標(X,0,Z)を計算した。
 上記の計算手法で、模型21に入れる液量を変えながら4回測定点Aの座標を測定し、実施例1~4とした。本技術で測定した値を算出値として、実測値と比較した結果を図7および図8に示す。これらの結果より、算出値と実測値は一致するとみなせるため、本発明の妥当性が示された。
[実施例2]
 実施例2では、本技術を用いて溶鉱炉Bから排出される溶融物の位置105の検出を試みる。なお、溶融物の位置105とは、溶鉱炉Bの内部において、炉底から溶融物の上面までの高さを指す。実施例2で行った方法を、図9を用いて説明する。溶鉱炉Bは約5000mの容量であり、炉下部には溶融物の液溜まり101と溶融物を溶鉱炉Bから取り出すための排出孔102が存在する。溶融物が排出孔102から流れ出ると、溶融物流れ104が放物線状に発生し、溶鉱炉Bの近くに設置されたカメラ103で撮影される。カメラ103の絶対座標における位置とカメラアングルは既知である。実施例2では、図10に示すように、カメラ103によって溶融物流れ104を撮影し、被写体として写っている画像に本技術を適用し、溶融物流れ104上の位置座標を求める。その後、図10に示した溶融物流れ104の放物線107の方程式を求め、そこから溶融物の排出速度と溶融物の位置105を段階的に求める。ここで求まった溶融物位置105と、実測して幾何学的に求めた溶融物の位置105との比較を行い、本技術の位置座標の計測方法の検証を行う。また、実施例2では絶対座標系α’は排出孔102を原点として水平面に対して上向きをZ軸として、溶融物流れ104は常にXZ平面に存在すると仮定した。その時、放物線107の方程式は投射運動の物体が描く軌跡と同様の原理で重力加速度g(m/s)、溶融物の排出速度vtap(m/s)、溶融物の排出角度θtap(rad)を用いて(7)式で与えられる。
Figure JPOXMLDOC01-appb-M000007
 一方、XZ平面において原点(0,0)を通る放物線は任意の定数a、bを用いて(8)式で与えられる。
Z=aX+bX・・・(8)
 (8)式は未知数が定数a、bの2つであるため、放物線上の点2つのX、Z座標が既知ならば算出する事が出来る。実施例2では本技術によって2点の写真座標系β’上と(5)式から放物線上の2点の絶対座標(X,0,Z)を求めて、2点の絶対座標から(8)式の定数a、bを算出し、定数a、bと(7)式から溶融物の排出速度と排出角度を計算する。その次に、求めた溶融物の排出速度から特許第07056813号に記載の(7)~(10)式で溶融物の位置105を求める。
 前記の方法で求めた溶融物の位置105と溶融物流れ104の排出距離108と排出孔高さ106から幾何学的に求めた排出速度で計算される溶融物の位置105の値を比較した。排出距離108と排出孔高さ106から溶融物の位置105を求める際も特許第07056813号に記載の方法を用いた。
 具体的に溶融物の位置105を求める方法を下記に示す。カメラ103で撮影した図11(a)~(d)に記した写真に本技術を適用した。図11に記した画像は全て2064pixels×1544pixelsである。また、図11にはそれぞれ白色で示される溶融物流れ104が被写体として写っており、その下には溶鉱炉Bから排出された溶融物が溜まっている。図11において、写真座標系β’のx座標が-732pixelsと-32pixelsの位置に存在する溶融物流れ104上の2点を、(2)式に代入し、絶対座標上の溶融物流れ104上の位置を求め、この値を(8)式に代入し、連立方程式を解くことで定数a、bを求めた。なお、図11(a)~(d)の撮影はそれぞれ別のタイミングで実施しており、時間の経過や工場操業による外的影響を最小限とし、本技術の精度を高めるため、撮影の度にカメラアングルを確認した。表2に実施例2で画像処理を適用するために用いたパラメータ、表3には溶融物の位置105を算出するために用いたパラメータおよび各(a)~(d)における前記2点の写真座標と絶対座標を記す。
Figure JPOXMLDOC01-appb-T000008
Figure JPOXMLDOC01-appb-T000009
 表2に記載したパラメータを用いてカメラ103の撮影画像である図11(a)~(d)から溶融物流れ104の放物線107の方程式を求めた。表3に記載したパラメータから本手法を用いて溶融物高さ105を求めた結果(本手法 溶融物の高さ(m)、横軸)と、排出距離108および排出孔高さ106から幾何学的に求めた排出速度で計算した溶融物の位置105の計算結果(検証用 溶融物の高さ(m)、縦軸)を図12に示す。図12から、両者はほぼ一致しているため、本技術の画像から絶対位置を求める手法の妥当性を確認できた。
11:カメラ
12:カメラ内のレンズ
13a:撮像素子
13b:仮想の撮像素子
14:画像
15:カメラの光軸
16:被測定物
21:簡易出銑模型
22:排出孔
23:目盛りが振ってある棒
24:カメラ(実測値の測定用)
25:カメラ(本技術の実施用)
41:画像
42:排出流
43:排出流飛距離
44:排出孔高さ
A:被測定点
61:画像
101:溶融物の液溜まり
102:排出孔
103:カメラ
104:溶融物流れ
105:溶融物の位置
106:排出孔高さ
107:溶融物流れの放物線
108:排出距離
B:溶鉱炉
α:絶対座標系
β:写真座標系
α’:絶対座標系(実施例2)
β’:写真座標系(実施例2)

Claims (5)

  1.  3次元直交座標系を用いて、被測定物上の任意の3点を含む平面に存在する被測定点の3次元の絶対位置を画像から計測する方法であって、
     基準とする点とカメラの相対位置を測定する工程と、
     前記被測定点を前記カメラで撮影し画像を取得する工程と、
     前記画像から前記被測定点の前記カメラのレンズ位置を原点とする3次元相対位置座標を算出する工程と、
     前記相対位置と前記3次元相対位置座標とから前記被測定点の3次元の絶対位置を算出する工程と、を備える被測定物の3次元の絶対位置の計測方法。
  2.  前記平面が、前記3次元直交座標系の直交する3つの軸のうちの2つの軸を含む平面である請求項1に記載の被測定物の3次元の絶対位置の計測方法。
  3.  前記被測定点が、前記平面に存在する流体上の点である請求項1に記載の3次元の絶対位置の計測方法。
  4.  前記被測定点が、前記平面に存在する流体上の点である請求項2に記載の3次元の絶対位置の計測方法。
  5.  請求項1~4のいずれかに記載の3次元の絶対位置の計測方法を用いて、溶鉱炉下部に溶融物を排出する排出孔を有する溶鉱炉から排出される溶融物上の被測定点の3次元の絶対位置を計測する溶融物位置の検出方法。

     
PCT/JP2022/045050 2022-01-19 2022-12-07 被測定物の3次元の絶対位置の計測方法、および溶融物位置の検出方法 WO2023139956A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023512706A JP7468782B2 (ja) 2022-01-19 2022-12-07 被測定物の3次元の絶対位置の計測方法、および溶融物位置の検出方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022006213 2022-01-19
JP2022-006213 2022-01-19

Publications (1)

Publication Number Publication Date
WO2023139956A1 true WO2023139956A1 (ja) 2023-07-27

Family

ID=87348096

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/045050 WO2023139956A1 (ja) 2022-01-19 2022-12-07 被測定物の3次元の絶対位置の計測方法、および溶融物位置の検出方法

Country Status (3)

Country Link
JP (1) JP7468782B2 (ja)
TW (1) TW202344806A (ja)
WO (1) WO2023139956A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08269531A (ja) * 1995-03-31 1996-10-15 Nisshin Steel Co Ltd 転炉出鋼流の位置検出方法及び装置
US5905568A (en) * 1997-12-15 1999-05-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Stereo imaging velocimetry
WO2020138345A1 (ja) * 2018-12-27 2020-07-02 日本電気通信システム株式会社 物品位置管理装置、物品位置管理システム、物品位置管理方法及びプログラム
JP2021148566A (ja) * 2020-03-18 2021-09-27 Jfeスチール株式会社 コークス炉築炉時の検査システムおよび検査方法、ならびにコークス炉築炉方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08269531A (ja) * 1995-03-31 1996-10-15 Nisshin Steel Co Ltd 転炉出鋼流の位置検出方法及び装置
US5905568A (en) * 1997-12-15 1999-05-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Stereo imaging velocimetry
WO2020138345A1 (ja) * 2018-12-27 2020-07-02 日本電気通信システム株式会社 物品位置管理装置、物品位置管理システム、物品位置管理方法及びプログラム
JP2021148566A (ja) * 2020-03-18 2021-09-27 Jfeスチール株式会社 コークス炉築炉時の検査システムおよび検査方法、ならびにコークス炉築炉方法

Also Published As

Publication number Publication date
TW202344806A (zh) 2023-11-16
JPWO2023139956A1 (ja) 2023-07-27
JP7468782B2 (ja) 2024-04-16

Similar Documents

Publication Publication Date Title
JP5480914B2 (ja) 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
JP5027747B2 (ja) 位置測定方法、位置測定装置、およびプログラム
JP2004037270A (ja) キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
JP2004286733A (ja) ステレオpiv法の実施に関しての自己較正のための結像方程式の決定の方法
TWI521471B (zh) 3 - dimensional distance measuring device and method thereof
CN104764401B (zh) 一种发动机柔性喷管摆角及摆心测量方法
CN102589529B (zh) 扫描近景摄影测量方法
US20180040138A1 (en) Camera-based method for measuring distance to object (options)
JP3842988B2 (ja) 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
CN113781579B (zh) 一种全景红外相机几何标定方法
WO2023139956A1 (ja) 被測定物の3次元の絶対位置の計測方法、および溶融物位置の検出方法
JP3468255B2 (ja) 監視カメラの位置決め制御装置および指示計の読み取り装置
CN105758383A (zh) 一种双目视觉测量系统精度分析方法
JP3696335B2 (ja) 複数枚の画像の各計測点の対応づけ方法
Lu et al. Image-based system for measuring objects on an oblique plane and its applications in 2-D localization
CN105333818B (zh) 基于单目摄像机的3d空间测量方法
CN105841636B (zh) 基于直线运动部件误差补偿的光轴与物面垂直度检测方法
CN107037414A (zh) 成像定位金属球雷达定标方法
JP2765452B2 (ja) 工業炉の炉体変形計測方法
US20080252746A1 (en) Method and apparatus for a hybrid wide area tracking system
KR100395773B1 (ko) 두 장의 사진을 이용한 광 삼각법 삼차원 측정 장치
JP2001012911A (ja) 物体の三次元位置形状速度の計測方法
CN110220571A (zh) 一种基于co2激光与热像仪的高炉料面三维检测方法
JP6943328B2 (ja) 画角調整方法
JP2005017288A (ja) ズームレンズのキャリブレーション装置及びキャリブレーション方法、撮影装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023512706

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22922107

Country of ref document: EP

Kind code of ref document: A1