JP6076103B2 - Image processing method - Google Patents
Image processing method Download PDFInfo
- Publication number
- JP6076103B2 JP6076103B2 JP2013010426A JP2013010426A JP6076103B2 JP 6076103 B2 JP6076103 B2 JP 6076103B2 JP 2013010426 A JP2013010426 A JP 2013010426A JP 2013010426 A JP2013010426 A JP 2013010426A JP 6076103 B2 JP6076103 B2 JP 6076103B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- hole
- circle
- panoramic
- annular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、画像処理方法、特に構造物に形成された穴の側壁面の品質を検査するために全方位撮像装置によって撮像された穴の側壁面の環状画像をパノラマ展開画像に変換する画像処理方法に関する。 The present invention relates to an image processing method, and in particular, image processing for converting an annular image of a side wall surface of a hole imaged by an omnidirectional imaging device into a panoramic developed image in order to inspect the quality of the side wall surface of the hole formed in the structure. Regarding the method.
例えば、エンジンのインジェクタ（燃料噴射装置）の穴の側壁面のシール範囲に巣穴や縦傷などがあると、燃料ガスが逆流する虞がある。そこで従来、内視鏡などの全方位撮像装置を使用して、このような穴の側壁面を撮像した画像から、欠陥や損傷などを検査することが行われている。このとき、全方位撮像装置で撮像した環状画像（円形画像）をパノラマ展開画像に変換して検査することが一般的に行われている。 For example, if there is a burrow or vertical flaw in the seal range of the side wall surface of the hole of the injector (fuel injection device) of the engine, the fuel gas may flow backward. Thus, conventionally, an omnidirectional imaging device such as an endoscope is used to inspect defects, damage, and the like from an image obtained by imaging the side wall surface of such a hole. At this time, it is a common practice to inspect the annular image (circular image) captured by the omnidirectional imaging device by converting it into a panoramic developed image.
ここで、全方位撮像装置の光軸が穴の中心軸からずれている場合、環状画像からパノラマ展開画像への変換時に、このようなカメラの光軸のずれを補正する補正処理を行う必要がある。この補正処理として、特許文献１には、ビデオカメラで管渠内面を撮像するとき、データマッチング処理を行って、ビデオカメラの光軸と管渠の中心軸とのずれ量を求めることが開示されている。 Here, when the optical axis of the omnidirectional imaging device is deviated from the center axis of the hole, it is necessary to perform a correction process for correcting such a deviation of the optical axis of the camera when converting the annular image to the panoramic developed image. is there. As this correction processing, Patent Document 1 discloses that when a tube camera inner surface is imaged with a video camera, a data matching process is performed to obtain a deviation amount between the optical axis of the video camera and the tube tube center axis. ing.
しかしながら、上記特許文献１に記載の技術では、予め光軸と管渠の中心軸を一致させてビデオカメラを設置した状態での、基準となる画像データを保持しておく必要がある。そのため、製品のロットに変化が生じた際や、レンズを交換する際には、基準となる画像データを新たに取得する必要がある。さらに、補正処理が複雑なプロセスを経て行われ、またパターンマッチング処理には長時間を要するため、数多くの検査をこなすには非常に効率が悪いという問題がある。 However, in the technique described in Patent Document 1, it is necessary to hold image data serving as a reference in a state in which the video camera is installed with the optical axis and the central axis of the tube aligned with each other in advance. For this reason, when a change occurs in the product lot or when a lens is replaced, it is necessary to newly acquire reference image data. Furthermore, since the correction process is performed through a complicated process and the pattern matching process takes a long time, there is a problem that it is very inefficient to perform many inspections.
また、このようなカメラの光軸と穴の中心軸とのずれ問題の他に、カメラのレンズの公差（光学製品の製品誤差）によりカメラの視野角にバラツキがあるため、環状画像をパノラマ展開画像に展開する際、精度の良いパノラマ展開画像が得られないという問題もある。 In addition to the camera optical axis misalignment problem with the center axis of the hole, panoramic images are developed because the camera viewing angle varies due to camera lens tolerances (product errors of optical products). There is also a problem that a panorama developed image with high accuracy cannot be obtained when developing into an image.
本発明は、前述した課題に鑑みてなされたものであり、その目的は、パノラマ展開画像の精度をより向上させることが可能な画像処理方法を提供することにある。 The present invention has been made in view of the above-described problems, and an object thereof is to provide an image processing method capable of further improving the accuracy of a panorama developed image.
上記目的を達成するために、請求項１の発明は、
全方位撮像装置（例えば、後述の実施形態における全方位撮像装置１０）により検査対象物の穴の側壁面を撮像した環状画像を極座標変換によりパノラマ展開画像に変換する画像処理方法であって、
前記検査対象物と同じ形状を有し、穴（例えば、後述の実施形態における穴Ｈ）の側壁面の上部及び下部に線（例えば、後述の実施形態における線５１、５２）がそれぞれ設けられたマスターワーク（例えば、後述の実施形態におけるマスターワーク５０）の穴を前記検査対象物が配置される位置と同じ位置で前記全方位撮像装置により撮像する工程と、
前記マスターワークの穴の環状画像を用いて、前記極座標変換の基準となる内円（例えば、後述の実施形態における内円Ｃβ）及び外円（例えば、後述の実施形態における内円Ｃα）をそれぞれ求める工程と、
前記極座標変換する基準となる処理中心を前記求めた内円の中心（例えば、後述の実施形態における内円Ｃβの中心Ｏβ）と前記求めた外円の中心（例えば、後述の実施形態における外円Ｃαの中心Ｏα）との間で順次移動させながら前記極座標変換を行い、前記検査対象物の環状画像をパノラマ展開画像に変換する工程と、
を備え、
前記内円及び前記外円を求める工程は、前記マスターワークの上部及び下部の線に対応する環状画像中の像を、それぞれ仮外円（例えば、後述の実施形態における仮外円Ｃ2）及び仮内円（例えば、後述の実施形態における仮内円Ｃ1）とし、
前記仮外円及び仮内円を通る円錐（例えば、後述の実施形態における円錐Ｃ）が、前記マスターワークの穴の環状画像の最外周円（例えば、後述の実施形態における最外周円Ｏout）と内接する位置における前記円錐の軸（例えば、後述の実施形態における円錐の軸Ｌ）に垂直な断面、及び前記マスターワークの穴の環状画像の最内周円（例えば、後述の実施形態における最内周円Ｏin）と外接する位置における前記円錐の軸に垂直な断面を、それぞれ前記前記極座標変換の基準となる前記外円及び前記内円とすることを特徴とする。
In order to achieve the above object, the invention of claim 1
An image processing method for converting an annular image obtained by imaging a side wall surface of a hole of an inspection object by an omnidirectional imaging device (for example, an omnidirectional imaging device 10 in an embodiment described later) into a panoramic developed image by polar coordinate conversion,
It has the same shape as the inspection object, and lines (for example, lines 51 and 52 in the embodiments described later) are respectively provided on the upper and lower portions of the side walls of the holes (for example, holes H in the embodiments described later). Imaging a hole of a master work (for example, master work 50 in an embodiment described later) by the omnidirectional imaging device at the same position as the position where the inspection object is disposed;
Using an annular image of the hole of the master work, an inner circle (for example, an inner circle Cβ in an embodiment described later) and an outer circle (for example, an inner circle Cα in an embodiment described later) serving as a reference for the polar coordinate conversion are respectively determined. The desired process;
The center of the calculated inner circle (for example, the center Oβ of the inner circle Cβ in the embodiment described later) and the center of the determined outer circle (for example, the outer circle in the embodiment described later) are used as the reference processing center for the polar coordinate conversion. Performing the polar coordinate conversion while sequentially moving between the center Oα) of Cα, and converting the annular image of the inspection object into a panoramic developed image;
Equipped with a,
In the step of obtaining the inner circle and the outer circle, images in the annular image corresponding to the upper and lower lines of the master work are respectively converted into a provisional outer circle (for example, a provisional outer circle C2 in an embodiment described later) and a provisional outer circle. An inner circle (for example, a temporary inner circle C1 in an embodiment described later),
A cone passing through the provisional outer circle and the provisional inner circle (for example, a cone C in an embodiment described later) is an outermost circumferential circle (for example, an outermost circumferential circle Oout in an embodiment described later) of the annular image of the hole of the master work. The cross section perpendicular to the axis of the cone at the inscribed position (for example, the axis L of the cone in the embodiments described later) and the innermost circle of the annular image of the hole of the master work (for example, the innermost in the embodiments described later) the cross section perpendicular to the cone axis at a position circumscribing the circumference Oin), and the outer circle and wherein to Rukoto and said circle each serving as a reference of the said polar coordinate transform.
請求項２に係る発明は、請求項１の構成において、
前記マスターワークには、穴の側壁面に周方向に所定長さで軸方向に等間隔で複数の線（例えば、後述の実施形態における複数の線５３）がさらに設けられており、
前記マスターワークの穴の環状画像を用いて、前記極座標変換により前記環状画像をパノラマ展開画像に変換する際の展開パラメータの視野角を求める工程と、
をさらに備え、
前記視野角を求める工程は、前記マスターワークの穴の環状画像を複数の視野角でパノラマ展開画像に展開し、各視野角に対するパノラマ展開画像における前記複数の線の像の線間距離の差が最小となるような視野角を、パノラマ展開画像に変換する際の展開パラメータとして選定することを特徴とする。
The invention according to claim 2 is the structure of claim 1 ,
The master work is further provided with a plurality of lines (for example, a plurality of lines 53 in the embodiments described later) at predetermined intervals in the circumferential direction and at equal intervals in the axial direction on the side wall surface of the hole,
Using the annular image of the hole of the master work, obtaining a viewing angle of a development parameter when converting the annular image into a panoramic developed image by the polar coordinate transformation;
Further comprising a,
In the step of obtaining the viewing angle, the annular image of the hole of the master work is developed into a panoramic development image at a plurality of viewing angles, and a difference in line-to-line distances between the images of the plurality of lines in the panoramic development image for each viewing angle is obtained. the viewing angle that minimizes, characterized that you selected as the expansion parameter when converting the panoramic image.
上記目的を達成するために、請求項３に係る発明は、
全方位撮像装置（例えば、後述の実施形態における全方位撮像装置１０）により検査対象物の穴の側壁面を撮像した環状画像を極座標変換によりパノラマ展開画像に変換する画像処理方法であって、
前記検査対象物と同じ形状を有し、穴（例えば、後述の実施形態における穴Ｈ）の側壁面に周方向に所定長さで軸方向に等間隔で複数の線（例えば、後述の実施形態における複数の線５３）が設けられたマスターワーク（例えば、後述の実施形態におけるマスターワーク５０）の穴を前記検査対象物が配置される位置と同じ位置で前記全方位撮像装置により撮像する工程と、
前記マスターワークの穴の環状画像を用いて、前記極座標変換により前記環状画像をパノラマ展開画像に変換する際の展開パラメータの視野角を求める工程と、
を備え、
前記視野角を求める工程は、前記マスターワークの穴の環状画像を複数の視野角でパノラマ展開画像に展開し、各視野角に対するパノラマ展開画像における前記複数の線の像の線間距離の差が最小となるような視野角を、パノラマ展開画像に変換する際の展開パラメータとして選定することを特徴とする。
In order to achieve the above object, the invention according to claim 3 provides:
An image processing method for converting an annular image obtained by imaging a side wall surface of a hole of an inspection object by an omnidirectional imaging device (for example, an omnidirectional imaging device 10 in an embodiment described later) into a panoramic developed image by polar coordinate conversion,
It has the same shape as the inspection object, and has a plurality of lines (for example, an embodiment described later) on the side wall surface of a hole (for example, a hole H in the embodiment described later) at a predetermined length in the circumferential direction and at equal intervals in the axial direction. Imaging a hole of a master work (for example, a master work 50 in an embodiment described later) provided with a plurality of lines 53) at the same position as the position where the inspection object is arranged; ,
Using the annular image of the hole of the master work, obtaining a viewing angle of a development parameter when converting the annular image into a panoramic developed image by the polar coordinate transformation;
Equipped with a,
In the step of obtaining the viewing angle, the annular image of the hole of the master work is developed into a panoramic development image at a plurality of viewing angles, and a difference in line-to-line distances between the images of the plurality of lines in the panoramic development image for each viewing angle is obtained. the viewing angle that minimizes, characterized that you selected as the expansion parameter when converting the panoramic image.
請求項１の発明によれば、検査対象物と同じ形状を有し、穴の側壁面の上部及び下部に線がそれぞれ設けられたマスターワークの穴の環状画像を用いて、検査対象物の環状画像をパノラマ展開画像に展開する際の極座標変換の基準となる内円及び外円を求めるようにしたため、カメラの光軸と検査対象物の穴の中心軸とのずれを補正して、より歪みのないパノラマ展開画像を得ることが可能となる。
また、マスターワークの上部及び下部の線に対応する環状画像中の像を、それぞれ仮外円及び仮内円とし、これら仮外円及び仮内円を通る円錐を考えることにより、検査対象物の環状画像をパノラマ展開画像に展開する際の極座標変換の基準となる内円及び外円を簡単により正確に求めることが可能となる。
According to the first aspect of the present invention, the annular shape of the inspection object is obtained by using the annular images of the holes of the master work having the same shape as the inspection object and the lines provided on the upper and lower sides of the side wall surface of the hole. Since the inner and outer circles used as the reference for polar coordinate conversion when expanding an image into a panoramic image are calculated, the displacement between the optical axis of the camera and the center axis of the hole of the inspection object is corrected, resulting in more distortion. It is possible to obtain a panoramic developed image without any image.
In addition, the images in the annular image corresponding to the upper and lower lines of the master work are assumed to be a provisional outer circle and a provisional inner circle, respectively, and by considering the cone passing through the provisional outer circle and the provisional inner circle, It becomes possible to easily and accurately determine the inner circle and the outer circle that are the reference for polar coordinate conversion when the annular image is expanded into a panoramic image.
請求項２の発明によれば、カメラ光軸のずれを補正するとともに、マスターワークの穴の側壁面に周方向に所定長さかつ軸方向に等間隔に設けられた複数の線の像を用いて、極座標変換により環状画像をパノラマ展開画像に変換する際の展開パラメータの視野角を求めることで、歪みのない、より精度の良いパノラマ展開画像を得ることが可能となる。また、パノラマ展開画像を得るのに最適な視野角を正確に求めることができ、より精度の良いパノラマ展開画像を得ることが可能となる。 According to the invention of claim 2 , while correcting the deviation of the camera optical axis, images of a plurality of lines provided on the side wall surface of the hole of the master work with a predetermined length in the circumferential direction and at equal intervals in the axial direction are used. Thus, by obtaining the viewing angle of the development parameter when the annular image is converted into the panoramic developed image by polar coordinate conversion, it is possible to obtain a more accurate panoramic developed image without distortion. In addition, the optimum viewing angle for obtaining a panoramic development image can be accurately obtained, and a more accurate panoramic development image can be obtained.
請求項３の発明によれば、マスターワークの穴の側壁面に周方向に所定長さかつ軸方向に等間隔に設けられた複数の線の像を用いて、極座標変換により環状画像をパノラマ展開画像に変換する際の展開パラメータの視野角を求めるようにしたため、より精度の良いパノラマ展開画像を得ることが可能となる。また、パノラマ展開画像を得るのに最適な視野角を正確に求めることができ、より精度の良いパノラマ展開画像を得ることが可能となる。 According to the invention of claim 3, the annular image is panoramicly developed by polar coordinate transformation using images of a plurality of lines provided on the side wall surface of the hole of the master work at a predetermined length in the circumferential direction and at equal intervals in the axial direction. Since the viewing angle of the development parameter when converting to an image is obtained, it is possible to obtain a panoramic development image with higher accuracy. In addition, the optimum viewing angle for obtaining a panoramic development image can be accurately obtained, and a more accurate panoramic development image can be obtained.
以下、本発明の一実施形態に係る画像処理方法について図面を参照しながら説明する。図１は、本発明の画像処理方法を実行するための全方位撮像システムを示すブロック図である。
なお、本実施形態の画像処理方法で撮像される穴は、インジェクタを配置するために形成された穴としているが、その用途、形状、穴径、深さなどは限定されない。例えば、穴は、貫通穴であっても、底壁を有する穴であってもよく、穴径が一定のストレート穴や、穴径が漸次変化するテーパ穴であってもよい。
Hereinafter, an image processing method according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an omnidirectional imaging system for executing the image processing method of the present invention.
In addition, although the hole imaged with the image processing method of this embodiment is a hole formed in order to arrange an injector, the use, shape, hole diameter, depth, etc. are not limited. For example, the hole may be a through hole, a hole having a bottom wall, a straight hole with a constant hole diameter, or a tapered hole with a gradually changing hole diameter.
図１に示すように、全方位撮像システム１００は、全方位撮像装置１０、画像処理装置２０及び表示装置３０から構成されている。全方位撮像装置１０は、周囲３６０°の全方位にある穴Ｈの側壁面を撮像して得た環状画像（円形画像）データを出力する。全方位撮像装置１０は、３６０°を撮像可能な広角レンズ（全方位撮像レンズ）１１、及び広角レンズ１１を介して入射光が入力されるイメージセンサ１２などを備えている。 As shown in FIG. 1, the omnidirectional imaging system 100 includes an omnidirectional imaging device 10, an image processing device 20, and a display device 30. The omnidirectional imaging device 10 outputs annular image (circular image) data obtained by imaging the side wall surface of the hole H in all directions of 360 ° around. The omnidirectional imaging device 10 includes a wide-angle lens (omnidirectional imaging lens) 11 capable of imaging 360 °, an image sensor 12 to which incident light is input via the wide-angle lens 11, and the like.
広角レンズ１１は、イメージセンサ１２の受光面の前方に配設される。これにより、イメージセンサ１２の受光面には、広角レンズ１１による環状（円形）の像が結像する。 The wide-angle lens 11 is disposed in front of the light receiving surface of the image sensor 12. Thereby, an annular (circular) image is formed on the light receiving surface of the image sensor 12 by the wide-angle lens 11.
イメージセンサ１２は、ＣＣＤやＣＭＯＳ等からなる受光素子が２次元状に配列されてなり、各受光素子は受光光量に応じた値を出力する。これにより、イメージセンサ１２は、複数の受光素子から出力される複数の受光光量値を有する輝度分布データを生成する。イメージセンサ１２が生成した環状の輝度データ分布はＡ／Ｄ変換され、環状画像データとして画像処理装置２０に出力される。 The image sensor 12 is made up of two-dimensionally arranged light receiving elements such as CCD and CMOS, and each light receiving element outputs a value corresponding to the amount of received light. Accordingly, the image sensor 12 generates luminance distribution data having a plurality of received light amount values output from the plurality of light receiving elements. The annular luminance data distribution generated by the image sensor 12 is A / D converted and output to the image processing device 20 as annular image data.
画像処理装置２０は、その機能ブロックとして、環状画像入力部２１、画像変換部２２、展開画像出力部２３、及び補正データ取得部２４を有している。なお、画像処理装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、画像メモリ等を備えた所謂マイクロコンピュータから構成されている。 The image processing apparatus 20 includes an annular image input unit 21, an image conversion unit 22, a developed image output unit 23, and a correction data acquisition unit 24 as functional blocks. Note that the image processing apparatus 20 includes a so-called microcomputer including a CPU, a ROM, a RAM, an image memory, and the like.
全方位撮像装置１０から入力された環状画像データは、環状画像入力部２１を介して画像処理装置２０に取り込まれる。画像処理装置２０に取り込まれた環状画像データは、画像変換部２２でパノラマ展開画像データに変換され、展開画像出力部２３を介して表示装置３０に出力される。表示装置３０は、液晶ディスプレイ、有機ＥＬディスプレイ、あるいはＣＲＴディスプレイなどの周知の表示装置からなる。 The annular image data input from the omnidirectional imaging device 10 is taken into the image processing device 20 via the annular image input unit 21. The annular image data captured by the image processing device 20 is converted into panoramic developed image data by the image conversion unit 22 and output to the display device 30 via the developed image output unit 23. The display device 30 is a known display device such as a liquid crystal display, an organic EL display, or a CRT display.
表示装置３０に表示されたパノラマ展開画像は、検査員の目視により、穴の側壁面の欠陥の有無等が検査される。あるいは、図示を省略するが、パノラマ展開画像データを画像解析装置で解析することによって自動的に穴の側壁面の欠陥の有無等を判定するようにしても良い。 The panoramic development image displayed on the display device 30 is inspected for the presence or absence of defects on the side wall surface of the hole by visual inspection by an inspector. Or although illustration is abbreviate | omitted, you may make it determine automatically the presence or absence of the defect of the side wall surface of a hole, etc. by analyzing panorama expansion | deployment image data with an image analyzer.
ところで、全方位撮像装置１０によって撮像される穴Ｈの環状画像は、外円（最外周円）と内円（最内周円）とに挟まれた環状の領域からなる。ここで、外円（最外周円）は、環状画像の外周側境界であり、穴Ｈの上側開口または全方位撮像装置１０の撮像限界を示す。また、内円（最内周円）は、穴Ｈの下側開口、穴Ｈの底面縁、穴Ｈ内の角部など、穴Ｈの断面円形状部分の下側端を示す。このように、内円は、穴Ｈが貫通穴でなくとも発現する。なお、穴Ｈ内に角部がない場合であっても、光の当て方を工夫することによって、内円を発現させることは可能である。 By the way, the annular image of the hole H imaged by the omnidirectional imaging device 10 is composed of an annular region sandwiched between an outer circle (outermost circle) and an inner circle (innermost circle). Here, the outer circle (outermost circle) is the outer circumferential boundary of the annular image, and indicates the upper opening of the hole H or the imaging limit of the omnidirectional imaging device 10. Further, the inner circle (innermost circumferential circle) indicates the lower end of the circular section of the hole H, such as the lower opening of the hole H, the bottom edge of the hole H, and the corner in the hole H. Thus, the inner circle appears even if the hole H is not a through hole. Even if there is no corner in the hole H, it is possible to develop an inner circle by devising how to apply light.
画像変換部２２は、環状画像の画像データ（環状画像データ）を極座標変換して、パノラマ展開画像データを生成する。 The image conversion unit 22 performs polar coordinate conversion on the image data of the annular image (annular image data) to generate panorama developed image data.
ところで、図１において、Ｌ１を全方位撮像装置１０の光軸とし、Ｌ２を穴Ｈの中心軸としたとき、全方位撮像装置１０の光軸Ｌ１と穴Ｈの中心軸Ｌ２との間に位置ずれがない場合には、環状画像の内円の中心と外円の中心とが一致し、同じ高さの部位を撮像したそれぞれの画像は、環状画像ではすべて同心円上に位置し、極座標展開したとき、水平線状になる。 By the way, in FIG. 1, when L1 is the optical axis of the omnidirectional imaging device 10 and L2 is the central axis of the hole H, the position is between the optical axis L1 of the omnidirectional imaging device 10 and the central axis L2 of the hole H. When there is no deviation, the center of the inner circle and the center of the outer circle of the annular image coincide with each other, and the images taken at the same height are all located on the concentric circle in the annular image and developed in polar coordinates. When it becomes a horizontal line.
一方、全方位撮像装置１０の光軸Ｌ１と穴Ｈの中心軸Ｌ２との間に位置ずれが存在する場合には、環状画像において、外円（最外周円）の中心と、内円（最内周円）の中心とは、位置がずれており、さらに穴Ｈの側壁面の同じ高さの部位を撮像したものも、同心円状とはならずに少しずつずれてしまう。このため、光軸Ｌ１と穴Ｈの中心軸Ｌ２との間に位置ずれがある場合の環状画像を単に極座標変換しただけでは、実際には穴Ｈ側壁の同じ高さの部位を撮像したものが、水平線状ではなく、波打った線状になってしまう。 On the other hand, when there is a displacement between the optical axis L1 of the omnidirectional imaging device 10 and the central axis L2 of the hole H, the center of the outer circle (outermost circle) and the inner circle (outermost circle) The position is deviated from the center of the inner circumference circle), and the image of the same height portion of the side wall surface of the hole H is also shifted little by little without being concentric. For this reason, if the annular image in the case where there is a positional deviation between the optical axis L1 and the central axis L2 of the hole H is simply subjected to polar coordinate conversion, an image of a part having the same height on the side wall of the hole H is actually obtained. , It becomes a wavy line instead of a horizontal line.
また、歪みが全くない理想的な広角レンズ１１で撮影した環状画像では、等間隔の高さの穴壁面を撮像した画像が等間隔の同心円を描く。しかし、広角レンズ１１に鉛直方向の歪みがあると、その環状画像は同心円の間隔が不均一となってしまう。 Further, in an annular image taken with an ideal wide-angle lens 11 having no distortion, an image obtained by imaging a hole wall surface at equal intervals draws concentric circles at equal intervals. However, if the wide-angle lens 11 is vertically distorted, the annular image has non-uniform intervals between concentric circles.
例えば、広角レンズが魚眼レンズであるとき、一般的に、被撮像体の画像は周辺部ほど歪みが大きい。したがって、全方位撮像装置１０の広角レンズ１１（図１参照）に魚眼レンズを使用すると、被撮像体は画角的に中心部に撮像される場合に比べて、周辺部に撮像される場合の方が大きく撮像される。 For example, when the wide-angle lens is a fisheye lens, generally, the image of the imaged object is more distorted toward the periphery. Therefore, when a fish-eye lens is used for the wide-angle lens 11 (see FIG. 1) of the omnidirectional imaging device 10, the object to be imaged is imaged in the peripheral area as compared to the case where the object is imaged in the central area. Is imaged greatly.
これに対して、パノラマ展開画像では、被撮像体は、本来の大きさのバランスで表示されることが望ましく、極座標変換の処理円の半径を順次大きくしながら環状画像をパノラマ展開画像に変換するようしている。 On the other hand, in the panorama development image, it is desirable that the imaging target is displayed with a balance of the original size, and the annular image is converted into the panorama development image while sequentially increasing the radius of the processing circle of the polar coordinate conversion. It seems to be.
さらに、広角レンズ１１は光学製品であるため、製品誤差があり、どうしても製品毎にバラツキがあり、実際のレンズの視野角にはバラツキがある。そのため、画像変換部２２で単に環状画像を極座標変換しただけでは、変換時に使用する視野角との間に誤差が生じることから、実際の間隔に対応しない間隔を有するパノラマ展開画像として表現されてしまい、正しい検査を行うことができない。 Furthermore, since the wide-angle lens 11 is an optical product, there is a product error, and there is inevitably variation among products, and the actual viewing angle of the lens varies. For this reason, if the circular image is simply converted into a polar coordinate by the image conversion unit 22, an error occurs with respect to the viewing angle used at the time of conversion, so that the image is expressed as a panoramic developed image having an interval not corresponding to the actual interval. Unable to perform correct inspection.
そこで、補正データ取得部２４は、光軸の位置ずれや視野角のバラツキを補正するための補正データを取得し、画像変換部２２は、この補正データを用いて環状画像データをパノラマ展開画像データに変換し、より精度の高いパノラマ展開画像を得るようにしている。 Therefore, the correction data acquisition unit 24 acquires correction data for correcting the positional deviation of the optical axis and the variation in the viewing angle, and the image conversion unit 22 uses the correction data to convert the annular image data to the panorama developed image data. To obtain a more accurate panoramic image.
本実施形態においては、全方位撮像装置１０の光軸の位置ずれ及び視野角のバラツキを補正するための補正データを取得するために、所定のマスターワーク５０が用いられる。図２に示すように、このマスターワーク５０は、検査対象物と同じ形状を有した穴Ｈを有する円筒であり、穴Ｈの上部で、上側開口から若干下方の位置にはその側壁面を一周する線５１が設けられ、穴Ｈの下部で、下側開口縁部から若干上方の位置にも側壁面を一周する線５２が設けられている。また、マスターワーク５０には、さらに、これらの線５１、５２の間に、周方向に所定長さで且つ軸方向に等間隔で複数の線５３が設けられている。なお、図２（ａ）中、αは穴Ｈを撮像する際の全方位撮像装置１０の視野角を表わしている。 In the present embodiment, a predetermined master work 50 is used to acquire correction data for correcting the optical axis position shift and viewing angle variation of the omnidirectional imaging apparatus 10. As shown in FIG. 2, the master work 50 is a cylinder having a hole H having the same shape as the object to be inspected, and around the side wall surface at a position slightly below the upper opening above the hole H. A line 51 that goes around the side wall surface is provided at a position slightly above the lower opening edge at the lower part of the hole H. The master work 50 is further provided with a plurality of lines 53 between the lines 51 and 52 with a predetermined length in the circumferential direction and at equal intervals in the axial direction. In FIG. 2A, α represents the viewing angle of the omnidirectional imaging device 10 when the hole H is imaged.
次に、マスターワーク５０を用いて、全方位撮像装置１０の光軸の位置ずれ及び視野角のバラツキを補正するための補正データを取得する、全方位撮像システム１００の処理動作について、図４に示すフローチャートに沿って説明する。 Next, the processing operation of the omnidirectional imaging system 100 for acquiring correction data for correcting the optical axis position shift and the viewing angle variation of the omnidirectional imaging apparatus 10 using the master work 50 is shown in FIG. It demonstrates along the flowchart shown.
まず、図４のステップＳ１００において、図１に示すように、マスターワーク５０の穴Ｈに対して、全方位撮像装置１０の先端部を向けて、穴Ｈの側壁面を撮像する。例えば、図１において、全方位撮像装置１０の光軸とマスターワーク５０の穴Ｈの中心軸との間に位置ずれがないとして、２つの線５１、５２を含むように全方位撮像装置１０で穴Ｈの環状画像を撮像した場合には、図３に示すような同心円状の環状画像が撮像される。 First, in step S100 of FIG. 4, as shown in FIG. 1, the tip of the omnidirectional imaging device 10 is directed toward the hole H of the master work 50 and the side wall surface of the hole H is imaged. For example, in FIG. 1, assuming that there is no positional deviation between the optical axis of the omnidirectional imaging device 10 and the central axis of the hole H of the master work 50, the omnidirectional imaging device 10 includes two lines 51 and 52. When an annular image of the hole H is captured, a concentric annular image as illustrated in FIG. 3 is captured.
そして、全方位撮像装置１０が撮像して取得した環状画像データは、画像処理装置２０の環状画像入力部２１に出力される。画像処理装置２０に入力された環状画像データは前記画像メモリに格納される。 Then, the annular image data acquired by imaging by the omnidirectional imaging device 10 is output to the annular image input unit 21 of the image processing device 20. The annular image data input to the image processing device 20 is stored in the image memory.
補正データ取得部２４は、画像メモリからマスターワーク５０の環状画像データを受け取ると、全方位撮像装置１０の位置ずれ及び視野角のバラツキを補正するための補正データを取得する処理を行う。 When the correction data acquisition unit 24 receives the annular image data of the master work 50 from the image memory, the correction data acquisition unit 24 performs a process of acquiring correction data for correcting the positional deviation and the viewing angle variation of the omnidirectional imaging device 10.
図５は、マスターワーク５０の環状画像を示し、穴Ｈの上側開口に対応する像である最外周円をＣout、穴Ｈの下側開口に対応する像である最内周円をＣin、穴Ｈの上部の線５１に対応する像を仮外円Ｃ2、穴Ｈの下部の線５２に対応する像を仮内円Ｃ1としている。そして、補正データとして求めるべき、極座標変換の基準となる処理円である外円及び内円をそれぞれＣα及びＣβとする。 FIG. 5 shows an annular image of the master work 50, and C out represents the outermost circumferential circle that is an image corresponding to the upper opening of the hole H, and C in represents the innermost circumferential circle that is an image corresponding to the lower opening of the hole H. , Karisotoen C 2 an image corresponding to line 51 of the top hole H, and the temporary in the circle C 1 of the image corresponding to the lower line 52 of the hole H. Then, an outer circle and an inner circle, which are processing circles serving as a reference for polar coordinate conversion, to be obtained as correction data are set as C α and C β , respectively.
補正データ取得部２４における処理として、まずステップＳ１１０において、図５の環状画像から、最外周円Ｃout、及び最内周円Ｃinを抽出する。これらの円は、上記環状画像から画像処理の円エッジ探傷によって求められる。 As processing in the correction data acquisition unit 24, first, in step S110, it is extracted from the annular image of Figure 5, the outermost circle C out, and the innermost circle C in. These circles are obtained from the annular image by circular edge flaw detection of image processing.
また、ステップＳ１２０において、補正データ取得部２４は、図５の環状画像から、仮外円Ｃ2及び仮内円Ｃ1を抽出する。これらの円も、上と同様の画像処理の円エッジ探傷によって求められる。 Further, in step S120, the correction data obtaining section 24, the annular image of Figure 5, extracts the Karisotoen C 2 and the temporary in circle C 1. These circles are also obtained by circle edge flaw detection using the same image processing as above.
そして、補正データ取得部２４は、ステップＳ１３０において、これら４つの円、最外周円Ｃout、最内周円Ｃin、仮外円Ｃ2及び仮内円Ｃ1から、極座標変換の基準となる処理円である外円Ｃα及び内円Ｃβの中心及び半径を算出する。 Then, the correction data obtaining section 24, in step S130, these four circles, the outermost circle C out, the innermost circle C in, from Karisotoen C 2 and the temporary in a circle C 1, a reference polar coordinate conversion The center and radius of the outer circle C α and the inner circle C β , which are processing circles, are calculated.
具体的には、外円Ｃα及び内円Ｃβは、仮外円Ｃ2及び仮内円Ｃ1を通る円錐を考え、この円錐が最外周円Ｃout及び最内周円Ｃinとそれぞれ接する位置における円錐の軸に対する垂直断面の円として求められる。すなわち、仮外円Ｃ2及び仮内円Ｃ1をある高さに設定した円錐を膨らませていき、最外周円Ｃoutと内接するとき、その接点での円錐の軸に対する垂直断面を外円Ｃαとする。また、仮外円Ｃ2及び仮内円Ｃ1をある高さに設定した円錐を小さくしていき、最内周円Ｃinと外接するとき、その接点での円錐の軸に対する垂直断面を内円Ｃβとする。 Specifically, the outer circle C α and the inner circle C β are assumed to be cones passing through the temporary outer circle C 2 and the temporary inner circle C 1 , and these cones are defined as the outermost circumference circle C out and the innermost circumference circle C in , respectively. It is determined as a circle with a vertical section with respect to the axis of the cone at the tangent position. That is, when a cone having the provisional outer circle C 2 and the provisional inner circle C 1 set at a certain height is inflated and inscribed with the outermost circumference circle C out , the vertical cross section with respect to the axis of the cone at the contact point is represented by the outer circle C Let α be. Also, when the cone with the provisional outer circle C 2 and the provisional inner circle C 1 set at a certain height is made smaller and circumscribed with the innermost circumferential circle C in , the vertical cross-section with respect to the axis of the cone at the contact point becomes the inner section. Let it be a circle Cβ .
以下、この外円Ｃα及び内円Ｃβの算出方法を詳しく説明する。
まず、全方位撮像装置１０の光軸Ｌ１は、マスターワーク５０の穴Ｈの中心軸Ｌ２に対して傾いており、位置ずれを有し、図５の環状画像に示されるように、各円は同心円状にはないものとする。そこで仮外円Ｃ2及び仮内円Ｃ1をある高さに断面として含む円錐を考えると、その軸は鉛直方向に対して傾いている。また、上記円、最外周円Ｃout、最内周円Ｃin、仮外円Ｃ2及び仮内円Ｃ1は、すべて平行な平面上にあるものとし、これらの平面に平行な平面をｘｙ平面にとり、円錐の軸に平行な直線をｚ軸とする。
Hereinafter, a method for calculating the outer circle C α and the inner circle C β will be described in detail.
First, the optical axis L1 of the omnidirectional imaging apparatus 10 is tilted with respect to the central axis L2 of the hole H of the master work 50, has a positional shift, and as shown in the annular image of FIG. It shall not be concentric. Therefore, when a cone including the provisional outer circle C 2 and the provisional inner circle C 1 as a cross section at a certain height is considered, its axis is inclined with respect to the vertical direction. The circle, the outermost circumference circle C out , the innermost circumference circle C in , the provisional outer circle C 2, and the provisional inner circle C 1 are all on a parallel plane, and the plane parallel to these planes is defined as xy. A straight line parallel to the axis of the cone is taken as the z-axis.
図６は、仮外円Ｃ2及び仮内円Ｃ1を通る円錐、及びこれらの円を示す。上述したように、仮外円Ｃ2及び仮内円Ｃ1を通り最外周円Ｃoutに内接する円錐と、仮外円Ｃ2及び仮内円Ｃ1を通り最内周円Ｃinに外接する円錐とは一般には別の円錐となるであろうが、ここでは簡単のため一つの円錐Ｃで表している。 FIG. 6 shows the cones passing through the provisional outer circle C 2 and the provisional inner circle C 1 and these circles. As described above circumscribed, a conical inscribed the Karisotoen C 2 and the temporary in a circle C 1 as the outermost circle C out, the Karisotoen C 2 and the temporary in a circle C 1 street innermost circle C in In general, this cone will be another cone, but here it is represented by one cone C for simplicity.
そして、仮内円Ｃ1の中心をＯ1（ｘ1，ｙ1）、半径をＲ1、高さをｚ1、仮外円Ｃ2の中心をＯ2（ｘ2，ｙ2）、半径をＲ2、高さをｚ2とし、最内周円Ｃinの中心をＯin（ｘin，ｙin）、半径をＲin、高さをｚin、最外周円Ｃoutの中心をＯout（ｘout，ｙout）、半径をＲout、高さをｚout、とし、また求めるべき外円Ｃαの中心をＯα（ｘα，ｙα）、半径をＲα、高さをｚα、内円Ｃβの中心をＯβ（ｘβ，ｙβ）、半径をＲβ、高さをｚβ、とする。 The center of the temporary inner circle C 1 is O 1 (x 1 , y 1 ), the radius is R 1 , the height is z 1 , the center of the temporary outer circle C 2 is O 2 (x 2 , y 2 ), the radius Is R 2 , the height is z 2 , the center of the innermost circumference circle C in is O in (x in , y in ), the radius is R in , the height is z in , and the center of the outermost circumference circle C out is O out (x out , y out ), radius is R out , height is z out , the center of outer circle C α to be obtained is O α (x α , y α ), radius is R α , height is z α , the center of the inner circle C β is O β (x β , y β ), the radius is R β , and the height is z β .
まず外円については、図６より、次の式（１）が成り立つ。 First, with respect to the outer circle, the following equation (1) holds from FIG.
外円を求めるために、以下の式（２）のようにａ、ｂ、ｃをとり、また、任意の基準ｘ0、ｙ0、Ｒ0をとり、高さｚをパラメータにとり
ｘ＝ａｚ＋ｘ0
ｙ＝ｂｚ＋ｙ0
Ｒ＝ｃｚ＋Ｒ0
として、円錐の高さｚにおける断面の円を、中心（ｘ，ｙ）、半径Ｒで表す。
In order to obtain the outer circle, a, b, and c are taken as in the following formula (2), and arbitrary references x 0 , y 0 , and R 0 are taken, and the height z is taken as a parameter x = az + x 0
y = bz + y 0
R = cz + R 0
The circle of the cross section at the height z of the cone is represented by the center (x, y) and the radius R.
例えば、高さｚ＝ｚ1のとき、この円は仮内円Ｃ1、すなわち中心（ｘ1，ｙ1）、半径Ｒ1となるので、ｘ＝ｘ1、ｙ＝ｙ1、Ｒ＝Ｒ1となる。 For example, when the height z = z 1 , this circle is the provisional inner circle C 1 , that is, the center (x 1 , y 1 ) and the radius R 1 , so x = x 1 , y = y 1 , R = R 1
ここで、例えばｚ1＝０、ｚ2＝１とすると、上記ｘ、ｙ、Ｒの式でｚ＝０とおくと、ｘ＝ｘ0、ｙ＝ｙ0、Ｒ＝Ｒ0となる。よって、ｘ1＝ｘ0、ｙ1＝ｙ0、Ｒ1＝Ｒ0となる。一方、式（２）においてｚ1＝０、ｚ2＝１とすると、ａ＝ｘ2−ｘ1、ｂ＝ｙ2−ｙ1、ｃ＝Ｒ2−Ｒ1となる。 Here, for example, if z 1 = 0 and z 2 = 1, if z = 0 in the above x, y and R equations, then x = x 0 , y = y 0 and R = R 0 . Therefore, x 1 = x 0 , y 1 = y 0 , and R 1 = R 0 . On the other hand, when z 1 = 0 and z 2 = 1 in the formula (2), a = x 2 −x 1 , b = y 2 −y 1 , and c = R 2 −R 1 .
これより、上記ｘ、ｙ、Ｒの式は、
ｘ＝ａｚ＋ｘ1
ｙ＝ｂｚ＋ｙ1
Ｒ＝ｃｚ＋Ｒ1
となる。
Thus, the above x, y, and R equations are
x = az + x 1
y = bz + y 1
R = cz + R 1
It becomes.
ｚ＝ｚαのとき、円錐の断面の円は外円Ｃαとなるので、その中心及び半径より、
ｘα＝ａｚα＋ｘ1
ｙα＝ｂｚα＋ｙ1
Ｒα＝ｃｚα＋Ｒ1
となる。
When z = z α , the circular cross-section of the cone is an outer circle C α , so from the center and radius,
x α = az α + x 1
y α = bz α + y 1
R α = cz α + R 1
It becomes.
また、図６より、最外周円Ｃoutの中心Ｏoutと外円Ｃαの中心Ｏαとの距離は、それぞれの円の半径の差Ｒout−Ｒαに等しい。また、ｘα−ｘout＝ａｚα＋ｘ1−ｘout、ｙα−ｙout＝ａｚα＋ｙ1−ｙout、及びＲout−Ｒα＝Ｒout−（ｃｚα＋Ｒ1）＝−（ｃｚα＋Ｒ1−Ｒout）となる。 Further, from FIG. 6, the distance between the center O alpha center O out to the outer circle C alpha of the outermost circle C out is equal to the difference R out -R alpha radius of each circle. Further, x α -x out = az α + x 1 -x out, y α -y out = az α + y 1 -y out, and R out -R α = R out - (cz α + R 1) = - (cz α + R 1 −R out ).
ここで、ｄ＝ｘ1−ｘout、ｅ＝ｙ1−ｙout、及びｆ＝Ｒ1−Ｒoutとおくと、次の式（３）が成り立つ。 Here, when d = x 1 −x out , e = y 1 −y out , and f = R 1 −R out , the following expression (3) is established.
式（３）の両辺を二乗してｚαの二次方程式を解くと、次の式（４）のようにｚαが求まる。ただし、Ａ＝ａ2＋ｂ2−ｃ2、Ｂ＝２（ａｄ＋ｂｅ−ｃｆ）、Ｃ＝ｄ2＋ｅ2−ｆ2である。また、ここで外円としては、図６に示すように最外周円Ｃoutの内接円を求めたいので、上記ｚαの２つの解のうち小さい方の値をとる。 If both sides of equation (3) are squared and the quadratic equation for z α is solved, z α is obtained as in the following equation (4). However, A = a 2 + b 2 −c 2 , B = 2 (ad + be−cf), and C = d 2 + e 2 −f 2 . Also, where as the outer circle, so want to find an inscribed circle of the outermost circle C out as shown in FIG. 6, it takes a smaller value of the two solutions of the z alpha.
このｚαの値を上記ｘ、ｙ、Ｒの式に代入して、
ｘα＝ａｚα＋ｘ1
ｙα＝ｂｚα＋ｙ1
Ｒα＝ｃｚα＋Ｒ1
のように、外円の中心（ｘα，ｙα）と半径Ｒαを求めることができる。
Substituting this value of α in the above x, y, and R equations,
x α = az α + x 1
y α = bz α + y 1
R α = cz α + R 1
Thus, the center (x α , y α ) and radius R α of the outer circle can be obtained.
次に、内円の算出についても外円と同様である。すなわち、内円については、図６より、次の式（５）が成り立つ。 Next, the calculation of the inner circle is the same as that of the outer circle. That is, for the inner circle, the following equation (5) is established from FIG.
内円の場合にも外円の場合と同様に上記式（２）のようにａ、ｂ、ｃをとり、任意の基準ｘ0、ｙ0、Ｒ0をとり、高さｚをパラメータにとり、
ｘ＝ａｚ＋ｘ0
ｙ＝ｂｚ＋ｙ0
Ｒ＝ｃｚ＋Ｒ0
として、円錐の高さｚにおける断面の円を、中心（ｘ，ｙ）半径Ｒで表す。
In the case of the inner circle, as in the case of the outer circle, a, b, c are taken as in the above formula (2), arbitrary references x 0 , y 0 , R 0 are taken, and the height z is taken as a parameter,
x = az + x 0
y = bz + y 0
R = cz + R 0
The circle of the cross section at the height z of the cone is represented by the center (x, y) radius R.
ｚ1＝０、ｚ2＝１とすると、ｘ1＝ｘ0、ｙ1＝ｙ0、Ｒ1＝Ｒ0及びａ＝ｘ2−ｘ1、ｂ＝ｙ2−ｙ1、ｃ＝Ｒ2−Ｒ1となる。これより、外円の場合と同様に、
ｘ＝ａｚ＋ｘ1
ｙ＝ｂｚ＋ｙ1
Ｒ＝ｃｚ＋Ｒ1
となる。
Assuming z 1 = 0 and z 2 = 1, x 1 = x 0 , y 1 = y 0 , R 1 = R 0 and a = x 2 -x 1 , b = y 2 -y 1 , c = R 2 -R 1 to become. From this, as with the outer circle,
x = az + x 1
y = bz + y 1
R = cz + R 1
It becomes.
また、図６より、最内周円Ｃinの中心Ｏinと内円Ｃβの中心Ｏβとの距離は、それぞれの円の半径の差Ｒβ−Ｒinに等しい。また、ｄ＝ｘ1−ｘin、ｅ＝ｙ1−ｙin、及びｆ＝Ｒ1−Ｒinとおくと、次の式（６）が成り立つ。 Further, from FIG. 6, the distance between the center O beta center O in the inner circle C beta of the innermost circle C in is equal to the radius of the difference R beta -R in the respective circles. When d = x 1 −x in , e = y 1 −y in , and f = R 1 −R in , the following equation (6) is established.
式（６）の両辺を二乗してｚβの二次方程式を解くと、上記式（４）の右辺と同様の式でｚβが求まる。ただし、Ａ＝ａ2＋ｂ2−ｃ2、Ｂ＝２（ａｄ＋ｂｅ−ｃｆ）、Ｃ＝ｄ2＋ｅ2−ｆ2である。また、ここで内円としては、図６に示すように最内周円Ｃinの外接円を求めたいので、上記ｚβの２つの解のうち大きい方の値をとる。 Solving quadratic equation of z beta by squaring both sides of the equation (6), z beta is obtained by the same equation as the right side of the equation (4). However, A = a 2 + b 2 −c 2 , B = 2 (ad + be−cf), and C = d 2 + e 2 −f 2 . As the inner circle here, we want seek circumcircle of the innermost circle C in 6 takes the larger of the two solutions of the z beta.
このｚβの値を上記ｘ、ｙ、Ｒの式に代入して、
ｘβ＝ａｚβ＋ｘ1
ｙβ＝ｂｚβ＋ｙ1
Ｒβ＝ｃｚβ＋Ｒ1
のように、内円の中心（ｘβ，ｙβ）と半径Ｒβを求めることができる。
Substituting this z β value into the above x, y, and R equations,
x β = az β + x 1
y β = bz β + y 1
R β = cz β + R 1
Thus, the center (x β , y β ) and radius R β of the inner circle can be obtained.
以上のようにして求めた極座標変換の基準となる処理円として、外円Ｃαの中心Ｏαと半径Ｒα及び内円Ｃβの中心Ｏβと半径Ｒβ、は補正データ取得部２４に保存される。そして、実際の各ワーク（検査対象物）の処理において、画像変換部２２は、これらの補正データを補正データ取得部２４から得て、環状画像データをパノラマ展開画像データに変換する。 As processing circles serving as a reference of the polar coordinate conversion obtained as described above, the center O beta and radius R beta center O alpha and radius R alpha and inner circle C beta outer circle C alpha, the correction data acquisition unit 24 Saved. In the actual processing of each workpiece (inspection object), the image conversion unit 22 obtains these correction data from the correction data acquisition unit 24, and converts the annular image data into panoramic development image data.
次に、補正データ取得部２４は、もう一つの補正データとして、環状画像をパノラマ展開画像に展開する際の視野角を求める。 Next, the correction data acquisition unit 24 obtains a viewing angle when the annular image is expanded into a panoramic expanded image as another correction data.
まず、ステップＳ１４０において、図３に示すようなマスターワーク５０の環状画像を、上で得た外円Ｃα及び内円Ｃβの設定を用いてパノラマ展開画像に展開する。その際、展開パラメータの視野角を、全方位撮像装置１０の製品誤差の範囲内で振り、複数のパノラマ展開画像を作成する。 First, in step S140, the annular image of the master work 50 as shown in FIG. 3 is developed into a panoramic developed image using the settings of the outer circle C α and the inner circle C β obtained above. At that time, the viewing angle of the development parameter is changed within the range of the product error of the omnidirectional imaging apparatus 10 to create a plurality of panoramic development images.
本実施形態においては、もともと製品の視野角が１０８°であるところ、誤差を考慮して、８０°から１２５°まで１°刻みで視野角を振り、それぞれの視野角でパノラマ展開画像に展開した。 In the present embodiment, the viewing angle of the product is originally 108 °. In consideration of the error, the viewing angle is changed in increments of 1 ° from 80 ° to 125 °, and each product is developed into a panoramic developed image at each viewing angle. .
図７に、図２のマスターワーク５０の穴Ｈの環状画像を展開したパノラマ展開画像の例を示す。図７（ａ）は、視野角８０°で展開したものであり、図７（ｂ）は、視野角１２０°で展開したものである。 FIG. 7 shows an example of a panoramic developed image obtained by developing the annular image of the hole H of the master work 50 shown in FIG. FIG. 7 (a) is developed at a viewing angle of 80 °, and FIG. 7 (b) is developed at a viewing angle of 120 °.
マスターワーク５０の穴Ｈの側壁面に形成された複数の線５３（図２参照）のピッチは、一定間隔（例えば、１ｍｍピッチ）であり、これら複数の線５３のパノラマ展開画像における像は、所定のピッチとなる。図７に示すようなパノラマ展開画像において、補正データ取得部２４は、これらの線の像について画像処理により各ピッチの距離を測定する。 The pitch of the plurality of lines 53 (see FIG. 2) formed on the side wall surface of the hole H of the master work 50 is a constant interval (for example, 1 mm pitch). It becomes a predetermined pitch. In the panoramic developed image as shown in FIG. 7, the correction data acquisition unit 24 measures the distance of each pitch by image processing for these line images.
図７のようなパノラマ展開画像において、全方位撮像装置１０のレンズの特性上、どうしても画面の下の方がぼやけてしまう。そこで、図８に示すように、線の両側からエッジ処理をかけ、エッジＥとエッジＦの中点Ｐ＝（Ｅ＋Ｆ）／２を線の中心とする。こうすることにより、測定誤差を小さくすることができる。 In the panoramic developed image as shown in FIG. 7, the lower part of the screen is obscured due to the characteristics of the lens of the omnidirectional imaging device 10. Therefore, as shown in FIG. 8, edge processing is applied from both sides of the line, and the midpoint P = (E + F) / 2 of the edge E and the edge F is set as the center of the line. By doing so, the measurement error can be reduced.
このようにして求めた各線の位置をＰiとして、各線間距離（ピッチ）Ｌi＝Ｐi+1−Ｐiを求める。 Each line distance (pitch) L i = P i + 1 −P i is obtained with the position of each line thus obtained as P i .
そして、ステップＳ１５０において、補正データ取得部２４は、求めた線間距離Ｌiに対して各線間距離の差が最小となるような視野角を選定する。この線間距離の差の最小の算出には、最小絶対残差を用いる。すなわち、次の式（７）の値Ｄを最小とするような視野角を求める。 Then, in step S150, the compensation data obtaining unit 24, the difference line-to-line distance to between the determined line distance L i is selected viewing angle that minimizes. The minimum absolute residual is used to calculate the minimum difference between the line distances. That is, the viewing angle that minimizes the value D of the following equation (7) is obtained.
このようにして補正データ取得部２４は、環状画像をパノラマ展開画像に展開する際に最適な視野角を算出し、この視野角を保存する。そして、実際の各ワーク（検査対象物）を処理する際、画像変換部２２は、補正データ取得部２４から上で算出された視野角を得、この視野角を用いて環状画像データをパノラマ展開画像データに変換する。 In this way, the correction data acquisition unit 24 calculates the optimum viewing angle when developing the annular image into a panoramic developed image, and stores this viewing angle. Then, when processing each actual work (inspection object), the image conversion unit 22 obtains the viewing angle calculated above from the correction data acquisition unit 24, and panoramic development of the annular image data using this viewing angle Convert to image data.
このように本実施形態においては、マスターワーク５０を用いて、全方位撮像装置１０の光軸の位置ずれ及び視野角のバラツキを補正するための補正データを算出している。そして、各検査対象物（ワーク）の検査においては、この補正データを用いて極座標変換が行われ、環状画像データがパノラマ展開画像データに展開される。 As described above, in the present embodiment, the master work 50 is used to calculate correction data for correcting the optical axis position shift and the viewing angle variation of the omnidirectional imaging apparatus 10. In the inspection of each inspection object (work), polar coordinate conversion is performed using the correction data, and the annular image data is expanded into panoramic expanded image data.
次に、図９のフローチャートに沿って、各検査対象物（ワーク）の処理について説明する。 Next, processing of each inspection object (work) will be described along the flowchart of FIG.
まず、ステップＳ２００において、各検査対象物の穴Ｈを、図１に示すように全方位撮像装置１０によって撮像して、環状画像データを取得する。取得した環状画像データは環状画像入力部２１に入力される。 First, in step S200, the hole H of each inspection object is imaged by the omnidirectional imaging device 10 as shown in FIG. 1 to obtain annular image data. The acquired annular image data is input to the annular image input unit 21.
次に、ステップＳ２１０において、画像変換部２２は、環状画像入力部２１から検査対象物の環状画像データを受け取り、これをパノラマ展開画像データに変換する。画像変換部２２は、先に補正データ取得部２４においてマスターワーク５０から得られている補正データ（処理外円、内円及び視野角）を用いて、環状画像データを極座標変換してパノラマ展開画像データに変換する。 Next, in step S210, the image conversion unit 22 receives the annular image data of the inspection object from the annular image input unit 21, and converts this into panoramic developed image data. The image conversion unit 22 uses the correction data (outer processing circle, inner circle, and viewing angle) previously obtained from the master work 50 in the correction data acquisition unit 24 to perform polar coordinate conversion on the annular image data to generate a panoramic developed image. Convert to data.
パノラマ展開画像データへの変換は、内円Ｃβの中心Ｏβを中心として、分解能等によって定めた角度毎に周方向に、内円半径Ｒβを半径とした処理円上に位置する環状画像データを極座標変換して、水平方向に直線状に展開する。なお、算出された画素位置が環状画像データの最小画素の位置に一致するとは限らない。これらの位置が一致しない場合、算出された画素位置に接している割合で環状画像データ（輝度データ）を補間計算して、算出された画素位置における画素データ（輝度データ）を求めればよい。 Conversion to panoramic image data, about the center O beta of inner circle C beta, the circumferential direction for each angle defined by the resolution and the like, cyclic image positioned on the treated circle the inner circle radius R beta has a radius The data is converted into polar coordinates and expanded in a straight line in the horizontal direction. Note that the calculated pixel position does not always match the position of the minimum pixel of the annular image data. If these positions do not match, the annular image data (luminance data) may be interpolated at a rate in contact with the calculated pixel position to obtain pixel data (luminance data) at the calculated pixel position.
この展開作業は、処理円中心を内円Ｃβの中心Ｏβから外円Ｃαの中心Ｏαに順次、分解能等によって定めた間隔毎に直線状に移動させながら繰り返す。これと同時に処理円半径を、広角レンズ１１の鉛直方向歪みを補正するように、内円半径Ｒβから外円半径Ｒαに向けて順次長くする。このようにして環状画像データを内円Ｃβから外円Ｃαに向かって順次極座標変換する。 The deployment tasks sequentially process the circle center from the center O beta of inner circle C beta at the center O alpha outer circle C alpha, repeated while moving linearly for each interval defined by the resolution and the like. At the same time, the processing circle radius is gradually increased from the inner circle radius R β to the outer circle radius R α so as to correct the vertical distortion of the wide-angle lens 11. In this manner, sequentially polar coordinate transformation annular image data from the inner circle C beta toward the outer circle C alpha.
ステップＳ２２０において、パノラマ展開画像データは展開画像出力部２３を介してパノラマ画像として表示装置３０に表示される。このようにマスターワーク５０から得られた補正データを用いて変換されたパノラマ展開画像は、図１０に示すように、水平方向に直線状の展開画像が順次積み上がり、歪みのない等ピッチのパノラマ展開画像となる。検査者は、このパノラマ画像表示を見て検査対象物の穴側壁面の検査を正確に行うことができる。 In step S <b> 220, the panoramic developed image data is displayed on the display device 30 as a panoramic image via the developed image output unit 23. As shown in FIG. 10, the panorama development image converted by using the correction data obtained from the master work 50 as described above is a panorama of equal pitch without distortion, in which linear development images are sequentially stacked in the horizontal direction. It becomes a developed image. The inspector can accurately inspect the hole side wall surface of the inspection object by viewing the panoramic image display.
そして、上記マスターワーク５０から得られた補正データを用いて、ステップＳ２００からステップＳ２２０の処理を繰り返し行い、各検査対象物に対して検査が行われる。 Then, using the correction data obtained from the master work 50, the processing from step S200 to step S220 is repeated to inspect each inspection object.
このように本実施形態においては、マスターワーク５０を用いて補正データを取得しているが、上述したように、このマスターワーク５０は、検査対象物と同じ形状を有し、穴Ｈの側壁面の上部及び下部に線５１、５２がそれぞれ設けられており、さらにこの穴の側壁面の上部及び下部に設けられた線５１、５２の間に、周方向に所定長さで且つ軸方向に等間隔で複数の線５３が設けられている。そして、マスターワーク５０の穴Ｈを、検査対象物が配置される位置と同じ位置で全方位撮像装置１０により撮像した環状画像から、極座標変換の処理円としての外円Ｃα及び内円Ｃβを求めるとともに、パノラマ展開画像に展開する際の視野角を求めるようにしている。 As described above, in the present embodiment, the correction data is acquired using the master work 50. However, as described above, the master work 50 has the same shape as the inspection object, and the side wall surface of the hole H. Lines 51 and 52 are provided at the upper and lower portions of the hole, respectively, and between the lines 51 and 52 provided at the upper and lower portions of the side wall surface of the hole, a predetermined length in the circumferential direction and the axial direction, etc. A plurality of lines 53 are provided at intervals. Then, an outer circle C α and an inner circle C β as processing circles for polar coordinate conversion are obtained from an annular image obtained by imaging the hole H of the master work 50 by the omnidirectional imaging device 10 at the same position as the position where the inspection object is arranged. As well as the viewing angle when developing into a panoramic development image.
そして本実施形態では、このようにして取得した補正データにより、各検査対象物を撮像した環状画像データをパノラマ展開画像データに変換するようにしたため、光軸の位置ずれを補正するとともに、視野角のバラツキを補正して、より高精度なパノラマ展開画像を得ることが可能となり、検査精度が向上した。また、一度マスターワークから補正データを取得すれば、これを用いて各検査対象物の検査を行うことができるので検査効率も向上する。 In the present embodiment, since the annular image data obtained by imaging each inspection object is converted into panoramic development image data using the correction data acquired in this way, the positional deviation of the optical axis is corrected and the viewing angle is also corrected. It is possible to obtain a more accurate panoramic developed image by correcting the variation of the above, and the inspection accuracy is improved. In addition, once the correction data is acquired from the master work, it is possible to inspect each inspection object using the correction data, thereby improving the inspection efficiency.
尚、本発明は、前述した実施形態に限定されるものでなく、適宜、変形、改良等が可能である。 In addition, this invention is not limited to embodiment mentioned above, A deformation | transformation, improvement, etc. are possible suitably.
１０ 全方位撮像装置
１１ 広角レンズ
１２ イメージセンサ
２０ 画像処理装置
２１ 環状画像入力部
２２ 画像変換部
２３ 展開画像出力部
２４ 補正データ取得部
３０ 表示装置
５０ マスターワーク
５１ マスターワークの穴上部の線
５２ マスターワークの穴下部の線
５３ マスターワークの穴の等間隔の複数の線
DESCRIPTION OF SYMBOLS 10 Omni-directional imaging device 11 Wide-angle lens 12 Image sensor 20 Image processing device 21 Annular image input unit 22 Image conversion unit 23 Expanded image output unit 24 Correction data acquisition unit 30 Display device 50 Master work 51 Line above hole of master work 51 Master Line 53 at the bottom of the hole in the workpiece Multiple lines at equal intervals in the hole in the master workpiece
Claims (3)
前記検査対象物と同じ形状を有し、穴の側壁面の上部及び下部に線がそれぞれ設けられたマスターワークの穴を前記検査対象物が配置される位置と同じ位置で前記全方位撮像装置により撮像する工程と、
前記マスターワークの穴の環状画像を用いて、前記極座標変換の基準となる内円及び外円をそれぞれ求める工程と、
前記極座標変換する基準となる処理中心を前記求めた内円の中心と前記求めた外円の中心との間で順次移動させながら前記極座標変換を行い、前記検査対象物の環状画像をパノラマ展開画像に変換する工程と、
を備え、
前記内円及び前記外円を求める工程は、前記マスターワークの上部及び下部の線に対応する環状画像中の像を、それぞれ仮外円及び仮内円とし、
前記仮外円及び仮内円を通る円錐が、前記マスターワークの穴の環状画像の最外周円と内接する位置における前記円錐の軸に垂直な断面、及び前記マスターワークの穴の環状画像の最内周円と外接する位置における前記円錐の軸に垂直な断面を、それぞれ前記前記極座標変換の基準となる前記外円及び前記内円とすることを特徴とする画像処理方法。 An image processing method for converting an annular image obtained by imaging the side wall surface of a hole of an inspection object by an omnidirectional imaging device into a panoramic developed image by polar coordinate conversion,
The omnidirectional imaging device has the same shape as the inspection object and the hole of the master work provided with lines on the upper and lower portions of the side wall surface of the hole at the same position as the position where the inspection object is arranged. Imaging step;
Using an annular image of the hole of the master work, obtaining each of an inner circle and an outer circle that are the reference for the polar coordinate transformation,
The polar coordinate conversion is performed while sequentially moving the processing center serving as a reference for the polar coordinate conversion between the center of the obtained inner circle and the center of the obtained outer circle, and the annular image of the inspection object is panorama developed image Converting to
Equipped with a,
The step of obtaining the inner circle and the outer circle, the images in the annular image corresponding to the upper and lower lines of the master work, respectively, as a temporary outer circle and a temporary inner circle,
A cross section perpendicular to the axis of the cone at a position where the cone passing through the provisional outer circle and the provisional inner circle is inscribed with the outermost circumferential circle of the annular image of the masterwork hole, and the outermost image of the annular image of the masterwork hole. image processing method according to the outer circle and wherein to Rukoto and said circular cross section perpendicular to the axis of the cone, as a reference for the the polar coordinate conversion, respectively, in a position circumscribing the inner circumference.
前記マスターワークの穴の環状画像を用いて、前記極座標変換により前記環状画像をパノラマ展開画像に変換する際の展開パラメータの視野角を求める工程と、
をさらに備え、
前記視野角を求める工程は、前記マスターワークの穴の環状画像を複数の視野角でパノラマ展開画像に展開し、各視野角に対するパノラマ展開画像における前記複数の線の像の線間距離の差が最小となるような視野角を、パノラマ展開画像に変換する際の展開パラメータとして選定することを特徴とする請求項１に記載の画像処理方法。 The master work is further provided with a plurality of lines at equal intervals in the axial direction with a predetermined length in the circumferential direction on the side wall surface of the hole,
Using the annular image of the hole of the master work, obtaining a viewing angle of a development parameter when converting the annular image into a panoramic developed image by the polar coordinate transformation;
Further comprising a,
In the step of obtaining the viewing angle, the annular image of the hole of the master work is developed into a panoramic development image at a plurality of viewing angles, and a difference in line-to-line distances between the images of the plurality of lines in the panoramic development image for each viewing angle is obtained. the viewing angle that minimizes image processing method according to claim 1, characterized that you selected as the expansion parameter when converting the panoramic image.
前記検査対象物と同じ形状を有し、穴の側壁面に周方向に所定長さで軸方向に等間隔で複数の線が設けられたマスターワークの穴を前記検査対象物が配置される位置と同じ位置で前記全方位撮像装置により撮像する工程と、
前記マスターワークの穴の環状画像を用いて、前記極座標変換により前記環状画像をパノラマ展開画像に変換する際の展開パラメータの視野角を求める工程と、
を備え、
前記視野角を求める工程は、前記マスターワークの穴の環状画像を複数の視野角でパノラマ展開画像に展開し、各視野角に対するパノラマ展開画像における前記複数の線の像の線間距離の差が最小となるような視野角を、パノラマ展開画像に変換する際の展開パラメータとして選定することを特徴とする画像処理方法。 An image processing method for converting an annular image obtained by imaging the side wall surface of a hole of an inspection object by an omnidirectional imaging device into a panoramic developed image by polar coordinate conversion,
Position at which the inspection object is disposed in a hole of a master work having the same shape as the inspection object and having a plurality of lines provided at equal intervals in the axial direction in the circumferential direction with a predetermined length on the side wall surface of the hole Imaging with the omnidirectional imaging device at the same position,
Using the annular image of the hole of the master work, obtaining a viewing angle of a development parameter when converting the annular image into a panoramic developed image by the polar coordinate transformation;
Equipped with a,
In the step of obtaining the viewing angle, the annular image of the hole of the master work is developed into a panoramic development image at a plurality of viewing angles, and a difference in line-to-line distances between the images of the plurality of lines in the panoramic development image for each viewing angle is obtained. the viewing angle that minimizes, the image processing method characterized that you selected as the expansion parameter when converting the panoramic image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013010426A JP6076103B2 (en) | 2013-01-23 | 2013-01-23 | Image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013010426A JP6076103B2 (en) | 2013-01-23 | 2013-01-23 | Image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014142243A JP2014142243A (en) | 2014-08-07 |
| JP6076103B2 true JP6076103B2 (en) | 2017-02-08 |
Family
ID=51423653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013010426A Active JP6076103B2 (en) | 2013-01-23 | 2013-01-23 | Image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6076103B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101532567B1 (en) * | 2014-01-10 | 2015-06-30 | 이탁영 | A capping machine |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112798286B (en) * | 2021-03-19 | 2021-07-06 | 中国航发上海商用航空发动机制造有限责任公司 | Distortion generating device for aircraft engine |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3420734B2 (en) * | 1999-03-12 | 2003-06-30 | 東京都下水道サービス株式会社 | Processing method of inside image of sewer |
| JP3705592B2 (en) * | 2002-04-17 | 2005-10-12 | 立山マシン株式会社 | Method and apparatus for correcting vertical distortion when annular image is expanded to panoramic image |
| JP3764953B2 (en) * | 2002-04-17 | 2006-04-12 | 立山マシン株式会社 | Method for recording image conversion parameters in an annular image |
| JP2004199416A (en) * | 2002-12-19 | 2004-07-15 | Hitachi Zosen Corp | Object azimuth detection device and device for detecting shifted angle of composite object |
| JP4570887B2 (en) * | 2004-03-17 | 2010-10-27 | 日本電産トーソク株式会社 | Inspection method using polar coordinate image |
| JP5568947B2 (en) * | 2009-10-21 | 2014-08-13 | アイシン精機株式会社 | Inspection device for internal surface defects of screw holes or holes |
| JP5863374B2 (en) * | 2011-10-11 | 2016-02-16 | 本田技研工業株式会社 | Image processing method |
-
2013
- 2013-01-23 JP JP2013010426A patent/JP6076103B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101532567B1 (en) * | 2014-01-10 | 2015-06-30 | 이탁영 | A capping machine |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014142243A (en) | 2014-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5863374B2 (en) | Image processing method | |
| JP5039519B2 (en) | Appearance inspection method and apparatus | |
| JP5193113B2 (en) | MTF measuring apparatus and MTF measuring program | |
| EP2031861A2 (en) | Method of correcting image distortion and apparatus for processing image using the method | |
| US20100225666A1 (en) | Digital optical comparator | |
| Li et al. | Light plane calibration and accuracy analysis for multi-line structured light vision measurement system | |
| CN112634373B (en) | Visual measurement system dynamic correction method based on zero-expansion ceramic calibration plate | |
| CN115810041B (en) | Cable size detection method and system based on multi-camera vision | |
| CN116597013B (en) | Satellite image geometric calibration method based on different longitude and latitude areas | |
| JP6076103B2 (en) | Image processing method | |
| JP2011101265A (en) | Method and device for calculation of calibration information, and wide angle image processing apparatus | |
| US10516822B2 (en) | Method and device for merging images of calibration devices | |
| JP2010048553A (en) | Inspecting method of compound-eye distance measuring device and chart used for same | |
| JP4891788B2 (en) | Electron microscope image distortion correction method and brightness correction method | |
| US8559697B2 (en) | Mask inspection apparatus and image generation method | |
| JP2009264894A (en) | Inspection device | |
| JP5178781B2 (en) | Sensor output data correction device and sensor output data correction method | |
| WO2009107365A1 (en) | Test method and test device for compound-eye distance measuring device and chart used therefor | |
| JP2012013592A (en) | Calibration method for three-dimensional shape measuring machine, and three-dimensional shape measuring machine | |
| CN112887700B (en) | Two-dimensional method for lateral position error of unit lens and lens array | |
| JP6646133B2 (en) | Image processing device and endoscope | |
| CN112529792B (en) | Distortion correction method for distortion-free model camera | |
| JP2019120644A (en) | Surface inspection device and surface inspection method | |
| KR20150002964A (en) | Image acquisition method and image acquisition apparatus using the same | |
| JP2008154195A (en) | Method of creating pattern for calibration of lens, pattern for calibration of lens, method and device for calibrating lens utilizing pattern for calibration, and method and device for calibrating imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160830 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170110 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6076103 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |