JP6520451B2 - Appearance photographing apparatus and appearance photographing method - Google Patents
Appearance photographing apparatus and appearance photographing method Download PDFInfo
- Publication number
- JP6520451B2 JP6520451B2 JP2015124021A JP2015124021A JP6520451B2 JP 6520451 B2 JP6520451 B2 JP 6520451B2 JP 2015124021 A JP2015124021 A JP 2015124021A JP 2015124021 A JP2015124021 A JP 2015124021A JP 6520451 B2 JP6520451 B2 JP 6520451B2
- Authority
- JP
- Japan
- Prior art keywords
- photographed
- camera
- photographing
- equation
- manipulator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、外観撮影装置及び外観撮影方法に関する。 The present invention relates to an appearance photographing apparatus and an appearance photographing method.
ＦＡ（Factory Automation）分野において、製品をカメラで撮影し、当該撮影の画像データから製品の良否を判定する検査装置が用いられている。しかしながら、撮影対象製品が曲面で構成されている場合には、単にカメラを水平方向に移動させて撮影すると、撮影対象製品の画像上での大きさが一定せず、精密な撮影が困難であった。また、撮影用の照明の光が局部的に強く反射する照明ムラが生じるおそれがある。かかる照明ムラが生じると、撮影画像にはレンズフレア等が発生して、撮影対象製品の表面の描写が不完全になる場合があった。 In the field of FA (Factory Automation), an inspection apparatus is used which shoots a product with a camera and determines the quality of the product from the image data of the shooting. However, when the product to be photographed is configured as a curved surface, if the camera is simply moved in the horizontal direction for photographing, the size on the image of the product to be photographed is not constant, and precise photographing is difficult. The In addition, there is a possibility that uneven illumination may occur in which the light of the illumination for photographing is strongly reflected locally. When such illumination unevenness occurs, lens flare or the like may occur in the photographed image, and the depiction of the surface of the product to be photographed may become incomplete.
特許文献１には、コンベヤにより搬送される車両とカメラとを相対移動させながら車体側面部の塗装面を撮影した上で、画像処理により上記塗装面における表面欠陥を抽出する自動車車体の外観検査装置の発明が開示されている。 Patent Document 1 discloses an appearance inspection apparatus for an automobile body, which captures a surface defect on the painted surface by image processing after photographing the painted surface of the vehicle body side portion while relatively moving a vehicle transported by a conveyor and a camera. Invention is disclosed.
特許文献２には、検査対象の表面を、所定の曲率の範囲に納まるまで分割し、分割後の領域毎に画像を取得することにより、検査対象の表面が曲率が一定でない曲面であっても、略平面とみなせる単位で撮影を行う外観検査支援装置の発明が開示されている。 In Patent Document 2, the surface to be inspected is divided until it falls within a predetermined curvature range, and the image to be inspected is acquired for each divided area, so that the surface to be inspected is a curved surface having a constant curvature. The invention of an appearance inspection support device that performs imaging in units that can be regarded as a substantially flat surface is disclosed.
特許文献３には、カメラを取り付けたロボットアームを予め定められた経路に従って移動させ、カメラにより撮影された画像を取り込み、傷を検出して位置を表示する表面検査装置の発明が開示されている。 Patent Document 3 discloses an invention of a surface inspection apparatus which moves a robot arm attached with a camera according to a predetermined route, captures an image captured by the camera, detects a flaw, and displays a position. .
しかしながら、特許文献１に開示されている自動車車体の外観検査装置は、自動車車体を対象としているため、装置が大がかりであり、高額な設備投資を要するという問題点があった。 However, the appearance inspection apparatus for automobile body disclosed in Patent Document 1 is directed to the automobile body, so the apparatus is large-scaled and there is a problem that expensive equipment investment is required.
特許文献２に開示されている外観検査支援装置は、撮影対象物の曲率が大きい場合、又は撮影対象物が長尺の場合には、略平面とみなせる単位で撮影を行う回数が甚大となり、検査時間が長くかかるという問題点があった。 In the appearance inspection support device disclosed in Patent Document 2, when the curvature of the object to be photographed is large or when the object to be photographed is long, the number of times of photographing in a unit regarded as substantially flat becomes enormous, and the inspection There is a problem that it takes a long time.
特許文献３に開示されている表面検査装置は、カメラの撮影位置や角度を設定するティーチング処理で、複数のレーザ光源を使用する必要があり、装置全体が複雑化すると共に、ティーチング処理を含めた制御が煩雑になるという問題点があった。 The surface inspection apparatus disclosed in Patent Document 3 is a teaching process for setting the shooting position and angle of the camera, and it is necessary to use a plurality of laser light sources, and the entire apparatus becomes complicated, and the teaching process is included. There is a problem that control becomes complicated.
本発明は上記に鑑みてなされたもので、簡素な構成で曲面からなる撮影対象物を精密に撮影できる外観撮影装置及び外観撮影方法を提供することを目的とする。 The present invention has been made in view of the above, and it is an object of the present invention to provide an external appearance photographing apparatus and an external appearance photographing method which can accurately photograph an object to be photographed having a curved surface with a simple configuration.
前記課題を解決するために、請求項１に記載の外観撮影装置は、撮影対象物の撮影対象表面の立体形状を計測する計測部と、複数の関節を備えたマニュピレータに取り付けられて前記撮影対象表面を撮影するカメラと、前記計測部が計測した前記撮影対象表面の立体形状に基づいて、前記カメラのレンズの光軸が前記撮影対象表面と垂直になるように前記カメラを保持すると共に前記カメラを前記撮影対象表面に倣って移動させるように前記マニュピレータを制御する制御部と、を含む外観撮影装置であって、前記制御部は、前記計測部が計測した前記撮影対象表面の立体形状に基づいて、前記撮影対象表面に予め複数設定された撮影対象点における前記撮影対象表面の法線と、水平面への正射影が撮影時の前記カメラの水平方向の移動方向と略一致する前記撮影対象表面の接線と、を算出し、前記カメラのレンズの光軸が前記法線と一致するように前記カメラを保持すると共に前記カメラを前記接線の方向に移動させるように前記マニュピレータを制御する。
In order to solve the above-mentioned subject, the appearance photography device according to claim 1 is attached to a measurement part which measures solid shape of a photography subject surface of a photography subject, and a manipulator provided with a plurality of joints, and the photography subject The camera is held while the optical axis of the lens of the camera is perpendicular to the surface to be photographed based on the camera for photographing the surface and the three-dimensional shape of the surface to be photographed measured by the measurement unit A control unit that controls the manipulator so as to move the imaging object according to the surface to be photographed , and the control unit is based on the three-dimensional shape of the surface to be photographed measured by the measuring unit. The normal direction of the surface to be photographed at a plurality of photographing target points set in advance on the surface to be photographed, and the horizontal projection direction of the camera when the orthographic projection on the horizontal surface is photographed And calculating the tangent of the surface to be imaged substantially coincident, holding the camera such that the optical axis of the lens of the camera coincides with the normal, and moving the camera in the direction of the tangent Control the manipulator .
この外観撮影装置は、撮影前に撮影対象部の表面の立体形状を計測し、計測した立体形状に基づいてカメラアングル及びカメラを移動させる方向を決定する。カメラアングルは、カメラのレンズの光軸が撮影対象物の表面と垂直になるように制御され、カメラの移動方向は、撮影対象物の表面に倣うように制御される。 The appearance photographing apparatus measures the three-dimensional shape of the surface of the photographing target part before photographing, and determines the camera angle and the moving direction of the camera based on the measured three-dimensional shape. The camera angle is controlled so that the optical axis of the lens of the camera is perpendicular to the surface of the object to be photographed, and the moving direction of the camera is controlled to follow the surface of the object to be photographed.
かかる制御により、撮影対象物に対して真っ直ぐにレンズを向けられるとともに、カメラと撮影対象物との距離が略一定に保たれるので、簡素な構成ながら曲面からなる撮影対象物を精密に撮影できる。 With this control, the lens can be directed straight to the object to be photographed, and the distance between the camera and the object to be photographed can be kept substantially constant, so that the object to be photographed can be precisely photographed with a simple configuration. .
また、この外観撮影装置によれば、カメラのレンズの光軸が撮影対象物の表面の法線と一致するようにカメラを保持すると共にカメラを水平面への正射影が撮影時のカメラの水平方向の移動方向と略一致する接線の方向に移動させることにより曲面からなる撮影対象物を精密に撮影できる。
Further , according to this external appearance photographing apparatus, the camera is held so that the optical axis of the lens of the camera coincides with the normal to the surface of the object to be photographed, and the orthogonal projection of the camera on the horizontal surface is the horizontal direction of the camera at the time of photographing By moving in the direction of the tangent substantially coincident with the moving direction of the object, it is possible to precisely photograph the object to be photographed which is a curved surface.
請求項２に記載の外観撮影装置は、請求項１記載の外観撮影装置において、前記制御部は、前記撮影対象点の座標及び前記撮影対象点の近くの複数の座標から算出した前記撮影対象表面の接平面に平行な最小二乗平面の方程式から前記法線を算出する。
The appearance photographing apparatus according to claim 2 is the appearance photographing apparatus according to claim 1 , wherein the control unit calculates the surface to be photographed which is calculated from coordinates of the photographing target point and a plurality of coordinates near the photographing target point. The normal is calculated from the equation of the least square plane parallel to the tangent plane of.
この外観撮影装置によれば、撮影対象点近くの複数の座標から最小二乗法によって算出した撮影対象物の表面の接平面に平行な最小二乗平面の方程式から法線を算出することにより、カメラのレンズの光軸方向を決定できる。 According to this appearance photographing apparatus, the normal line is calculated from the equation of the least square plane parallel to the tangent plane of the surface of the object to be photographed which is calculated by the least squares method from a plurality of coordinates near the object point to be photographed. The optical axis direction of the lens can be determined.
請求項３に記載の外観撮影装置は、請求項１又は２記載の外観撮影装置において、前記制御部は、前記撮影対象点を通り、水平面への正射影が撮影時の前記カメラの水平方向の移動方向と略一致する曲線の方程式を３つ以上の撮影対象点の座標値を用いて算出し、該曲線の方程式を用いて前記３つ以上の撮影対象点の間で前記接線を算出する。
The external appearance photographing apparatus according to claim 3 is the external appearance photographing apparatus according to claim 1 or 2 , wherein the control unit passes the photographing target point, and an orthographic projection on a horizontal surface is in the horizontal direction of the camera at the time of photographing. An equation of a curve that substantially matches the moving direction is calculated using coordinate values of three or more imaging target points, and the tangent is calculated between the three or more imaging target points using the equation of the curve.
この外観撮影装置によれば、撮影対象物の曲面を３つ以上の撮影対象点を通ると仮想した曲線の方程式を算出し、当該方程式を用いて当該曲線上の接線を算出することにより、カメラの移動方向を連続的に算出することができる。 According to this appearance photographing apparatus, an equation of a curve which assumes that a curved surface of a photographing object passes through three or more photographing target points is calculated, and a tangent line on the curve is calculated using the equation to obtain a camera. The moving direction of can be calculated continuously.
請求項４に記載の外観撮影装置は、請求項１〜３のいずれか１項記載の外観撮影装置において、前記カメラと共に前記マニュピレータに取り付けられ、前記撮影対象表面を照明する照明装置を備え、前記制御部は、該照明装置を前記カメラと共に前記撮影対象表面に倣って移動させるように前記マニュピレータを制御する。
The appearance photographing apparatus according to claim 4 is the appearance photographing apparatus according to any one of claims 1 to 3 , further comprising: an illumination device attached to the manipulator together with the camera to illuminate the surface to be photographed. The control unit controls the manipulator to move the illumination device along with the camera along the surface to be photographed.
この外観撮影装置によれば、照明と撮影対象物との距離を一定に保ったまま撮影対象物の表面を撮影できるので、曲面からなる撮影対象物を照明ムラなく撮影できる。 According to this appearance photographing apparatus, since the surface of the object to be photographed can be photographed while keeping the distance between the illumination and the object to be photographed constant, it is possible to photograph the object to be photographed having a curved surface without uneven illumination.
前記課題を解決するために、請求項５に記載の外観撮影方法は、撮影対象物の撮影対象表面の立体形状を計測する手順と、計測した前記撮影対象表面の立体形状に基づいて、複数の関節を備えたマニュピレータに取り付けられて前記撮影対象表面を撮影するカメラのレンズの光軸が前記撮影対象表面と垂直になるように前記カメラを保持すると共に前記カメラを前記撮影対象表面に倣って移動させるように前記マニュピレータを制御する手順と、を含む外観撮影方法であって、前記マニュピレータを制御する手順は、前記計測した前記撮影対象表面の立体形状に基づいて、前記撮影対象表面に予め複数設定された撮影対象点における前記撮影対象表面の法線を算出する手順と、水平面への正射影が撮影時の前記カメラの水平方向の移動方向と略一致する前記撮影対象表面の接線を算出する手順と、前記カメラのレンズの光軸が前記法線と一致するように前記カメラを保持すると共に前記カメラを前記接線の方向に移動させるように前記マニュピレータを制御する手順と、を含んでいる。
In order to solve the above-mentioned subject, according to the appearance photography method according to claim 5 , a plurality of procedures are performed based on a procedure of measuring a three-dimensional shape of a shooting target surface of a shooting target and a measured three-dimensional shape of the shooting target surface. The camera is held so that the optical axis of the lens of the camera mounted on the manipulator having the joints and photographing the surface to be photographed is perpendicular to the surface to be photographed and the camera is moved along the surface to be photographed And a step of controlling the manipulator so that the step of controlling the manipulator comprises setting in advance a plurality of the photographing target surfaces based on the measured three-dimensional shape of the photographing target surface. Calculating the normal of the surface to be photographed at the photographed target point, and the horizontal movement direction of the camera at the time of photographing with the orthogonal projection on the horizontal plane Calculating the tangent of the object surface to be photographed, and holding the camera such that the optical axis of the lens of the camera coincides with the normal, and the manipulator to move the camera in the direction of the tangent And, control procedures .
この外観撮影方法は、撮影前に撮影対象部の表面の立体形状を計測し、計測した立体形状に基づいてカメラアングル及びカメラを移動させる方向を決定する。カメラアングルは、カメラのレンズの光軸が撮影対象物の表面と垂直になるように制御され、カメラの移動方向は、撮影対象物の表面に倣うように制御される。 In this external appearance photographing method, the three-dimensional shape of the surface of the imaging target portion is measured before photographing, and the camera angle and the direction in which the camera is moved are determined based on the measured three-dimensional shape. The camera angle is controlled so that the optical axis of the lens of the camera is perpendicular to the surface of the object to be photographed, and the moving direction of the camera is controlled to follow the surface of the object to be photographed.
かかる制御により、撮影対象物に対して真っ直ぐにレンズを向けられるとともに、カメラと撮影対象物との距離が略一定に保たれるので、簡素な構成ながら曲面からなる撮影対象物を精密に撮影できる。 With this control, the lens can be directed straight to the object to be photographed, and the distance between the camera and the object to be photographed can be kept substantially constant, so that the object to be photographed can be precisely photographed with a simple configuration. .
また、この外観撮影方法によれば、カメラのレンズの光軸が撮影対象物の表面の法線と一致するようにカメラを保持すると共にカメラを水平面への正射影が撮影時のカメラの水平方向の移動方向と略一致する接線の方向に移動させることにより曲面からなる撮影対象物を精密に撮影できる。
Further , according to this appearance photographing method, the camera is held so that the optical axis of the lens of the camera coincides with the normal to the surface of the object to be photographed, and the orthogonal projection of the camera onto the horizontal plane is the horizontal direction of the camera at the time of photographing By moving in the direction of the tangent substantially coincident with the moving direction of the object, it is possible to precisely photograph the object to be photographed which is a curved surface.
請求項６に記載の外観撮影方法は、請求項５記載の外観撮影方法において、前記法線を算出する手順は、前記撮影対象点の座標及び前記撮影対象点の近くの複数の座標から算出した前記撮影対象表面の接平面に平行な最小二乗平面の方程式から前記法線を算出する。
In the appearance photographing method according to claim 6 , in the appearance photographing method according to claim 5 , the procedure of calculating the normal is calculated from the coordinates of the photographing target point and a plurality of coordinates near the photographing target point The normal is calculated from an equation of a least square plane parallel to a tangent plane of the imaging target surface.
この外観撮影方法によれば、撮影対象点近くの複数の座標から最小二乗法によって算出した撮影対象物の表面の接平面に平行な最小二乗平面の方程式から法線を算出することにより、カメラのレンズの光軸方向を決定できる。 According to this appearance photographing method, the normal of the camera is calculated from the equation of the least square plane parallel to the tangent plane of the surface of the object to be photographed which is calculated by the least squares method from a plurality of coordinates near the object point. The optical axis direction of the lens can be determined.
請求項７に記載の外観撮影方法は、請求項５又は６記載の外観撮影方法において、前記接線を算出する手順は、前記撮影対象点を通り、水平面への正射影が撮影時の前記カメラの水平方向の移動方向と略一致する曲線の方程式を３つ以上の撮影対象点の座標値を用いて算出し、該曲線の方程式を用いて前記３つ以上の撮影対象点の間で前記接線を算出する。 The external appearance photographing method according to claim 7 is the external appearance photographing method according to claim 5 or 6 , wherein the procedure of calculating the tangent line passes through the photographing target point, and the orthogonal projection of the camera onto the horizontal plane takes place. An equation of a curve substantially corresponding to the moving direction in the horizontal direction is calculated using coordinate values of three or more shooting target points, and the tangent line is calculated between the three or more shooting target points using the equation of the curve. calculate.
この外観撮影方法によれば、撮影対象物の曲面を３つ以上の撮影対象点を通ると仮想した曲線の方程式を算出し、当該方程式を用いて当該曲線上の接線を算出することにより、カメラの移動方向を連続的に算出することができる。 According to this external appearance photographing method, the camera of the camera is calculated by calculating an equation of a curve that assumes that the curved surface of the object to be photographed passes through three or more photographing target points, and using the equation. The moving direction of can be calculated continuously.
請求項８に記載の外観撮影方法は、請求項５〜７のいずれか１項記載の外観撮影方法において、前記カメラと共に前記マニュピレータに取り付けられた前記撮影対象表面を照明する照明装置を前記カメラと共に前記撮影対象表面に倣って移動させるように前記マニュピレータを制御する手順を含む。
The appearance photographing method according to claim 8 is the appearance photographing method according to any one of claims 5 to 7 , wherein an illumination device for illuminating the surface to be photographed attached to the manipulator together with the camera together with the camera. It includes a procedure of controlling the manipulator to move along the surface to be photographed.
この外観撮影方法によれば、照明と撮影対象物との距離を一定に保ったまま撮影対象物の表面を撮影できるので、曲面からなる撮影対象物を照明ムラなく撮影できる。 According to this appearance photographing method, the surface of the object to be photographed can be photographed while keeping the distance between the illumination and the object to be photographed constant. Therefore, the object to be photographed having a curved surface can be photographed without uneven illumination.
［第１の実施の形態］
図１は、本実施の形態に係る外観撮影装置１０の構成を示す概略図である。外観撮影装置１０は、複数の関節を備えたマニュピレータである垂直多関節ロボットの一種である６軸ロボット２０と、６軸ロボット２０及び６軸ロボットの先端に取り付けられたラインスキャンカメラ４２等を制御するための制御装置３０とを含んでいる。
First Embodiment
FIG. 1 is a schematic view showing a configuration of an appearance photographing apparatus 10 according to the present embodiment. The appearance photographing apparatus 10 controls a 6-axis robot 20 which is a kind of vertical articulated robot which is a manipulator having a plurality of joints, a 6-axis robot 20, and a line scan camera 42 attached to the tip of the 6-axis robot. And a control unit 30 for controlling.
６軸ロボット２０は、第１関節２０Ｘ、第２関節２０Ｙ及び第３関節２０Ｚを備え、第１関節２０Ｘは、第２関節２０Ｙ及び第３関節２０Ｚは、各々、いわゆる２軸関節であり、第１の軸線回りに回転する第１旋回要素と、第１の軸線と交差する第２の軸線回りに回転する第２旋回要素とを有している。 The six-axis robot 20 includes a first joint 20X, a second joint 20Y, and a third joint 20Z. The first joint 20X is a so-called two-axis joint in which each of the second joint 20Y and the third joint 20Z is A first pivoting element rotates about an axis of one, and a second pivoting element rotates about a second axis intersecting the first axis.
具体的には、第１関節２０Ｘは、第１旋回要素Ｘと第１旋回要素Ｘと交差する第２旋回要素ＲＸとで可動可能に構成されている。また、第２関節２０Ｙは、第１旋回要素Ｙと第１旋回要素Ｙと交差する第２旋回要素ＲＹとで可動可能に、第３関節２０Ｚは、第１旋回要素Ｚと第１旋回要素Ｚと交差する第２旋回要素ＲＺとで可動可能に、各々構成されている。 Specifically, the first joint 20X is configured to be movable by a first pivoting element X and a second pivoting element RX intersecting the first pivoting element X. Further, the second joint 20Y is movably movable by the first pivoting element Y and the second pivoting element RY intersecting the first pivoting element Y, and the third joint 20Z is constituted by the first pivoting element Z and the first pivoting element Z And movably with a second pivoting element RZ that intersects with each other.
第１旋回要素Ｘと第２旋回要素ＲＸとの交差角は例えば略９０度であるが、６軸ロボット２０の仕様により９０度以外の値を取りうる。同様に、第１旋回要素Ｙと第２旋回要素ＲＹとの交差角、及び第１旋回要素Ｚと第２旋回要素ＲＺとの交差角も、各々６軸ロボット２０の仕様によって９０度以外の値を取りうる。 The crossing angle between the first pivoting element X and the second pivoting element RX is, for example, approximately 90 degrees, but may take values other than 90 degrees depending on the specifications of the six-axis robot 20. Similarly, the intersection angle between the first pivoting element Y and the second pivoting element RY and the intersection angle between the first pivoting element Z and the second pivoting element RZ are also values other than 90 degrees depending on the specifications of the six-axis robot 20 Can take
６軸ロボット２０の第１関節２０Ｘの端部には撮影対象物５０を撮影するためのラインスキャンカメラ４２とラインスキャンカメラ４２の撮影時に点灯する照明４２Ａが取り付けられている。６軸ロボット２０の第１関節２０Ｘの端部にはラインスキャンカメラ４２以外にも、撮影対象物５０の表面形状を計測する２次元レーザ変位計（図示せず）を取り付けることも可能である。 At the end of the first joint 20X of the six-axis robot 20, a line scan camera 42 for photographing the object 50 to be photographed and a light 42A which is turned on at the time of photographing by the line scan camera 42 are attached. In addition to the line scan camera 42, it is also possible to attach a two-dimensional laser displacement meter (not shown) for measuring the surface shape of the object 50 to be photographed at the end of the first joint 20X of the six-axis robot 20.
ラインスキャンカメラ４２は、撮影対象物５０の表面を所定幅のライン単位でスキャンする毎にビデオ信号を出力するカメラであり、撮影対象物５０の表面を高解像度で撮影することができる。 The line scan camera 42 is a camera that outputs a video signal each time the surface of the object to be imaged 50 is scanned in line units of a predetermined width, and can image the surface of the object to be imaged 50 with high resolution.
また、２次元レーザ変位計は、発光素子である半導体レーザと、ＣＣＤ（Charge Coupled Device）等の受光素子とを含んでいる。２次元レーザ変位計は、発光素子から照射されたレーザの撮影対象物５０表面による反射光を受光素子で検出することにより、撮影対象物５０までの距離と撮影対象物５０の幅を同時に測定する。 In addition, the two-dimensional laser displacement meter includes a semiconductor laser which is a light emitting element, and a light receiving element such as a CCD (Charge Coupled Device). The two-dimensional laser displacement meter simultaneously measures the distance to the imaging target 50 and the width of the imaging target 50 by detecting light reflected by the surface of the imaging target 50 of the laser emitted from the light emitting element by the light receiving element. .
例えば、２次元レーザ変位計は、撮影対象物５０の表面で拡散反射したレーザを受光素子上に結像させ、受光素子上の像の位置及び形状の変化を検出することで撮影対象物５０との距離の変位と撮影対象物５０の形状とを測定する。 For example, a two-dimensional laser displacement meter forms an image on a light receiving element of laser diffused and reflected on the surface of the object to be photographed 50, and detects a change in position and shape of an image on the light receiving element. And the shape of the object 50 to be photographed.
なお、本実施の形態では、２次元レーザ変位計とラインスキャンカメラ４２とは、同時に６軸ロボット２０の第１関節２０Ｘの端部には取り付けない。撮影対象物５０の表面形状を計測する場合には２次元レーザ変位計を、撮影対象物５０を撮影する場合にはラインスキャンカメラ４２を、６軸ロボット２０の第１関節２０Ｘの端部に各々取り付ける。 In the present embodiment, the two-dimensional laser displacement meter and the line scan camera 42 are not attached to the end of the first joint 20X of the six-axis robot 20 at the same time. When measuring the surface shape of the imaging object 50, a two-dimensional laser displacement meter, when imaging the imaging object 50, the line scan camera 42 and the end of the first joint 20X of the six-axis robot 20 Attach.
制御装置３０は、２次元レーザ変位計の制御を行う変位計コントローラ３２、ラインスキャンカメラ４２を制御するカメラコントローラ３４、及び６軸ロボット２０の動作を制御するロボットコントローラ３６を含んでいる。また制御装置３０は、２次元レーザ変位計の計測データ及びラインスキャンカメラ４２の撮影データを処理するデータ処理装置３８を備えている。 The control device 30 includes a displacement gauge controller 32 that controls a two-dimensional laser displacement meter, a camera controller 34 that controls the line scan camera 42, and a robot controller 36 that controls the operation of the six-axis robot 20. The control device 30 further includes a data processing device 38 that processes measurement data of the two-dimensional laser displacement gauge and imaging data of the line scan camera 42.
図２は、本実施の形態に係る外観撮影装置１０の一例を示したブロック図である。図２に示したように、制御装置３０は、変位計コントローラ３２によって２次元レーザ変位計４４を制御すると共に、ロボットコントローラ３６によって端部に２次元レーザ変位計が設けられた６軸ロボット２０を例えば撮影対象物５０の一端から他端までスキャンするように制御する。 FIG. 2 is a block diagram showing an example of the appearance photographing apparatus 10 according to the present embodiment. As shown in FIG. 2, the control device 30 controls the two-dimensional laser displacement gauge 44 by the displacement gauge controller 32, and the robot controller 36 controls the six-axis robot 20 provided with the two-dimensional laser displacement gauge at its end. For example, control is performed to scan from one end to the other end of the imaging target 50.
２次元レーザ変位計４４が撮影対象物５０をスキャンしたデータはデータ処理装置３８で処理され、撮影対象物５０の立体的な形状が算出される。さらに、算出した形状から撮影時にラインスキャンカメラ４２を移動させる方向を算出し、ラインスキャンカメラ４２を当該方向へ移動させる際の６軸ロボット２０の各関節の動きを算出する。 Data obtained by scanning the subject 50 with the two-dimensional laser displacement meter 44 is processed by the data processor 38, and the three-dimensional shape of the subject 50 is calculated. Furthermore, the direction in which the line scan camera 42 is moved at the time of shooting is calculated from the calculated shape, and the movement of each joint of the six-axis robot 20 when moving the line scan camera 42 in the direction is calculated.
制御装置３０は、ロボットコントローラ３６により、６軸ロボット２０の各関節がデータ処理装置３８によって算出した動きになるように制御すると共に、カメラコントローラ３４によりラインスキャンカメラ４２を制御して撮影対象物５０を撮影する。 The control device 30 controls the robot controller 36 so that each joint of the six-axis robot 20 moves in the motion calculated by the data processing device 38, and the camera controller 34 controls the line scan camera 42 to capture the object 50 To shoot.
制御装置３０は、専用に設計された装置でもよいが、パーソナルコンピュータ又はＰＬＣ（Programmable Logic Controller）等の汎用機を用いてもよい。汎用機を用いる場合には、２次元レーザ変位計４４、ラインスキャンカメラ４２及び６軸ロボット２０を各々制御するためのソフトウェア、並びに２次元レーザ変位計４４の計測データに基づいて、ラインスキャンカメラ４２の移動方向とカメラアングルとを算出するソフトウェアをインストールして使用する。 The control device 30 may be a device specially designed, but may be a general-purpose machine such as a personal computer or a programmable logic controller (PLC). When a general-purpose machine is used, the line scan camera 42 is based on the two-dimensional laser displacement meter 44, the software for controlling the line scan camera 42 and the six-axis robot 20, and the measurement data of the two-dimensional laser displacement meter 44. Install and use software to calculate the movement direction and camera angle.
以下に、本実施の形態に係る外観撮影装置１０の作用及び効果について説明する。図３は、本実施の形態に係る外観撮影装置１０における撮影処理の一例を示したフローチャートである。 The operation and effects of the appearance photographing apparatus 10 according to the present embodiment will be described below. FIG. 3 is a flowchart showing an example of the photographing process in the appearance photographing apparatus 10 according to the present embodiment.
ステップ８００では、６軸ロボット２０の第１関節２０Ｘの端部に取り付けた２次元レーザ変位計４４を用いて撮影対象物５０の表面形状を測定する。ステップ８０２では２次元レーザ変位計４４による計測データをデータ処理装置３８の記憶装置に格納する。 In step 800, the surface shape of the object 50 to be imaged is measured using a two-dimensional laser displacement meter 44 attached to the end of the first joint 20X of the six-axis robot 20. In step 802, measurement data from the two-dimensional laser displacement meter 44 is stored in the storage unit of the data processing unit 38.
ステップ８０４では、記憶装置に格納された計測データに基づいて、ラインスキャンカメラ４２の移動方向とカメラアングルとを算出する最適カメラ姿勢算出処理が行われる。最適カメラ姿勢算出処理の詳細については、後述する。 At step 804, an optimum camera posture calculation process is performed to calculate the moving direction of the line scan camera 42 and the camera angle based on the measurement data stored in the storage device. Details of the optimum camera posture calculation process will be described later.
ステップ８０６では、ラインスキャンカメラ４２の移動方向及びカメラアングルが、ステップ８０４の最適カメラ姿勢算出処理で算出したとおりになるようにロボットコントローラ３６を設定する。また、６軸ロボット２０の第１関節２０Ｘの端部に未だ２次元レーザ変位計４４が取り付けられている場合には、ラインスキャンカメラ４２と交換する。 In step 806, the robot controller 36 is set so that the moving direction and camera angle of the line scan camera 42 become as calculated in the optimum camera posture calculation process of step 804. When the two-dimensional laser displacement meter 44 is still attached to the end of the first joint 20X of the six-axis robot 20, the line scan camera 42 is replaced.
ステップ８０８では、撮影対象物５０の表面をラインスキャンカメラ４２で撮影する。図４は、本実施の形態に係る外観撮影装置１０における撮影時でのラインスキャンカメラ４２の移動方向及びカメラアングルの変化の一例を示した概略図である。図４に示したように、本実施の形態では、ラインスキャンカメラ４２は、撮影対象物５０の表面形状に従って、撮影対象物５０との距離を一定に保ちながら移動する。また、ラインスキャンカメラ４２のレンズの光軸が、撮影対象物５０表面の法線ベクトル５２の延長線と一致するようにカメラアングルを変化させる。 At step 808, the surface of the object to be photographed 50 is photographed by the line scan camera 42. FIG. 4 is a schematic view showing an example of changes in the moving direction and camera angle of the line scan camera 42 at the time of photographing in the appearance photographing apparatus 10 according to the present embodiment. As shown in FIG. 4, in the present embodiment, the line scan camera 42 moves in accordance with the surface shape of the imaging target 50 while keeping the distance to the imaging target 50 constant. Also, the camera angle is changed so that the optical axis of the lens of the line scan camera 42 matches the extension of the normal vector 52 on the surface of the object 50 to be photographed.
ずなわち、図４に示したように、ラインスキャンカメラ４２を撮影対象物５０の表面に倣って移動させると共に、ラインスキャンカメラ４２のレンズの光軸が撮影対象物５０の表面と垂直になるようにカメラアングルを制御する。ラインスキャンカメラ４２のレンズの光軸が撮影対象物５０の表面と垂直になるようにカメラアングルを制御することにより、曲面で構成された撮影対象物５０の撮影画像に過剰な反射や過剰な暗部が生じることを抑制する。また、撮影対象物５０とラインスキャンカメラ４２との距離が一定になるように制御することにより、撮影対象物５０の表面形状の変化による画像上での撮影対象物５０の大きさの変位が抑制され、撮影対象物５０の表面を精密に撮影できる。 In other words, as shown in FIG. 4, the line scan camera 42 is moved along the surface of the object 50 to be photographed, and the optical axis of the lens of the line scan camera 42 is perpendicular to the surface of the object 50 to be photographed Control the camera angle as you like. By controlling the camera angle so that the optical axis of the lens of the line scan camera 42 is perpendicular to the surface of the object 50 to be photographed, excessive reflection or excessive dark area on the photographed image of the object 50 formed of a curved surface Suppress the occurrence of Further, by controlling the distance between the object 50 to be photographed and the line scan camera 42 to be constant, the displacement of the size of the object 50 on the image due to the change of the surface shape of the object 50 is suppressed. Thus, the surface of the object 50 to be photographed can be photographed precisely.
ステップ８１０では、撮影データをデータ処理装置３８の記憶装置に保存して処理を終了する。 In step 810, the photographed data is stored in the storage device of the data processing device 38, and the process is ended.
続いて、図３のステップ８０４の最適カメラ姿勢算出処理について説明する。図５は、最適カメラ姿勢算出処理の一例を示したフローチャートである。ステップ９００では、２次元レーザ変位計４４の計測データから断面データを抽出し、抽出した断面データから撮影対象物５０の３次元メッシュ形状を作成する。 Subsequently, the optimum camera posture calculation process of step 804 in FIG. 3 will be described. FIG. 5 is a flowchart showing an example of the optimum camera posture calculation process. In step 900, cross-sectional data is extracted from measurement data of the two-dimensional laser displacement meter 44, and a three-dimensional mesh shape of the imaging target 50 is created from the extracted cross-sectional data.
図６は、本実施の形態における撮影対象物５０の断面データの一例を示した概略図であり、図７は、本実施の形態において断面データから作成された３次元メッシュ形状の一例を示した概略図である。 FIG. 6 is a schematic diagram showing an example of cross-sectional data of the imaging target object 50 in the present embodiment, and FIG. 7 shows an example of a three-dimensional mesh shape created from the cross-sectional data in the present embodiment. FIG.
ステップ９０２では、３次元メッシュ形状データをポリゴン形式データに変換する。図８は、本実施の形態において得られる撮影対象物５０のポリゴン形式データの概略図の一例である。 At step 902, three-dimensional mesh shape data is converted into polygon format data. FIG. 8 is an example of a schematic view of polygon format data of the photographing object 50 obtained in the present embodiment.
ステップ９０４では、ステップ９０２で得られたポリゴン５０Ｐ上にラインスキャンカメラ４２のレンズの光軸が向けられる撮影対象点５４を指定する。一例として撮影対象点５４は、ポリゴン５０Ｐ上に等間隔で指定する。撮影対象点５４の間隔が狭ければ、より精密なカメラの姿勢制御が可能になるが、演算処理の負荷が大きくなるので、制御装置３０の演算能力に応じて適宜設定する。また、撮影対象点５４は、ユーザがポリゴン５０Ｐ上から任意の点を複数選択することによって指定してもよい。 In step 904, the imaging target point 54 to which the optical axis of the lens of the line scan camera 42 is directed on the polygon 50P obtained in step 902 is designated. As an example, the shooting target points 54 are designated at equal intervals on the polygon 50P. If the distance between the imaging target points 54 is narrow, more accurate attitude control of the camera can be performed, but the load of the arithmetic processing becomes large, and accordingly, it is set appropriately according to the arithmetic capability of the control device 30. Further, the photographing target point 54 may be designated by the user selecting a plurality of arbitrary points on the polygon 50P.
ステップ９０６では、カメラ視線方向（カメラアングル）が算出される。本実施の形態では、図４に示したように、ラインスキャンカメラ４２のレンズの光軸が撮影対象物５０の表面と垂直になるようにカメラアングルを制御する。本実施の形態では、撮影対象点５４における接平面に略一致な平面の方程式を最小二乗法を用いて最小二乗平面として算出し、算出した最小二乗平面の方程式から撮影対象点５４における撮影対象物５０の法線ベクトル５２を決定する。 At step 906, the camera gaze direction (camera angle) is calculated. In the present embodiment, as shown in FIG. 4, the camera angle is controlled so that the optical axis of the lens of the line scan camera 42 is perpendicular to the surface of the object 50 to be imaged. In the present embodiment, the equation of the plane substantially coincident with the tangent plane at the shooting target point 54 is calculated as the least square plane using the least squares method, and the shooting target object at the shooting target point 54 is calculated from the calculated least squares plane equation. Determine 50 normal vectors 52.
具体的には、図９に示したように、ポリゴン５０Ｐ上の撮影対象点５４を中心とした領域５８に含まれる撮影対象点５４近くの対象点（ｘｉ，ｙｉ，ｚｉ）の各座標を複数抽出する。そして、最小二乗平面５６の方程式を、下記の式（１）とする。
Specifically, as shown in FIG. 9, each of the target points (x i , y i , z i ) near the shooting target point 54 included in the area 58 centered on the shooting target point 54 on the polygon 50P. Extract multiple coordinates. Then, the equation of the least square plane 56 is set as the following equation (1).
最小二乗平面５６と領域５８内の複数の対象点とのｚ軸方向の変位Ｅｉは、下記の式（２）となる。
Displacement E i the z-axis direction between a plurality of target points of the least square plane 56 and region 58 is a following equation (2).
また、の二乗和Ｆは、下記の式（３）となる。
Also, the square sum F of is given by the following equation (3).
式（３）に示したＦが最小になるようにｍ，ｎ，ｐを決定することで最小二乗平面の方程式を算出する。具体的には、Ｆをｍ，ｎ，ｐについて各々偏微分した結果が０になると仮定する。実際に、式（３）で示したＦをｍ，ｎ，ｐについて各々偏微分し、各偏微分の結果が０になるとすると、３元連立方程式である下記の式（４）が得られる。下記の式（４）を用いてｍ，ｎ，ｐを算出し、最小二乗平面５６の方程式を決定する。
The equation of the least square plane is calculated by determining m, n and p such that F shown in equation (3) is minimized. Specifically, it is assumed that the result of partial differentiation of F with respect to m, n and p is zero. Actually, when F shown in equation (3) is partially differentiated with respect to m, n and p and the result of each partial derivative becomes 0, the following equation (4) which is a three-dimensional simultaneous equation is obtained. Calculate m, n, p using equation (4) below to determine the equation of the least square plane 56.
さらに、最小二乗平面５６の方程式を下記の式（５）のように変形させた場合、最小二乗平面５６の法線ベクトル５２の成分は（ｎ，ｐ，−１）となる。撮影対象点５４の座標が（ｘ０，ｙ０，ｚ０）の場合、カメラ視線方向となるラインスキャンカメラ４２のレンズの光軸は、座標（ｘ０，ｙ０，ｚ０）を通る法線ベクトル５２（ｎ，ｐ，−１）の延長線と一致する。従って、座標（ｘ０，ｙ０，ｚ０）を通り法線ベクトル５２（ｎ，ｐ，−１）に平行な法線をカメラ視線方向とする。
Furthermore, when the equation of the least square plane 56 is deformed as the following equation (5), the component of the normal vector 52 of the least square plane 56 is (n, p, −1). When the coordinates of the shooting target point 54 are (x 0 , y 0 , z 0 ), the optical axis of the lens of the line scan camera 42 in the camera gaze direction passes through the coordinates (x 0 , y 0 , z 0 ) It coincides with the extension of line vector 52 (n, p, -1). Therefore, the normal line parallel to the normal vector 52 (n, p, −1) passing the coordinates (x 0 , y 0 , z 0 ) is taken as the camera gaze direction.
ステップ９０８では、カメラ移動方向を算出する。本実施の形態では、ラインスキャンカメラ４２が撮影対象物５０を撮影する際の水平の移動方向の変位をｔ、及び撮影対象物５０のｔに対する垂直方向の変位をｚとする。かかる場合に、ｚは、ｔに対する撮影対象物５０表面の凹凸の変位でもある。 At step 908, the camera movement direction is calculated. In the present embodiment, it is assumed that the displacement in the horizontal movement direction when the line scan camera 42 captures an object to be captured 50 is t, and the displacement in the vertical direction with respect to t of the object to be captured 50 is z. In this case, z is also the displacement of the unevenness of the surface of the object to be photographed 50 with respect to t.
図１０は、撮影対象物５０に対応するポリゴン５０Ｐにおいて、水平方向の変位ｔと垂直方向の変位ｚとの関係を示す模式図であり、横軸にｔ、縦軸にｚが設定されている。前述のようにｔはラインスキャンカメラ４２が撮影対象物５０を撮影する際の水平の移動方向の変位なので、図１０の横軸は、撮影時に撮影対象物５０が載置される水平面と平行となる。 FIG. 10 is a schematic diagram showing the relationship between the displacement t in the horizontal direction and the displacement z in the vertical direction in the polygon 50P corresponding to the photographing object 50, where t is set on the horizontal axis and z is set on the vertical axis. . As described above, t is a displacement in the horizontal movement direction when the line scan camera 42 shoots the subject 50, so the horizontal axis in FIG. 10 is parallel to the horizontal plane on which the subject 50 is placed at the time of shooting. Become.
図１０には、第１撮影対象点５４Ａ（ｔ０，ｚ０）、第２撮影対象点５４Ｂ（ｔ１，ｚ１）及び第３撮影対象点５４Ｃ（ｔ２，ｚ２）が各々プロットされている。そして、第１撮影対象点５４Ａ、第２撮影対象点５４Ｂ及び第３撮影対象点５４Ｃは、ポリゴン５０Ｐの表面形状を仮想した曲線６０上に存在するものとする。 In FIG. 10, a first shooting target point 54A (t 0 , z 0 ), a second shooting target point 54B (t 1 , z 1 ), and a third shooting target point 54C (t 2 , z 2 ) are plotted. ing. The first shooting target point 54A, the second shooting target point 54B, and the third shooting target point 54C are assumed to exist on a curve 60 that virtually assumes the surface shape of the polygon 50P.
前述のように、ｔはラインスキャンカメラ４２が撮影対象物５０を撮影する際の水平の移動方向の変位であり、曲線６０はラインスキャンカメラ４２のレンズの光軸が向けられる第１撮影対象点５４Ａ、第２撮影対象点５４Ｂ及び第３撮影対象点５４Ｃを通る。従って、水平面と平行である図１０の横軸への曲線６０の正射影は、撮影時に撮影対象物５０が載置される水平面と平行であると共にラインスキャンカメラ４２が撮影対象物５０を撮影する際の水平の移動方向と略一致する。また、曲線６０の接線ベクトルの図１０の横軸への正射影もラインスキャンカメラ４２が撮影対象物５０を撮影する際の水平の移動方向と略一致する。 As described above, t is the displacement in the horizontal movement direction when the line scan camera 42 shoots the shooting target 50, and the curve 60 is the first shooting target point to which the optical axis of the lens of the line scan camera 42 is directed It passes 54A, a second shooting target point 54B, and a third shooting target point 54C. Therefore, the orthographic projection of the curve 60 to the horizontal axis of FIG. 10 parallel to the horizontal plane is parallel to the horizontal plane on which the subject 50 is placed at the time of shooting, and the line scan camera 42 shoots the subject 50 It almost agrees with the horizontal movement direction. Further, the orthogonal projection of the tangent vector of the curve 60 to the horizontal axis in FIG. 10 also substantially coincides with the horizontal movement direction when the line scan camera 42 photographs the object 50 to be photographed.
曲線６０は、下記の式（６）で示される３次曲線であるとする。２次曲線では第１撮影対象点５４Ａ、第２撮影対象点５４Ｂ及び第３撮影対象点５４Ｃの間でポリゴン５０Ｐの表面形状の凹凸が変化する変曲点を再現できないからである。または、第１撮影対象点５４Ａ、第２撮影対象点５４Ｂ及び第３撮影対象点５４Ｃよりも多くの撮影対象点に基づいて４次以上の高次曲線の方程式を算出してもよい。
The curve 60 is assumed to be a cubic curve represented by the following equation (6). This is because a quadratic curve can not reproduce an inflection point where unevenness of the surface shape of the polygon 50P changes between the first imaging target point 54A, the second imaging target point 54B, and the third imaging target point 54C. Alternatively, the equation of the fourth-order or higher order curve may be calculated based on more imaging target points than the first imaging target point 54A, the second imaging target point 54B, and the third imaging target point 54C.
本実施の形態では、３カ所の撮影対象点から式（６）に示した曲線６０の方程式を算出する。そして、方程式を算出した曲線６０上の接線ベクトルをカメラ移動方向として算出する。 In the present embodiment, the equation of the curve 60 shown in the equation (6) is calculated from three shooting target points. Then, a tangent vector on the curve 60 whose equation is calculated is calculated as the camera movement direction.
３次曲線の接線の傾きは、下記の式（７）に示した常微分ｆ'（ｔ）で与えられるから、例えば接線ベクトル６２Ａは第１撮影対象点５４Ａ（ｔ０，ｚ０）を通り傾きｆ'（ｔ０）のベクトルとして、接線ベクトル６２Ｂは第２撮影対象点５４Ｂ（ｔ１，ｚ１）を通り傾きｆ'（ｔ１）のベクトルとして、各々表現される。
The slope of the tangent of the cubic curve is given by the ordinary differential f '(t) shown in the following equation (7), so for example the tangent vector 62A passes through the first photographing target point 54A (t 0 , z 0 ) 'as a vector of (t 0), the tangent vector 62B second shooting target point 54B (t 1, z 1) as gradient f a' tilt f as a vector of (t 1), are respectively represented.
曲線６０の方程式は以下のように算出する。具体的には、式（６）、式（７）並びに第１撮影対象点５４Ａ（ｔ０，ｚ０）、第２撮影対象点５４Ｂ（ｔ１，ｚ１）及び第３撮影対象点５４Ｃ（ｔ２，ｚ２）から、下記の式（８）として示した４元連立方程式を導出する。そして、下記の式（８）を用いてａ，ｂ，ｃ，ｄを算出することにより、曲線６０の方程式を決定する。
The equation of curve 60 is calculated as follows. Specifically, the equation (6), the equation (7), the first shooting target point 54A (t 0 , z 0 ), the second shooting target point 54B (t 1 , z 1 ), and the third shooting target point 54C ( From t 2 , z 2 ), a four-dimensional simultaneous equation shown as the following equation (8) is derived. Then, the equation of the curve 60 is determined by calculating a, b, c, d using the following equation (8).
第１撮影対象点５４Ａ（ｔ０，ｚ０）が曲線６０の方程式算出の最初の起点である場合には、曲線６０の方程式が具体的に判明していないので、ｆ'（ｔ０）は、第１撮影対象点５４Ａと第１撮影対象点５４Ａの近くの点とを結ぶ線分の傾きで代用する。または、第１撮影対象点５４Ａ、第２撮影対象点５４Ｂ及び第３撮影対象点５４Ｃに加えて第４撮影対象点５４Ｄ（ｔ３，ｚ３）の座標値を用いてｆ'（ｔ０）に代えてｆ（ｔ３）の式を用いて４元連立方程式を導出し、ａ，ｂ，ｃ，ｄを算出してもよい。 If the first shooting target point 54A (t 0 , z 0 ) is the first starting point of the equation calculation of the curve 60, the equation of the curve 60 is not specifically known, so f ′ (t 0 ) is The inclination of a line connecting the first shooting target point 54A and a point near the first shooting target point 54A is substituted. Alternatively, in addition to the first shooting target point 54A, the second shooting target point 54B, and the third shooting target point 54C, the coordinate values of the fourth shooting target point 54D (t3, z3) are used and replaced with f '(t 0 ) Quaternary simultaneous equations may be derived using the equation f (t 3 ) to calculate a, b, c, d.
本実施の形態では、第１撮影対象点５４Ａ、第２撮影対象点５４Ｂ及び第３撮影対象点５４Ｃを通る曲線６０の方程式を算出することにより、第１撮影対象点５４Ａから第３撮影対象点５４Ｃまで、連続的にカメラ移動方向である接線ベクトル又は接線を算出することができる。その結果、図４示したように、ラインスキャンカメラ４２を撮影対象物５０の表面に倣って移動させることが可能となる。 In the present embodiment, the equations of the curve 60 passing through the first imaging target point 54A, the second imaging target point 54B, and the third imaging target point 54C are calculated to obtain the first imaging target point 54A to the third imaging target point. Up to 54 C, tangent vectors or tangents that are camera movement directions can be calculated continuously. As a result, as shown in FIG. 4, the line scan camera 42 can be moved along the surface of the object 50 to be photographed.
なお、第１撮影対象点５４Ａ、第２撮影対象点５４Ｂ及び第３撮影対象点５４Ｃを通る曲線６０の方程式を算出した後は、第３撮影対象点５４Ｃと、第４撮影対象点５４Ｄ（ｔ３，ｚ３）及び第５撮影対象点５４Ｅ（ｔ４，ｚ４）等の第３撮影対象点５４Ｃに後続する撮影対象点と、を用いて曲線６０の方程式を再算出する。この場合、式（８）中のｆ'（ｔ０）に相当するｆ'（ｔ２）は、第１撮影対象点５４Ａ、第２撮影対象点５４Ｂ及び第３撮影対象点５４Ｃを通る曲線６０の方程式の常微分を用いて算出する。 In addition, after the equations of the curve 60 passing through the first shooting target point 54A, the second shooting target point 54B, and the third shooting target point 54C are calculated, the third shooting target point 54C and the fourth shooting target point 54D (t The equation of the curve 60 is recalculated using the imaging target point following the third imaging target point 54C such as 3 , 3 , z 3 ) and the fifth imaging target point 54E (t 4 , z 4 ). In this case, f ′ (t 2 ) corresponding to f ′ (t 0 ) in the equation (8) is a curve 60 passing through the first imaging target point 54A, the second imaging target point 54B and the third imaging target point 54C. Calculated using the ordinary derivative of the equation
制御装置３０の演算能力に余裕がある場合には、第１撮影対象点５４Ａを起点とする曲線６０の方程式を算出した後、次の起点を現在の起点に隣接する撮影対象点とし、次の起点及び次の起点に後続する２つの撮影対象点を通る曲線６０の方程式を算出してもよい。具体的には、第１撮影対象点５４Ａ、第２撮影対象点５４Ｂ及び第３撮影対象点５４Ｃを通る曲線６０の方程式を算出した後、第２撮影対象点５４Ｂ、第３撮影対象点５４Ｃ及び第４撮影対象点５４Ｄを通る曲線６０の方程式を算出する。続いて、第３撮影対象点５４Ｃ、第４撮影対象点５４Ｄ及び第５撮影対象点５４Ｅを通る曲線６０の方程式を算出し、以後、起点を第４撮影対象点５４Ｄ、さらには第５撮影対象点５４Ｅにして曲線６０の方程式を算出していく。 If there is enough computing power of the control device 30, after calculating the equation of the curve 60 starting from the first shooting target point 54A, the next starting point is taken as the shooting target point adjacent to the current starting point, and the next An equation of a curve 60 passing through two shooting target points following the starting point and the next starting point may be calculated. Specifically, after the equations of the curve 60 passing through the first shooting target point 54A, the second shooting target point 54B, and the third shooting target point 54C are calculated, the second shooting target point 54B, the third shooting target point 54C and The equation of the curve 60 passing through the fourth shooting target point 54D is calculated. Subsequently, the equation of the curve 60 passing through the third shooting target point 54C, the fourth shooting target point 54D, and the fifth shooting target point 54E is calculated, and thereafter, the starting point is the fourth shooting target point 54D and the fifth shooting target The equation of the curve 60 is calculated at point 54E.
図１１は、上述の方法により各々算出された、カメラ視線方向である法線ベクトル５２Ａ，５２Ｂ，５２Ｃ，５２Ｄ及びカメラ移動方向である接線ベクトル６２Ａ，６２Ｂ，６２Ｃをポリゴン５０Ｐ上にプロットした一例を示した概略図である。 FIG. 11 is an example in which normal vectors 52A, 52B, 52C, 52D, which are camera gaze directions, and tangent vectors 62A, 62B, 62C, which are camera movement directions, respectively calculated by the above method are plotted on polygon 50P. It is the schematic shown.
ステップ９１０では、上述のように算出した法線ベクトル５２Ａ，５２Ｂ，５２Ｃ，５２Ｄ、接線ベクトル６２Ａ，６２Ｂ，６２Ｃ等のデータをロボットコントローラ３６がロボットを制御可能な形式にデータ変換して処理をリターンする。ロボットコントローラ３６がロボットを制御可能な形式のデータは、例えば、第１関節２０Ｘにおける第１旋回要素Ｘ、第２旋回要素ＲＸ、第２関節２０Ｙにおける第１旋回要素Ｙ、第２旋回要素ＲＹ及び第３関節２０Ｚにおける第１旋回要素Ｚ、第２旋回要素ＲＺの各々の角度である。 In step 910, the robot controller 36 converts the data of the normal vectors 52A, 52B, 52C, 52D, tangent vectors 62A, 62B, 62C, etc. calculated as described above into a format that allows the robot to control the robot, and returns processing. Do. The data of the type in which the robot controller 36 can control the robot is, for example, the first pivoting element X in the first joint 20X, the second pivoting element RX, the first pivoting element Y in the second joint 20Y, the second pivoting element RY and This is the angle of each of the first pivoting element Z and the second pivoting element RZ in the third joint 20Z.
以上説明したように、本実施の形態では、撮影対象物５０表面の法線ベクトルに基づいてカメラアングルを決定している。また、本実施の形態では、ラインスキャンカメラ４２が撮影対象物５０を撮影する際の水平の移動方向の変位ｔに対するに対する撮影対象物５０表面の凹凸の変位に近似する３次曲線の方程式を算出し、当該方程式を用いて連続的に算出した撮影対象物５０表面の接線ベクトルに基づいてカメラ移動方向を決定する。 As described above, in the present embodiment, the camera angle is determined based on the normal vector of the surface of the object 50 to be imaged. Further, in the present embodiment, an equation of a cubic curve approximating displacement of the unevenness of the surface of the object to be photographed 50 with respect to displacement t in the horizontal movement direction when the line scan camera 42 photographs the object to be photographed 50 is calculated. Then, the camera movement direction is determined based on the tangent vector of the surface of the object to be photographed 50 continuously calculated using the equation.
その結果、ラインスキャンカメラ４２のレンズの光軸が撮影対象物５０の表面と垂直になるようにカメラアングルを制御すると共に、ラインスキャンカメラ４２を撮影対象物５０の表面に倣って移動させることが可能となるので、簡素な構成で曲面からなる撮影対象物を精密に撮影できる。 As a result, the camera angle is controlled so that the optical axis of the lens of the line scan camera 42 is perpendicular to the surface of the object 50 to be photographed, and the line scan camera 42 is moved along the surface of the object 50 to be photographed Since this becomes possible, it is possible to precisely photograph an object to be photographed consisting of a curved surface with a simple configuration.
［第２の実施の形態］
第１の実施の形態では、２次元レーザ変位計４４によって撮影対象物５０の表面形状を計測した。しかしながら、第１の実施の形態に係る外観撮影装置１０の２次元レーザ変位計４４及び変位計コントローラ３２は、他の構成に置き換えることが可能である。
Second Embodiment
In the first embodiment, the surface shape of the imaging target 50 is measured by the two-dimensional laser displacement meter 44. However, the two-dimensional laser displacement gauge 44 and the displacement gauge controller 32 of the appearance photographing apparatus 10 according to the first embodiment can be replaced with another configuration.
図１２は、第２の実施の形態に係る外観撮影装置１００の構成を示す概略図である。本実施の形態に係る外観撮影装置１００は、第１の実施の形態に係る外観撮影装置１０の２次元レーザ変位計４４及び変位計コントローラ３２を、撮影対象物５０のＣＡＤデータ７０、ステレオカメラ７２、接触式３次元計測器７４、及び非接触式位置センサ７６のいずれか１つで置換したものである。その他の構成は、第１の実施の形態に係る外観撮影装置１０と同様なので、第１の実施の形態に係る外観撮影装置１０と同一の符号を付して詳細な説明は省略する。 FIG. 12 is a schematic view showing the configuration of an appearance photographing apparatus 100 according to the second embodiment. The appearance photographing apparatus 100 according to the present embodiment includes the two-dimensional laser displacement meter 44 and the displacement meter controller 32 of the appearance photographing apparatus 10 according to the first embodiment, the CAD data 70 of the object 50 to be photographed, and the stereo camera 72. , A contact-type three-dimensional measuring instrument 74, and a non-contact-type position sensor 76. The other configuration is the same as that of the external appearance photographing apparatus 10 according to the first embodiment, and therefore, the same reference numerals as those of the external appearance photographing apparatus 10 according to the first embodiment are given and the detailed description is omitted.
例えば、ＣＡＤデータ７０から図８に示したようなポリゴン５０Ｐを作成することが可能であるし、ステレオカメラ７２の撮影画像を画像処理することによってもポリゴン５０Ｐは作成できる。従って、ＣＡＤデータ７０又はステレオカメラ７２の撮影画像から作成したポリゴン５０Ｐを用いて、第１の実施の形態と同様にラインスキャンカメラ４２のカメラアングルであるカメラ視線方向、及びカメラ移動方向を決定することが可能となる。 For example, it is possible to create the polygon 50P as shown in FIG. 8 from the CAD data 70, and the polygon 50P can also be created by performing image processing on the photographed image of the stereo camera 72. Therefore, using the polygon 50P created from the CAD data 70 or the photographed image of the stereo camera 72, the camera gaze direction which is the camera angle of the line scan camera 42 and the camera movement direction are determined as in the first embodiment. It becomes possible.
接触式３次元計測器７４は、先端が球状になったプローブで撮影対象物５０の表面をなぞり、撮影対象物５０の表面形状を例えばｘ，ｙ，ｚで表わされる座標値として検出する。検出した座標値に基づいて図８に示したようなポリゴン５０Ｐを作成し、作成したポリゴン５０Ｐを用いて、第１の実施の形態と同様にラインスキャンカメラ４２のカメラアングルであるカメラ視線方向、及びカメラ移動方向を決定することが可能となる。 The contact-type three-dimensional measuring device 74 traces the surface of the imaging target 50 with a probe whose tip is spherical, and detects the surface shape of the imaging target 50 as coordinate values represented by x, y, z, for example. Based on the detected coordinate values, a polygon 50P as shown in FIG. 8 is created, and the created polygon 50P is used, and the camera gaze direction, which is the camera angle of the line scan camera 42, as in the first embodiment. And the camera movement direction can be determined.
非接触式位置センサ７６は、例えばレーザスキャナを応用した非接触式のセンサである。レーザスキャナは、撮影対象物５０にレーザを照射してレーザが返ってくるまでの時間に基づいてレーザスキャナから撮影対象物５０までの距離を算出する。レーザスキャナから撮影対象物５０までの距離の変位及びレーザの照射角から撮影対象物５０の立体形状に係る座標（ｘ，ｙ，ｚ）を算出できる。検出した座標値に基づいて図８に示したようなポリゴン５０Ｐを作成し、作成したポリゴン５０Ｐを用いて、第１の実施の形態と同様にラインスキャンカメラ４２のカメラアングルであるカメラ視線方向、及びカメラ移動方向を決定することが可能となる。 The noncontact position sensor 76 is, for example, a noncontact sensor to which a laser scanner is applied. The laser scanner calculates the distance from the laser scanner to the imaging target 50 based on the time until the laser is irradiated to the imaging target 50 and the laser returns. From the displacement of the distance from the laser scanner to the imaging target 50 and the irradiation angle of the laser, the coordinates (x, y, z) relating to the three-dimensional shape of the imaging target 50 can be calculated. Based on the detected coordinate values, a polygon 50P as shown in FIG. 8 is created, and the created polygon 50P is used, and the camera gaze direction, which is the camera angle of the line scan camera 42, as in the first embodiment. And the camera movement direction can be determined.
［他の実施の形態］
以下に、第１の実施の形態及び第２の実施の形態の変形例について説明する。図１３は、変形例の一例を示した概略図である。図１３に示した変形例の外観撮影装置１０２では、撮影対象物５０をベルトコンベア等の搬送装置によって水平方向に移動させ、６軸ロボット２０によってラインスキャンカメラ４２を保持して撮影対象物５０を撮影する。６軸ロボット２０は、水平方向に搬送される撮影対象物５０の動きに同期して、カメラ視線方向、及びカメラ移動方向を制御する。
Other Embodiments
Hereinafter, modifications of the first embodiment and the second embodiment will be described. FIG. 13 is a schematic view showing an example of a modification. In the appearance photographing apparatus 102 of the modified example shown in FIG. 13, the photographing object 50 is moved in the horizontal direction by a conveyance device such as a belt conveyor, and the six-axis robot 20 holds the line scan camera 42 to be photographed. Take a picture. The six-axis robot 20 controls the camera gaze direction and the camera movement direction in synchronization with the movement of the imaging target 50 conveyed in the horizontal direction.
水平方向の移動は６軸ロボット２０ではなくベルトコンベア等によるので、撮影対象物５０の長さが６軸ロボット２０の可動範囲よりも大きい場合であっても、撮影対象物５０の一端から他端まで撮影することができる。 Since movement in the horizontal direction is not by the six-axis robot 20 but by a belt conveyor or the like, even if the length of the object 50 to be photographed is larger than the movable range of the six-axis robot 20, one end to the other end of the object 50 to be photographed You can shoot up to.
本変形例では、カメラ視線方向及びカメラ移動方向の制御は、撮影対象物５０の搬送と同期させることを要する。しかしながら、６軸ロボット２０によってラインスキャンカメラ４２を水平方向に移動させないので、カメラ移動方向は高さ方向（ｚ軸方向）で制御すればよく、カメラ移動方向の制御が第１の実施の形態及び第２の実施の形態に対して簡略化される。 In the present modified example, control of the camera gaze direction and the camera movement direction needs to be synchronized with the conveyance of the imaging target 50. However, since the line scan camera 42 is not moved in the horizontal direction by the six-axis robot 20, the camera movement direction may be controlled in the height direction (z-axis direction), and control of the camera movement direction is the first embodiment and It is simplified with respect to the second embodiment.
その結果、ラインスキャンカメラ４２を保持するロボットは６軸ロボット２０よりも低コストな５６軸ロボット等を用いることが可能となる。 As a result, a robot holding the line scan camera 42 can use a 56-axis robot or the like which is less expensive than the 6-axis robot 20.
図１４は、もう一つの変形例を示す概略図であり、外観撮影装置１０４はラインスキャンカメラ４２を固定し、撮影対象物５０を６軸ロボット２０で搬送して撮影する。撮影対象物５０をラインスキャンカメラ４２に並行して移動させると共に、ラインスキャンカメラ４２のレンズの光軸が撮影対象物５０の表面と垂直になるように搬送する撮影対象物５０の向きを制御する。 FIG. 14 is a schematic view showing another modified example. The appearance photographing apparatus 104 fixes the line scan camera 42, conveys the photographing object 50 by the six-axis robot 20 and photographs it. The imaging subject 50 is moved parallel to the line scan camera 42, and the direction of the imaging subject 50 to be transported is controlled so that the optical axis of the lens of the line scan camera 42 is perpendicular to the surface of the imaging subject 50. .
本変形例では、撮影対象物５０が剛体である場合に限られるが、ラインスキャンカメラ４２が大型で、６軸ロボット２０による保持が困難な場合であっても、撮影対象物５０の表面を撮影できる。 In this modification, the present invention is limited to the case where the object to be photographed 50 is a rigid body, but even when the line scan camera 42 is large and it is difficult to hold the object by the six-axis robot 20, the surface of the object to be photographed 50 is photographed it can.
１０…外観撮影装置、２０…６軸ロボット、２０Ｘ…第１関節、２０Ｙ…第２関節、２０Ｚ…第３関節、３０…制御装置、３２…変位計コントローラ、３４…カメラコントローラ、３６…ロボットコントローラ、３８…データ処理装置、４２…ラインスキャンカメラ、４２Ａ…照明、４４…２元レーザ変位計、５０…撮影対象物、５０Ｐ…ポリゴン、５２…法線ベクトル、５２Ａ，５２Ｂ，５２Ｃ，５２Ｄ…法線ベクトル、５４…撮影対象点、５４Ａ，５４Ｂ，５４Ｃ，５４Ｄ，５４Ｅ…撮影対象点、５６…最小二乗平面、５８…領域、６０…曲線、６２Ａ，６２Ｂ，６２Ｃ…接線ベクトル、７０…ＣＡＤデータ、７２…ステレオカメラ、７４…接触式３次元計測器、７６…非接触式位置センサ、１００，１０２，１０４…外観撮影装置、ＲＸ，ＲＹ，ＲＺ…第１旋回要素、Ｘ，Ｙ，Ｚ…第２旋回要素 DESCRIPTION OF SYMBOLS 10 ... External appearance imaging device, 20 ... 6 axis robot, 20X ... 1st joint, 20Y ... 2nd joint, 20Z ... 3rd joint, 30 ... Control apparatus, 32 ... Displacement meter controller, 34 ... Camera controller, 36 ... Robot controller , 38: data processing apparatus, 42: line scan camera, 42A: illumination, 44: binary laser displacement meter, 50: shooting object, 50P: polygon, 52: normal vector, 52A, 52B, 52C, 52D: method Line vector 54: shooting target point 54A, 54B, 54C, 54D, 54E: shooting target point 56: least square plane 58: area 60: curve 62A, 62B, 62C: tangent vector 70: CAD data , 72: stereo camera, 74: contact-type three-dimensional measuring instrument, 76: non-contact position sensor, 100, 102, 104: appearance photographing device, R , RY, RZ ... first pivot element, X, Y, Z ... second pivot element
Claims (8)
複数の関節を備えたマニュピレータに取り付けられて前記撮影対象表面を撮影するカメラと、
前記計測部が計測した前記撮影対象表面の立体形状に基づいて、前記カメラのレンズの光軸が前記撮影対象表面と垂直になるように前記カメラを保持すると共に前記カメラを前記撮影対象表面に倣って移動させるように前記マニュピレータを制御する制御部と、
を含む外観撮影装置であって、
前記制御部は、前記計測部が計測した前記撮影対象表面の立体形状に基づいて、前記撮影対象表面に予め複数設定された撮影対象点における前記撮影対象表面の法線と、水平面への正射影が撮影時の前記カメラの水平方向の移動方向と略一致する前記撮影対象表面の接線と、を算出し、前記カメラのレンズの光軸が前記法線と一致するように前記カメラを保持すると共に前記カメラを前記接線の方向に移動させるように前記マニュピレータを制御する外観撮影装置。 A measurement unit configured to measure a three-dimensional shape of a surface to be imaged of the imaging object;
A camera attached to a manipulator having a plurality of joints for photographing the surface to be photographed;
Based on the three-dimensional shape of the surface to be photographed measured by the measurement unit, the camera is held so that the optical axis of the lens of the camera is perpendicular to the surface to be photographed, and the camera follows the surface to be photographed A controller for controlling the manipulator to move the
A look photographing apparatus including,
The control unit is configured to, based on the three-dimensional shape of the surface to be photographed measured by the measuring unit, a normal line of the surface to be photographed at a plurality of points to be photographed set in advance on the surface to be photographed Calculates the tangent of the surface to be photographed which substantially coincides with the horizontal movement direction of the camera at the time of photographing, and holds the camera so that the optical axis of the lens of the camera coincides with the normal. An appearance photographing apparatus for controlling the manipulator so as to move the camera in the direction of the tangent line.
前記制御部は、該照明装置を前記カメラと共に前記撮影対象表面に倣って移動させるように前記マニュピレータを制御する請求項１〜３のいずれか１項記載の外観撮影装置。 An illumination device attached to the manipulator along with the camera for illuminating the surface to be photographed;
The external appearance photographing apparatus according to any one of claims 1 to 3 , wherein the control unit controls the manipulator so as to move the illumination apparatus along with the camera along the surface to be photographed.
計測した前記撮影対象表面の立体形状に基づいて、複数の関節を備えたマニュピレータに取り付けられて前記撮影対象表面を撮影するカメラのレンズの光軸が前記撮影対象表面と垂直になるように前記カメラを保持すると共に前記カメラを前記撮影対象表面に倣って移動させるように前記マニュピレータを制御する手順と、
を含む外観撮影方法であって、
前記マニュピレータを制御する手順は、
前記計測した前記撮影対象表面の立体形状に基づいて、前記撮影対象表面に予め複数設定された撮影対象点における前記撮影対象表面の法線を算出する手順と、
水平面への正射影が撮影時の前記カメラの水平方向の移動方向と略一致する前記撮影対象表面の接線を算出する手順と、
前記カメラのレンズの光軸が前記法線と一致するように前記カメラを保持すると共に前記カメラを前記接線の方向に移動させるように前記マニュピレータを制御する手順と、
を含む外観撮影方法。 A procedure for measuring the three-dimensional shape of the surface to be photographed of the object to be photographed;
The camera is mounted on a manipulator provided with a plurality of joints based on the measured three-dimensional shape of the surface to be photographed, and the camera optical axis of the camera for photographing the surface to be photographed is perpendicular to the surface to be photographed Controlling the manipulator so as to move the camera along the surface to be photographed while holding the
A appearance imaging method, including,
The procedure for controlling the manipulator is
A procedure of calculating a normal to the surface to be photographed at a plurality of points to be photographed which are set in advance on the surface to be photographed based on the measured three-dimensional shape of the surface to be photographed;
Calculating tangents of the surface to be photographed whose orthographic projection on a horizontal plane substantially coincides with the horizontal movement direction of the camera at the time of photographing;
Holding the camera such that the optical axis of the camera lens coincides with the normal, and controlling the manipulator to move the camera in the direction of the tangent;
Appearance taking method including.
The method according to any one of claims 5 to 7 , further comprising the step of controlling the manipulator so as to move the illumination device for illuminating the surface to be photographed attached to the manipulator together with the camera along the surface to be photographed together with the camera. An appearance photographing method described in the item.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015124021A JP6520451B2 (en) | 2015-06-19 | 2015-06-19 | Appearance photographing apparatus and appearance photographing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015124021A JP6520451B2 (en) | 2015-06-19 | 2015-06-19 | Appearance photographing apparatus and appearance photographing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017009383A JP2017009383A (en) | 2017-01-12 |
| JP6520451B2 true JP6520451B2 (en) | 2019-05-29 |
Family
ID=57762459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015124021A Active JP6520451B2 (en) | 2015-06-19 | 2015-06-19 | Appearance photographing apparatus and appearance photographing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6520451B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6840230B2 (en) * | 2017-05-11 | 2021-03-10 | 株式会社Ｆｕｊｉ | Information processing equipment, 3D mounting related equipment, mounting system and information processing method |
| JP6870636B2 (en) * | 2018-03-12 | 2021-05-12 | オムロン株式会社 | Visual inspection system, image processing device, setting device and inspection method |
| WO2020152866A1 (en) * | 2019-01-25 | 2020-07-30 | タカノ株式会社 | Image inspection device |
| KR20210118062A (en) * | 2019-01-25 | 2021-09-29 | 다카노 가부시키가이샤 | image inspection device |
| CN109900722B (en) * | 2019-04-01 | 2021-08-03 | 苏州凌云视界智能设备有限责任公司 | Method and system for acquiring glass cambered surface image and application |
| CN110031403B (en) * | 2019-04-04 | 2020-03-31 | 山东大学 | Full-automatic rock specimen image acquisition device and method |
| US20210129971A1 (en) * | 2019-11-01 | 2021-05-06 | The Boeing Company | System and method for measuring localized characteristics of a transparency |
| JP2022037326A (en) * | 2020-08-25 | 2022-03-09 | 株式会社オプティム | Program, method and system |
| TWI772031B (en) * | 2021-05-20 | 2022-07-21 | 海量數位工程股份有限公司 | Mobile vehicle having an aoi dynamic multi-angle visual quality inspection system |
| JP7316332B2 (en) * | 2021-09-02 | 2023-07-27 | 株式会社ジーテクト | Appearance inspection device |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4670180B2 (en) * | 2000-06-30 | 2011-04-13 | 日産自動車株式会社 | Surface defect inspection method and surface defect inspection apparatus |
| JP4513047B2 (en) * | 2001-01-12 | 2010-07-28 | 日産自動車株式会社 | Surface defect inspection equipment |
| JP2005315841A (en) * | 2004-03-31 | 2005-11-10 | Daihatsu Motor Co Ltd | Surface defect inspection device |
| JP2007316019A (en) * | 2006-05-29 | 2007-12-06 | Daihatsu Motor Co Ltd | Surface defect inspection device |
| FR2940449A1 (en) * | 2008-12-24 | 2010-06-25 | Snecma | METHOD FOR NON-DESTRUCTIVE CONTROL OF A MECHANICAL PART |
| EP2602763B1 (en) * | 2011-12-09 | 2014-01-22 | C.R.F. Società Consortile per Azioni | Method for monitoring the quality of the primer layer applied on a motor-vehicle body before painting |
-
2015
- 2015-06-19 JP JP2015124021A patent/JP6520451B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017009383A (en) | 2017-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6520451B2 (en) | Appearance photographing apparatus and appearance photographing method | |
| JP6271953B2 (en) | Image processing apparatus and image processing method | |
| US9025857B2 (en) | Three-dimensional measurement apparatus, measurement method therefor, and computer-readable storage medium | |
| CN108965690B (en) | Image processing system, image processing apparatus, and computer-readable storage medium | |
| US9279661B2 (en) | Information processing apparatus and information processing method | |
| JP6324025B2 (en) | Information processing apparatus and information processing method | |
| JP6222898B2 (en) | Three-dimensional measuring device and robot device | |
| JP6734253B2 (en) | Imaging device including a visual sensor for imaging a workpiece | |
| JP6380667B2 (en) | Shape measuring apparatus and shape measuring method | |
| JP6067175B2 (en) | Position measuring apparatus and position measuring method | |
| US20130158947A1 (en) | Information processing apparatus, control method for information processing apparatus and storage medium | |
| US10203197B2 (en) | Range measurement apparatus and range measurement method | |
| KR20140008262A (en) | Robot system, robot, robot control device, robot control method, and robot control program | |
| Balanji et al. | A novel vision-based calibration framework for industrial robotic manipulators | |
| JP2014028415A (en) | Device for unloading bulk loaded commodities with robot | |
| TWI493153B (en) | Non-contact measurement device and method for object space information and the method thereof for computing the path from capturing the image | |
| JP2014169947A (en) | Shape inspection method and device thereof | |
| JP2019049467A (en) | Distance measurement system and distance measurement method | |
| JP7353757B2 (en) | Methods for measuring artifacts | |
| JP2010276447A (en) | Position measuring apparatus, position measuring method and robot system | |
| JP2017198470A (en) | Measurement device, measurement method, system, and goods manufacturing method | |
| JP5976089B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, and program | |
| JP7180783B2 (en) | CALIBRATION METHOD FOR COMPUTER VISION SYSTEM AND 3D REFERENCE OBJECT USED FOR CALIBRATION METHOD | |
| JP2015132523A (en) | Position/attitude measurement apparatus, position/attitude measurement method, and program | |
| JP2018189459A (en) | Measuring device, measurement method, system, and goods manufacturing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180227 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20180409 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190415 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6520451 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |