JP6645140B2 - Image calibration apparatus and calibration method - Google Patents

Image calibration apparatus and calibration method Download PDF

Info

Publication number
JP6645140B2
JP6645140B2 JP2015231259A JP2015231259A JP6645140B2 JP 6645140 B2 JP6645140 B2 JP 6645140B2 JP 2015231259 A JP2015231259 A JP 2015231259A JP 2015231259 A JP2015231259 A JP 2015231259A JP 6645140 B2 JP6645140 B2 JP 6645140B2
Authority
JP
Japan
Prior art keywords
transparent plate
image
marker
camera
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015231259A
Other languages
Japanese (ja)
Other versions
JP2017098859A (en
Inventor
寛修 深井
寛修 深井
庭川　誠
誠 庭川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Original Assignee
Meidensha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp filed Critical Meidensha Corp
Priority to JP2015231259A priority Critical patent/JP6645140B2/en
Publication of JP2017098859A publication Critical patent/JP2017098859A/en
Application granted granted Critical
Publication of JP6645140B2 publication Critical patent/JP6645140B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、表面と裏面が平らで平行な透明板を透過してカメラによる撮影を行う際に発生する写りの変化に対し、透明板がない場合の写りと同等になるよう校正を行う画像のキャリブレーション装置及びキャリブレーション方法に関する。   The present invention is directed to an image that is calibrated so as to be equivalent to an image without a transparent plate with respect to a change in image that occurs when an image is taken by a camera through a transparent plate whose front and back surfaces are flat and parallel. The present invention relates to a calibration device and a calibration method.

下記非特許文献１には、エリアカメラにより平面マーカを様々な位置姿勢で撮影することで撮影ごとの外部パラメータ及びカメラの内部パラメータを求める手法が提案されている。
また、下記特許文献１には、透明板の表面と奥面の反射を用いることで対象物の像が二重に移ることを利用したステレオ計測手法が開示されている。 Non-Patent Literature 1 below proposes a method of obtaining external parameters for each shooting and internal parameters of the camera by shooting a plane marker at various positions and orientations using an area camera.
Further, Patent Document 1 below discloses a stereo measurement technique using double reflection of an image of an object by using reflection of a surface and a back surface of a transparent plate.

特許第５１４７０５５号公報Japanese Patent No. 5147055

Z. Zhang. "A Flexible New Technique for Camera Calibration",IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, Vol. 22, No. 11, pp. 1330-1334Z. Zhang. "A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, Vol. 22, No. 11, pp. 1330-1334

ここで、図８に示すように、カメラ１１による撮影を行う際に、カメラ１１のレンズを保護するためにカメラ１１をケース１に入れ、透明板２を透過して撮像を行うといった事例が存在する。この際、透明板２を透過して撮像を行うため、透明板２の影響でカメラ１１に入射する光線が変化し、透明板２がない場合と比較して映像が変化してしまうという問題があった。   Here, as shown in FIG. 8, there is a case where the camera 11 is put in the case 1 to protect the lens of the camera 11 and the image is transmitted through the transparent plate 2 when taking a picture with the camera 11. I do. At this time, since the image is transmitted through the transparent plate 2, the light beam incident on the camera 11 changes due to the effect of the transparent plate 2, and the image changes compared to the case where the transparent plate 2 is not provided. there were.

しかしながら、非特許文献１に記載されている方法は、カメラのレンズキャリブレーション手法であり透明板の影響については議論されていない。
また、特許文献１に記載されている方法は、ステレオ計測を行うために透明板の屈折率や厚さといったパラメータを算出しているが、あくまでもステレオ計測を目的とし、透明板の二重反射を利用してパラメータを求めるものであり、透明板の透過による写りの変化を、透明板なしの場合と同等の写りにキャリブレーションするといった用途を想定していない。 However, the method described in Non-Patent Document 1 is a camera lens calibration method, and the effect of the transparent plate is not discussed.
In addition, the method described in Patent Document 1 calculates parameters such as the refractive index and thickness of a transparent plate in order to perform stereo measurement. The parameter is obtained by utilizing the parameter, and the use of calibrating the change of the image due to the transmission of the transparent plate to the image equivalent to the case without the transparent plate is not assumed.

このようなことから本発明は、透明板を透過してカメラによる撮像を行う場合であっても、透明板がない場合と同等の映像を取得することを可能とする画像のキャリブレーション装置及びキャリブレーション方法を提供することを目的とする。   Accordingly, the present invention provides an image calibration apparatus and a calibration method that can obtain an image equivalent to a case where there is no transparent plate, even when an image is captured by a camera through a transparent plate. The purpose is to provide a method of application.

上記の課題を解決するための第１の発明に係る画像のキャリブレーション装置は、
透明板を透過して撮影を行うカメラにより取得した画像の校正を行うキャリブレーション装置であって、
大きさが既知である白色領域及び黒色領域が交互に配されたマーカと、
前記カメラによって撮影した画像を解析する画像処理装置と
を備え、
前記画像処理装置は、
前記カメラにより前記透明板を介さずに撮影した前記マーカの画像及び前記カメラにより前記透明板を介して撮影した前記マーカの画像を入力する画像入力部と、
前記透明板を介さずに撮影した前記マーカの画像及び前記透明板を介して撮影した前記マーカの画像から、それぞれ前記マーカの白色領域と黒色領域の境界の画像上の座標を算出する計測座標算出部と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標、予め既知である内部パラメータ、及び予め既知である前記白色領域と前記黒色領域の境界の実座標に基づいて前記カメラと前記マーカとの位置姿勢関係を表す外部パラメータを算出する外部パラメータ算出部と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記外部パラメータを用いてカメラ座標系の座標に変換するカメラ座標系変換部と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標が、前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標に近似するように、前記内部パラメータ及び前記透明板を介さずに撮影した前記マーカの画像から得られた前記マーカの白色領域と黒色領域の境界のカメラ座標系の座標を用いて前記透明板の前記カメラに対する角度、厚さ及び屈折率を透明板のパラメータとして算出する透明板パラメータ算出部と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記透明板のパラメータに基づいて前記透明板を介さずに撮影した状態と同等となるように校正するキャリブレーション処理部と
を備えることを特徴とする。 An image calibration device according to a first invention for solving the above-mentioned problems,
A calibration device for calibrating an image acquired by a camera that shoots through a transparent plate,
A marker in which white areas and black areas whose sizes are known are alternately arranged,
An image processing apparatus for analyzing an image captured by the camera,
The image processing device,
An image input unit for inputting the image of the marker photographed without the transparent plate by the camera and the image of the marker photographed through the transparent plate by the camera,
From the image of the marker taken without the transparent plate and the image of the marker taken through the transparent plate, measurement coordinate calculation for calculating the coordinates on the image of the boundary between the white region and the black region of the marker, respectively Department and
Coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken without passing through the transparent plate, internal parameters that are known in advance, and the white area and the black area that are known in advance An external parameter calculation unit that calculates an external parameter representing a position and orientation relationship between the camera and the marker based on the actual coordinates of the boundary of
Camera coordinate system conversion for converting the coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken without passing through the transparent plate into the coordinates of the camera coordinate system using the external parameters Department and
The coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken through the transparent plate are the white areas calculated from the image of the marker taken without passing through the transparent plate. And a camera at the boundary between the white region and the black region of the marker obtained from the internal parameter and the image of the marker taken without passing through the transparent plate so as to approximate the coordinates on the image of the boundary of the black region. A transparent plate parameter calculation unit that calculates the angle of the transparent plate with respect to the camera, thickness and refractive index as parameters of the transparent plate using the coordinates of a coordinate system,
A state where the coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken through the transparent plate are taken without passing through the transparent plate based on the parameters of the transparent plate. And a calibration processing unit that performs calibration so as to be equivalent.

また、上記の課題を解決するための第２の発明に係る画像のキャリブレーション装置は、
前記マーカが、前記白色領域と前記黒色領域とが一直線上に交互に配されてなる直線マーカであり、
前記カメラが、一ラインの撮影を行うラインセンサカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記黒色領域の切り替え地点である
ことを特徴とする。 An image calibration device according to a second aspect of the present invention for solving the above-described problems,
The marker is a linear marker in which the white area and the black area are alternately arranged on a straight line,
The camera is a line sensor camera that captures one line,
A boundary between the white area and the black area is a switching point between the white area and the black area.

また、上記の課題を解決するための第３の発明に係る画像のキャリブレーション装置は、
前記マーカが、前記白色領域と前記黒色領域とがチェスボード型に配されてなる平面マーカであり、
前記カメラが、二次元の撮影を行うエリアカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記白色領域との交点または前記黒色領域と前記黒色領域との交点である
ことを特徴とする。 An image calibration device according to a third aspect of the present invention for solving the above-mentioned problems is
The marker is a planar marker in which the white area and the black area are arranged in a chessboard shape,
The camera is an area camera that performs two-dimensional imaging,
A boundary between the white area and the black area is an intersection of the white area and the white area or an intersection of the black area and the black area.

また、上記の課題を解決するための第４の発明に係る画像のキャリブレーション方法は、
透明板を透過して撮影を行うカメラにより取得した画像の校正を行うキャリブレーション方法であって、
前記透明板を介さずに前記カメラにより前記マーカを撮影する第一の工程と、
前記マーカと前記カメラとの間に前記透明板を配置した状態で、前記透明板を介して前記撮像手段により前記マーカを撮影する第二の工程と、
前記透明板を介さずに撮影した前記マーカの画像及び前記透明板を介して撮影した前記マーカの画像から、それぞれ前記マーカの白色領域と黒色領域との境界の画像上の座標を算出する第三の工程と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標、予め既知である内部パラメータ、及び予め既知である前記白色領域と前記黒色領域の境界の実座標に基づいて前記カメラと前記マーカとの位置姿勢関係を表す外部パラメータを算出する第四の工程と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記外部パラメータを用いてカメラ座標系の座標に変換する第五の工程と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標が、前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標に近似するように、前記内部パラメータ及び前記透明板を介さずに撮影した前記マーカの画像から得られた前記マーカの白色領域と黒色領域の境界のカメラ座標系の座標を用いて前記透明板の前記カメラに対する角度、厚さ及び屈折率を透明板のパラメータとして算出する第六の工程と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記透明板のパラメータに基づいて前記透明板を介さずに撮影した状態と同等となるように校正する第七の工程と
を備えることを特徴とする。 Further, an image calibration method according to a fourth invention for solving the above-mentioned problem,
A calibration method for calibrating an image acquired by a camera that shoots through a transparent plate,
A first step of photographing the marker by the camera without passing through the transparent plate,
In a state where the transparent plate is arranged between the marker and the camera, a second step of photographing the marker by the imaging unit through the transparent plate,
Third calculating the coordinates on the image of the boundary between the white region and the black region of the marker from the image of the marker taken without passing through the transparent plate and the image of the marker taken through the transparent plate, respectively; Process and
Coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken without passing through the transparent plate, internal parameters that are known in advance, and the white area and the black area that are known in advance A fourth step of calculating external parameters representing the position and orientation relationship between the camera and the marker based on the actual coordinates of the boundary of,
A fifth step of converting the coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken without passing through the transparent plate into coordinates in a camera coordinate system using the external parameters When,
The coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken through the transparent plate are the white areas calculated from the image of the marker taken without passing through the transparent plate. And a camera at the boundary between the white region and the black region of the marker obtained from the internal parameter and the image of the marker taken without passing through the transparent plate so as to approximate the coordinates on the image of the boundary of the black region. A sixth step of calculating the angle, thickness, and refractive index of the transparent plate with respect to the camera using the coordinates of a coordinate system as parameters of the transparent plate,
A state where the coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken through the transparent plate are taken without passing through the transparent plate based on the parameters of the transparent plate. And a seventh step of performing calibration so as to be equivalent.

また、上記の課題を解決するための第５の発明に係る画像のキャリブレーション方法は、
前記マーカが、前記白色領域と前記黒色領域とが一直線上に交互に配されてなる直線マーカであり、
前記カメラが、一ラインの撮影を行うラインセンサカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記黒色領域の切り替え地点である
ことを特徴とする。 Further, an image calibration method according to a fifth aspect of the present invention for solving the above-mentioned problems,
The marker is a linear marker in which the white area and the black area are alternately arranged on a straight line,
The camera is a line sensor camera that captures one line,
A boundary between the white area and the black area is a switching point between the white area and the black area.

また、上記の課題を解決するための第６の発明に係る画像のキャリブレーション方法は、
前記マーカが、前記白色領域と前記黒色領域とがチェスボード型に配されてなる平面マーカであり、
前記カメラが、二次元の撮影を行うエリアカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記白色領域との交点または前記黒色領域と前記黒色領域との交点である
ことを特徴とする。 An image calibration method according to a sixth aspect of the present invention for solving the above-mentioned problems,
The marker is a planar marker in which the white area and the black area are arranged in a chessboard shape,
The camera is an area camera that performs two-dimensional imaging,
A boundary between the white area and the black area is an intersection of the white area and the white area or an intersection of the black area and the black area.

本発明に係る画像のキャリブレーション装置及びキャリブレーション方法によれば、透明板を透過してカメラによる撮像を行う場合であっても、透明板がない場合と同等の映像を取得することができる。   ADVANTAGE OF THE INVENTION According to the image calibration apparatus and the calibration method which concern on this invention, even if it image | transmits a transparent plate and performs imaging with a camera, the image equivalent to the case where there is no transparent plate can be acquired.

本発明の実施例１に係るキャリブレーション装置の概略構成を示す模式図である。1 is a schematic diagram illustrating a schematic configuration of a calibration device according to a first embodiment of the present invention. 本発明の実施例１に係る直線マーカの正面図である。FIG. 2 is a front view of the straight line marker according to the first embodiment of the present invention. 本発明の実施例１に係る画像処理装置の構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to a first embodiment of the present invention. 本発明の実施例１に係るキャリブレーション処理の流れを示すフローチャートである。6 is a flowchart illustrating a flow of a calibration process according to the first embodiment of the present invention. 図１の一部を抽出して示す説明図である。It is explanatory drawing which extracts and shows a part of FIG. 本発明の実施例２に係るキャリブレーション装置の概略構成を示す模式図である。FIG. 7 is a schematic diagram illustrating a schematic configuration of a calibration device according to a second embodiment of the present invention. 本発明の実施例２に係る平面マーカの正面図である。It is a front view of the plane marker concerning Example 2 of the present invention. ケースに入れたカメラにより撮影を行う例を示す説明図である。It is explanatory drawing which shows the example which performs imaging | photography with the camera put in the case.

以下、図面を参照しつつ本発明に係るキャリブレーション装置及びキャリブレーション方法について説明する。なお、本発明では、透明板による映像の変化を透明板パラメータである透明板の厚さ、屈折率及びカメラに対する角度を用いて校正することを透明板キャリブレーションと呼ぶものとする。   Hereinafter, a calibration device and a calibration method according to the present invention will be described with reference to the drawings. In the present invention, calibrating the change of the image due to the transparent plate using the transparent plate thickness, the refractive index, and the angle with respect to the camera, which are the transparent plate parameters, is referred to as transparent plate calibration.

図１から図４を用いて本発明の実施例１に係る画像のキャリブレーション装置及びキャリブレーション方法の詳細を説明する。
図１に示すように、本実施例に係る画像のキャリブレーション装置は、一台のラインセンサカメラ１１Ａと、直線マーカ１２Ａと、ラインセンサカメラ１１Ａにより取得した画像データを解析する画像処理装置１３とを用いて、表面と裏面が平らで平行な透明板２の影響を透明板２のカメラ１１に対する角度θg、厚さｄ、屈折率ｎを利用して求め、透明板２がない状態で撮影した場合と同等の画像を得るための装置である。なお本実施例に係る画像のキャリブレーション装置は、ラインセンサカメラ１１Ａと直線マーカ１２Ａの位置姿勢関係も同時に求めることが可能である。 The details of an image calibration apparatus and a calibration method according to the first embodiment of the present invention will be described with reference to FIGS.
As shown in FIG. 1, the image calibration device according to the present embodiment includes a single line sensor camera 11A, a linear marker 12A, and an image processing device 13 that analyzes image data acquired by the line sensor camera 11A. Is used to determine the influence of the transparent plate 2 whose front and back surfaces are flat and parallel, using the angle θ g of the transparent plate 2 with respect to the camera 11, the thickness d, and the refractive index n, and photographing without the transparent plate 2 This is an apparatus for obtaining an image equivalent to the case of performing the above. Note that the image calibration apparatus according to the present embodiment can also simultaneously determine the position and orientation relationship between the line sensor camera 11A and the linear marker 12A.

直線マーカ１２Ａは、棒状に形成されている。この直線マーカ１２Ａの表面には、図２に示すように、長手方向の長さが既知である白帯（白色領域）１２Ａａと黒帯（黒色領域）１２Ａｂとが長手方向に沿って交互に配されている（以下、白帯１２Ａａ及び黒帯１２Ａｂを総称する場合は白黒帯１２Ａａ，１２Ａｂと称する）。図２に示す例では、白帯１２Ａａ及び黒帯１２Ａｂは、それぞれ四つずつ設けられている。   The linear marker 12A is formed in a rod shape. As shown in FIG. 2, on the surface of the linear marker 12A, white bands (white regions) 12Aa and black bands (black regions) 12Ab whose lengths in the longitudinal direction are known are alternately arranged along the longitudinal direction. (Hereinafter, when the white band 12Aa and the black band 12Ab are collectively referred to as black and white bands 12Aa and 12Ab). In the example shown in FIG. 2, four white bands 12Aa and four black bands 12Ab are provided.

ラインセンサカメラ１１Ａは、１ラインの撮像を行う機器である。ラインセンサカメラ１１Ａは、直線マーカ１２Ａの白帯１２Ａａと黒帯１２Ａｂの境界（以下、切り替え地点と称する）１２Ａｃを少なくとも三箇所以上撮影するように設置される。   The line sensor camera 11A is a device that performs imaging of one line. The line sensor camera 11A is installed so as to photograph at least three or more boundaries 12Ac between the white band 12Aa and the black band 12Ab (hereinafter, referred to as switching points) of the linear marker 12A.

画像処理装置１３は、ラインセンサカメラ１１Ａによって撮像した画像を解析して透明板キャリブレーションを実行するものである。   The image processing device 13 analyzes an image captured by the line sensor camera 11A and executes transparent plate calibration.

図３に示すように、画像処理装置１３は、画像入力部１３ａ、計測座標算出部１３ｂ、外部パラメータ算出部１３ｃ、カメラ座標系変換部１３ｄ、透明板パラメータ算出部１３ｅ、キャリブレーション処理部１３ｆ、及び記憶部１３ｇを備えている。   As shown in FIG. 3, the image processing device 13 includes an image input unit 13a, a measurement coordinate calculation unit 13b, an external parameter calculation unit 13c, a camera coordinate system conversion unit 13d, a transparent plate parameter calculation unit 13e, a calibration processing unit 13f, And a storage unit 13g.

画像入力部１３ａは、ラインセンサカメラ１１Ａで取得した画像データ（透明板２ありの場合、及び、透明板２なしの場合）を入力し、記憶部１３ｇに保管する。
計測座標算出部１３ｂは、記憶部１３ｇから読み出した画像データから直線マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂを検出し、切り替え地点１２Ａｃの画像上の座標（ピクセル位置）を算出し、計測座標データとして記憶部１３ｇに保管する。 The image input unit 13a inputs the image data (when there is the transparent plate 2 and when there is no transparent plate 2) acquired by the line sensor camera 11A, and stores it in the storage unit 13g.
The measurement coordinate calculation unit 13b detects the black and white bands 12Aa and 12Ab of the linear marker 12A from the image data read from the storage unit 13g, calculates the coordinates (pixel position) of the switching point 12Ac on the image, and stores the coordinates as measurement coordinate data. Store in part 13g.

外部パラメータ算出部１３ｃは、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データと、予め記憶部１３ｇに保管した既知であるラインセンサカメラ１１Ａの内部パラメータ、直線マーカ１２Ａの切り替え地点１２Ａｃのマーカ座標系（マーカ長手方向にＸ軸、それに垂直な方向にＹ軸をとる座標系。座標原点はマーカ上の任意の点（例えばマーカの中央など））の座標であるマーカ座標系座標データ（真値座標（Ｘi，０））に基づいて、ラインセンサカメラ１１Ａと直線マーカ１２Ａとの位置姿勢関係を表す外部パラメータを求め、これを記憶部１３ｇに保管する。 The external parameter calculation unit 13c reads the measured coordinate data without the transparent plate 2 read from the storage unit 13g, the known internal parameters of the line sensor camera 11A previously stored in the storage unit 13g, and the switching point 12Ac of the linear marker 12A. (A coordinate system that takes the X axis in the longitudinal direction of the marker and the Y axis in a direction perpendicular to the marker. The coordinate origin is the coordinate data of the marker coordinate system that is the coordinates of an arbitrary point on the marker (for example, the center of the marker)). Based on (true value coordinates (X i , 0)), external parameters representing the position and orientation relationship between the line sensor camera 11A and the linear marker 12A are obtained and stored in the storage unit 13g.

カメラ座標系変換部１３ｄは、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データ及び外部パラメータに基づいて、直線マーカ１２Ａの切り替え地点１２Ａｃのカメラ座標系（画像素子面と平行な方向にＸ軸、カメラ光軸方向にＹ軸をとる座標系。座標原点はカメラのピンホールモデルの原点（光線の集まる点）と同一の位置）の座標を算出し、カメラ座標系座標データとして記憶部１３ｇに保管する。   Based on the measured coordinate data without the transparent plate 2 read from the storage unit 13g and the external parameters, the camera coordinate system conversion unit 13d converts the camera coordinate system (the direction parallel to the image element surface) of the switching point 12Ac of the linear marker 12A. A coordinate system that takes the X axis and the Y axis in the direction of the optical axis of the camera, calculates the coordinates of the origin (the same position as the origin (point where light rays gather) of the pinhole model of the camera) and stores it as camera coordinate system coordinate data. Store in part 13g.

透明板パラメータ算出部１３ｅは、記憶部１３ｇから読み出した透明板２あり及び透明板２なしの場合の計測座標データ、ラインセンサカメラ１１Ａの内部パラメータ、及びカメラ座標系座標データに基づいて、透明板パラメータを算出し、これを記憶部１３ｇに保管する。   The transparent plate parameter calculating unit 13e reads the transparent plate based on the measurement coordinate data with and without the transparent plate 2 read from the storage unit 13g, the internal parameters of the line sensor camera 11A, and the camera coordinate system coordinate data. The parameters are calculated and stored in the storage unit 13g.

キャリブレーション処理部１３ｆは、ラインセンサカメラ１１Ａを用いた計測を行う際に、記憶部１３ｇから読み出した透明板２ありの場合の計測座標データ、予め求めた計測対象の高さ（ラインセンサカメラ１１Ａから直線マーカ１２ＡまでのＹ1軸方向の距離）、透明板パラメータに基づいて、計測対象の校正済み計測座標を算出し、校正済み計測座標データとして記憶部１３ｇに保管する。 When performing the measurement using the line sensor camera 11A, the calibration processing unit 13f reads out the measurement coordinate data with the transparent plate 2 read from the storage unit 13g, the height of the measurement target (the line sensor camera 11A distance Y 1 axis direction to the linear marker 12A from), based on the transparent plate parameters, calculates the calibrated measurement coordinate of the measurement object, stored in the storage section 13g as calibrated measurement coordinate data.

記憶部１３ｇは、画像データ、各撮影での直線マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂの計測座標データ、ラインセンサカメラ１１Ａの内部パラメータ、ラインセンサカメラ１１Ａと直線マーカ１２Ａとの位置姿勢関係を表す外部パラメータ、直線マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂのマーカ座標系座標、直線マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂのカメラ座標系座標、透明板パラメータ、計測対象の高さ、計測対象のキャリブレーション後の校正済み計測座標データ等を保管する。   The storage unit 13g stores image data, measurement coordinate data of the black and white bands 12Aa and 12Ab of the linear marker 12A in each shooting, internal parameters of the line sensor camera 11A, and external positions representing the positional relationship between the line sensor camera 11A and the linear marker 12A. Parameters, marker coordinate system coordinates of the black and white bands 12Aa, 12Ab of the linear marker 12A, camera coordinate system coordinates of the black and white bands 12Aa, 12Ab of the linear marker 12A, transparent plate parameters, height of the measurement target, calibration of the measurement target after calibration Stored measured coordinate data, etc.

なお、構成済み計測座標データは図示しない表示部等に出力され、表示部では校正された画像が表示される。   The configured measurement coordinate data is output to a display unit (not shown) or the like, and the display unit displays a calibrated image.

以下、図４を用いて本実施例に係る画像のキャリブレーション装置によるキャリブレーション処理の流れを説明する。   Hereinafter, the flow of the calibration process performed by the image calibration apparatus according to the present embodiment will be described with reference to FIG.

透明板キャリブレーションを行うためには、透明板２の厚さｄ[mm]、屈折率ｎ、ラインセンサカメラ１１Ａに対する角度θg[rad]といったパラメータを求める必要がある。
そのためにまず、図４に示すように、透明板２なしで長手方向の白黒帯１２Ａａ，１２Ａｂの長さが既知である直線マーカ１２Ａをラインセンサカメラ１１Ａにより撮影する（ステップＳ１）。
なお、直線マーカ１２Ａはラインセンサカメラ１１Ａからみてほぼ正対するように設置する。また、ラインセンサカメラ１１Ａのレンズキャリブレーションはすでに行われており、焦点距離ｆ、主点座標ｃ、歪み係数といったカメラの内部パラメータは既知であり、歪みを除去した画像が得られていると仮定する。ラインセンサカメラ１１Ａによって撮影した画像は、画像入力部１３ａにより記憶部１３ｇに保管される。 In order to perform the transparent plate calibration, it is necessary to obtain parameters such as the thickness d [mm] of the transparent plate 2, the refractive index n, and the angle θ g [rad] with respect to the line sensor camera 11A.
For this purpose, as shown in FIG. 4, first, a linear marker 12A having a known length of the black and white bands 12Aa and 12Ab in the longitudinal direction without the transparent plate 2 is photographed by the line sensor camera 11A (step S1).
Note that the straight line marker 12A is installed so as to be substantially directly facing the line sensor camera 11A. It is also assumed that the lens calibration of the line sensor camera 11A has already been performed, the camera internal parameters such as the focal length f, the principal point coordinates c, and the distortion coefficient are known, and an image from which distortion has been removed is obtained. I do. The image captured by the line sensor camera 11A is stored in the storage unit 13g by the image input unit 13a.

続いて、直線マーカ１２Ａ及びラインセンサカメラ１１Ａの位置を動かさずに、直線マーカ１２Ａとラインセンサカメラ１１Ａとの間に透明板２を設置して透明板２ありの状態で直線マーカ１２Ａをラインセンサカメラ１１Ａにより撮影する（ステップＳ２）。ラインセンサカメラ１１Ａによって撮影した画像は、画像入力部１３ａにより記憶部１３ｇに保管される。   Subsequently, the transparent plate 2 is set between the linear marker 12A and the line sensor camera 11A without moving the positions of the linear marker 12A and the line sensor camera 11A, and the linear marker 12A is line-sensored with the transparent plate 2 present. Photographing is performed by the camera 11A (step S2). The image captured by the line sensor camera 11A is stored in the storage unit 13g by the image input unit 13a.

本実施例では、このようにして撮影した透明板２がない場合と透明板２がある場合の画像の写りの違いを利用して透明板２のパラメータを算出する。   In the present embodiment, the parameters of the transparent plate 2 are calculated by utilizing the difference in the appearance of the image when there is no transparent plate 2 and when there is the transparent plate 2 photographed in this way.

ステップＳ２に続いては、計測座標算出部１３ｂにより、記憶部１３ｇから読み出した画像データを用いて、透明板２なしで撮影した画像及び透明板２ありで撮影した画像から、それぞれ直線マーカ１２Ａの切り替え地点１２Ａｃのピクセル位置（計測座標）を検出する（ステップＳ３）。直線マーカ１２Ａの切り替え地点１２Ａｃのピクセル位置については、二値化処理やエッジ検出といった画像処理手法により検出する。   Subsequent to step S2, the measurement coordinate calculation unit 13b uses the image data read from the storage unit 13g to convert the image captured without the transparent plate 2 and the image captured with the transparent plate 2 into the linear marker 12A. The pixel position (measurement coordinates) of the switching point 12Ac is detected (Step S3). The pixel position of the switching point 12Ac of the linear marker 12A is detected by an image processing method such as binarization processing or edge detection.

続いて、外部パラメータ算出部１３ｃにより、記憶部１３ｇから読み出した、透明板２なしの画像から得た計測座標データ、ラインセンサカメラ１１Ａの内部パラメータ及びマーカ座標系座標データを用いて、ラインセンサカメラ１１Ａと直線マーカ１２Ａとの位置姿勢関係を表す外部パラメータとして後で説明する角度Θ、ベクトルｔ11，ｔ12を求め（ステップＳ４）、カメラ座標系変換部１３ｄにより、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データ及び外部パラメータから、カメラ座標系における直線マーカ１２Ａの切り替え地点１２Ａｃの座標（Ｘ1'，Ｙ1'）を算出する（ステップＳ５）。 Subsequently, the external parameter calculation unit 13c reads the line sensor camera using the measurement coordinate data obtained from the image without the transparent plate 2, the internal parameters of the line sensor camera 11A, and the marker coordinate system coordinate data read from the storage unit 13g. Angles す る and vectors t 11 and t 12, which will be described later, are obtained as external parameters representing the position and orientation relationship between the linear marker 12A and the linear marker 12A (step S4). The coordinates (X 1 ′, Y 1 ′) of the switching point 12Ac of the linear marker 12A in the camera coordinate system are calculated from the measured coordinate data without the plate 2 and the external parameters (step S5).

カメラモデルにはピンホールモデルを用いる。ただし、ここではラインセンサカメラ１１Ａを使うため、通常のエリアカメラとは違い、三次元空間→二次元画像ではなく、二次元平面→一次元画像となる。この数式モデルを式(1)に示す。   A pinhole model is used as the camera model. However, here, since the line sensor camera 11A is used, unlike a normal area camera, a two-dimensional plane is not a two-dimensional image but a two-dimensional plane is a one-dimensional image. This mathematical model is shown in equation (1).

Figure 0006645140
Figure 0006645140

ラインセンサカメラ１１Ａは１ラインしか撮影されないが、この撮影範囲は三次元空間上では二次元平面となる。この二次元空間上のマーカ座標系のある座標をＸ1，Ｙ1で、カメラ座標系の光軸方向の軸とその軸に直交する軸に平行な画像座標系（画像の左端を０原点とする画像素子面と平行な座標系であり、ラインセンサカメラ１１Ａにおける光線が、カメラ座標系原点より光軸方向に焦点距離ｆ[pixel]離れた位置にある画像平面に投影されたピクセル座標を表す）のあるピクセル座標をｕ1で表現している。マーカ座標系とカメラ座標系間の回転行列をＲ（回転軸は１軸でその角度はΘ）、並進ベクトルをｔ1（二次元ベクトルでその要素はｔ11、ｔ12）とする。 Although the line sensor camera 11A captures only one line, this capturing range is a two-dimensional plane in a three-dimensional space. The coordinates of the marker coordinate system in the two-dimensional space are represented by X 1 and Y 1 , and an image coordinate system parallel to an axis in the optical axis direction of the camera coordinate system and an axis orthogonal to the axis (the left end of the image is defined as 0 origin). The coordinate system is a coordinate system parallel to the image element surface, and represents the pixel coordinates where the light ray in the line sensor camera 11A is projected on an image plane located at a focal distance f [pixel] away from the origin of the camera coordinate system in the optical axis direction. ) Is represented by u 1 . The rotation matrix between the marker coordinate system and the camera coordinate system is R (the rotation axis is one axis and the angle is そ の), and the translation vector is t 1 (two-dimensional vector whose elements are t 11 and t 12 ).

また、ｓ1はスケーリング係数、ｕ1は画像座標系における位置（ピクセル座標、単位はpixel）、ｆは焦点距離（単位はpixel）、ｃは主点座標（単位はpixel）、Ｘ1，Ｙ1はマーカ座標系における直線マーカ１２Ａの切り替え地点１２Ａｃのマーカ座標系における位置（単位はとくに決まっていないがmmとするのが一般的である）である。なお、この式(1)はラインセンサカメラ１１Ａのレンズの歪みはすでに校正済みとする。また、外部パラメータの単位は回転量がラジアン、並進移動量が特に決まっていないがmmとするのが一般的である。 Further, s 1 is a scaling coefficient, u 1 is a position (pixel coordinate, unit is pixel) in the image coordinate system, f is focal length (unit is pixel), c is principal point coordinate (unit is pixel), X 1 , Y Reference numeral 1 denotes the position of the switching point 12Ac of the linear marker 12A in the marker coordinate system (the unit is not particularly determined, but is generally mm) in the marker coordinate system. The equation (1) assumes that the lens distortion of the line sensor camera 11A has already been calibrated. The unit of the external parameter is generally radian for the amount of rotation and mm although the amount of translation is not particularly determined.

そして、透明板２なしの画像から特異値分解を用いてラインセンサカメラ１１Ａと直線マーカ１２Ａとの位置姿勢関係を表す外部パラメータとして角度Θ、ベクトルｔ11，ｔ12を求める。 Then, the angle Θ and the vectors t 11 and t 12 are obtained from the image without the transparent plate 2 as external parameters representing the position and orientation relationship between the line sensor camera 11A and the linear marker 12A using singular value decomposition.

以下に、外部パラメータである角度Θ、ベクトルｔ11、ｔ12を求める方法について詳しく説明する。まず、ラインセンサカメラ１１Ａにより直線マーカ１２Ａを撮影しているため、直線マーカ１２ＡのＹ座標は全て０になる。そこで以下の式(2)が得られる。 Hereinafter, a method of obtaining the external parameters of the angle Θ and the vectors t 11 and t 12 will be described in detail. First, since the linear marker 12A is photographed by the line sensor camera 11A, the Y coordinates of the linear marker 12A are all zero. Then, the following equation (2) is obtained.

Figure 0006645140
Figure 0006645140

この式を展開すると、以下の式(3)となる。   When this equation is expanded, the following equation (3) is obtained.

Figure 0006645140
Figure 0006645140

これを展開、整理すると、以下の式(4)となる。   When this is developed and arranged, the following equation (4) is obtained.

Figure 0006645140
Figure 0006645140

ここで、式(4)はスケールが次数を一つ減らせる性質を利用し、三本以上の同時方程式を立てることで解くことができる。本実施例では、ラインセンサカメラ１１Ａにより直線マーカ１２Ａの切り替え地点１２Ａｃを三箇所以上撮影するようにしたため、当該切り替え地点１２Ａｃの座標は三点以上（Ｘ11，Ｘ12，…，Ｘ1M，ｕ11，ｕ12，…，ｕ1M）（Ｍは３以上の整数）あるが、この場合、以下の式(5)に示すように方程式と未知数の数が一致しない。 Here, equation (4) can be solved by establishing three or more simultaneous equations using the property that the scale can reduce the order by one. In this embodiment, since the switching point 12Ac linear markers 12A was set to shoot above three positions by the line sensor camera 11A, three or more points coordinates of the switching point 12Ac (X 11, X 12, ..., X 1M, u 11 , u 12 ,..., U 1M ) (M is an integer of 3 or more), but in this case, the equation does not match the number of unknowns as shown in the following equation (5).

Figure 0006645140
Figure 0006645140

そこで最小二乗法を行う。この形から外部パラメータである角度Θ、ベクトルｔ11、ｔ12を求める場合、例えば非特許文献１に記載されている特異値分解等を用いて算出することができる。
なお、実際の外部パラメータとするためには、スケール不定及び光軸の向きを固定するためベクトルｔ12で正規化を行い、回転行列の性質よりsin2Θ＋cos2Θ＝１を使用して、角度Θ及びベクトルｔ11、ｔ12を求める。このように画像上の位置ｕ1、真値座標（マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂの幅）、焦点距離ｆ、主点座標ｃが分かっていれば線形解法で解を求めることができる。 Therefore, the least squares method is performed. When the external parameters, ie, the angle Θ and the vectors t 11 and t 12 are obtained from this form, they can be calculated using, for example, singular value decomposition or the like described in Non-Patent Document 1.
In order to the actual external parameters, normalizes the vector t 12 for fixing the scale indefinite and orientation of the optical axis, using the sin 2 Θ + cos 2 Θ = 1 from the nature of the rotation matrix, the angle Θ and vectors t 11 and t 12 are obtained. As described above, if the position u 1 on the image, the true value coordinates (widths of the black and white bands 12Aa and 12Ab of the marker 12A), the focal length f, and the principal point coordinates c are known, a solution can be obtained by a linear solution method.

次に、透明板２なしの場合の計測座標データから特異値分解を用いてカメラ座標系における直線マーカ１２Ａの切り替え地点１２Ａｃの座標（Ｘ1'，Ｙ1'）を求める。座標（Ｘ1'，Ｙ1'）は以下の式(6)で算出することができる。 Next, the coordinates (X 1 ′, Y 1 ′) of the switching point 12Ac of the linear marker 12A in the camera coordinate system are obtained from the measured coordinate data without the transparent plate 2 using singular value decomposition. The coordinates (X 1 ′, Y 1 ′) can be calculated by the following equation (6).

Figure 0006645140
Figure 0006645140

次に、透明板パラメータ算出部１３ｅにより、記憶部１３ｇから透明板２ありの場合の計測座標データ、透明板２なしの場合の計測座標データ、ラインセンサカメラ１１Ａの内部パラメータ、及びカメラ座標系座標データを読み出し、この直線マーカ１２Ａの切り替え地点１２Ａｃのカメラ座標系の座標と、透明板２ありの画像から求めた計測座標データを用いて透明板２のパラメータ（厚さｄ、屈折率ｎ、カメラ光軸に対する角度θg）を算出する（ステップＳ６）。具体的には、透明板２ありの画像から求めた計測座標データを用いて、直線マーカ１２Ａの切り替え地点１２Ａｃのピクセル位置と透明板２なしの画像から求めた直線マーカ１２Ａの切り替え地点１２Ａｃのピクセル位置との差が小さくなるように、レーベンバーグマーカート法などの最適化手法を用いて透明板２のパラメータを求める。 Next, the transparent plate parameter calculating unit 13e stores, from the storage unit 13g, measured coordinate data with the transparent plate 2, measured coordinate data without the transparent plate 2, internal parameters of the line sensor camera 11A, and camera coordinate system coordinates from the storage unit 13g. The data is read out, and the parameters of the transparent plate 2 (thickness d, refractive index n, camera position) are determined using the coordinates in the camera coordinate system of the switching point 12Ac of the linear marker 12A and the measurement coordinate data obtained from the image with the transparent plate 2. The angle θ g with respect to the optical axis is calculated (step S6). Specifically, the pixel position of the switching point 12Ac of the linear marker 12A and the pixel of the switching point 12Ac of the linear marker 12A obtained from the image without the transparent plate 2 are determined using the measurement coordinate data obtained from the image with the transparent plate 2. The parameters of the transparent plate 2 are obtained by using an optimization technique such as the Levenberg-Marquardt method so that the difference from the position becomes small.

図１に示すように、透明板２の有無によるある直線マーカ１２Ａの切り替え地点１２Ａｃからの光線の違いにより、透明板２がない場合は画像としてｕ1の位置に写るケースであっても、透明板２がある場合は光の屈折があるため画像ではｕ1'という異なる位置に写ることが分かる。透明板キャリブレーションとはｕ1'の座標が得られたときに本来写るであろうｕ1に座標を変換する処理である。
以下では、この変換のためのパラメータとして透明板２の厚さｄ、透明板２の屈折率ｎ、透明板２のカメラ光軸に対する角度θgを算出する。
まず、透明板２の表面と裏面が平行であると仮定する。すると、スネルの法則より透明板２の表面への入射光と透明板２の裏面から出る出射光は平行になる。この性質を利用すると光線の変化は以下の式(7)〜(9)で表せる。 As shown in FIG. 1, the light difference in from the switching point 12Ac of a linear marker 12A due to the presence or absence of the transparent plate 2, even when there is no transparent plate 2 is a case caught on the position of u 1 as an image, a transparent In the case where the plate 2 is present, it can be seen that the light is refracted and appears at a different position called u 1 ′ in the image. The transparent plate calibration is the process of converting the coordinates u 1 would Utsuru originally when obtained coordinates u 1 '.
Hereinafter, the thickness d of the transparent plate 2, the refractive index n of the transparent plate 2, and the angle θ g of the transparent plate 2 with respect to the camera optical axis are calculated as parameters for this conversion.
First, it is assumed that the front surface and the back surface of the transparent plate 2 are parallel. Then, according to Snell's law, light incident on the front surface of the transparent plate 2 and light emitted from the rear surface of the transparent plate 2 become parallel. Using this property, the change of the light beam can be expressed by the following equations (7) to (9).

Figure 0006645140
Figure 0006645140

ここで、ｅ1：透明板２を透過することによる出射光と光学軸とのズレ[mm]、（Ｘ1'，Ｙ1'）：透明板２なしの場合のマーカのある１地点のカメラ座標系における座標[mm]、（Ｘ1''，Ｙ1''）：ピクセル位置ｕ1'への光線とマーカのある１地点から伸ばした画像平面と平行な軸との交点の座標[mm]、ｃ：主点座標[pixel]、ｆ：焦点距離[pixel]、ｕ1：透明板２なしの場合のマーカのある１地点のピクセル位置[pixel]、ｕ1'：透明板２ありの場合のマーカのある１地点のピクセル位置[pixel]、θ1：透明板２に垂直な軸と透明板２の出射光のなす角度[rad]、θ01：透明板２なしの場合のマーカのある１地点からカメラへの光線とカメラ光軸との角度（ｕ1'からの光線とカメラ光軸との角度）[rad]、θ1'：透明板２に垂直な軸と透明板内の光線とのなす角度[rad]である。 Here, e 1 : deviation [mm] between the emitted light and the optical axis due to transmission through the transparent plate 2, (X 1 ′, Y 1 ′): camera at one point with a marker without the transparent plate 2 Coordinates [mm] in the coordinate system, (X 1 ″, Y 1 ″): coordinates [mm] of the intersection of the ray to pixel position u 1 ′ and the axis parallel to the image plane extended from one point with the marker ], C: Principal point coordinates [pixel], f: Focal length [pixel], u 1 : Pixel position [pixel] at one point where the marker is located without transparent plate 2, u 1 ': Transparent plate 2 present Pixel position [pixel] of one point where the marker exists, θ 1 : angle [rad] between the axis perpendicular to the transparent plate 2 and light emitted from the transparent plate 2, θ 01 : marker position without the transparent plate 2 The angle between the ray from a certain point to the camera and the optical axis of the camera (the angle between the ray from u 1 'and the optical axis of the camera) [rad], θ 1 ': the axis perpendicular to the transparent plate 2 and the inside of the transparent plate Angle between ray Degrees [rad].

ここで、（Ｘ1'，Ｙ1'）、（Ｘ1''，Ｙ1''）はどちらもカメラ座標系のため、Ｙ1''＝Ｙ1'、ｕ1'：ｆ＝Ｘ1''：Ｙ1''より、Ｘ1''は以下の式(10)で表される。 Here, (X 1 ′, Y 1 ′) and (X 1 ″, Y 1 ″) are both camera coordinate systems, so that Y 1 ″ = Y 1 ′ and u 1 ′: f = X 1 From '': Y 1 '', X 1 '' is represented by the following equation (10).

Figure 0006645140
Figure 0006645140

これにより、式(9)において未算出の変数は出射光と光学軸とのズレｅ1だけとなった。ズレｅ1の算出を図１及び図５を用いて説明する。まず、透明板２に垂直な軸と透明板２の出射光とがなす角度θ1[rad]、ｕ1'からの光線とカメラ光軸との角度θ01[rad]、透明板２に垂直な軸と透明板２内の光線とがなす角度θ1'[rad]については以下の式(11)〜(13)で算出できる。 Thus, variable uncalculated in formula (9) was the only deviation e 1 between the outgoing light and the optical axis. The calculation of the deviation e 1 is described with reference to FIGS. 1 and 5. First, the angle θ 1 [rad] between the axis perpendicular to the transparent plate 2 and the light emitted from the transparent plate 2, the angle θ 01 [rad] between the light from u 1 ′ and the optical axis of the camera, and the angle perpendicular to the transparent plate 2 The angle θ 1 ′ [rad] formed between the main axis and the light beam in the transparent plate 2 can be calculated by the following equations (11) to (13).

Figure 0006645140
Figure 0006645140

次に、透明板２内の光線の長さ（以下、光路長）ｂ1を以下の式(14)により求める。 Then, the length of the light of the transparent plate 2 (hereinafter, the optical path length) obtained by the following equation b 1 (14).

Figure 0006645140
Figure 0006645140

この光路長ｂ1を用いて、当該光路長ｂ1のＹ1軸方向の成分ｂ1'を求めると、以下の式(15)のようになる。 With this optical path length b 1, when obtaining the components b 1 'of Y 1 axis direction of the optical path length b 1, as shown in the following equation (15).

Figure 0006645140
Figure 0006645140

光路長ｂ及び当該光路長ｂの鉛直方向の成分ｂ1'から図５に示す成分ｅ１，ｅ２（ｅ１＋ｅ２＝ｅ1）を算出する。 Calculating the component e1, e2 (e1 + e2 = e 1) shown in FIG. 5 from the vertical direction component b 1 'of the optical path length b and the optical path length b.

Figure 0006645140
Figure 0006645140

よって、出射光と光学軸とのズレｅ1は以下の式(18)で表される。 Therefore, the deviation e 1 between the emitted light and the optical axis is expressed by the following equation (18).

Figure 0006645140
Figure 0006645140

ここで、透明板２の厚さｄ、透明板２のカメラ光軸に対する角度θg、透明板２の屈折率ｎがまだ未算出のパラメータとなる。そこで次の式(19)の二乗誤差を最小化するｄ，θg，ｎを求める。 Here, the thickness d of the transparent plate 2, the angle θ g of the transparent plate 2 with respect to the camera optical axis, and the refractive index n of the transparent plate 2 are parameters that have not yet been calculated. Therefore, d, θ g , and n that minimize the square error of the following equation (19) are obtained.

Figure 0006645140
Figure 0006645140

ここで、Ｎ１は直線マーカ１２Ａの切り替え地点１２Ａｃの数である。この数式は、透明板２ありの場合のピクセル位置ｕ1'からの変換結果と透明板２無しの場合のピクセル位置ｕ1との誤差を最小化するパラメータを算出するという意味になる。これにはレーベンバーグマーカート法などの最適化手法を用いる。
これで、透明板２のパラメータである厚さｄ、角度θg、屈折率ｎが算出される。 Here, N1 is the number of switching points 12Ac of the linear marker 12A. This equation means that a parameter for minimizing an error between the conversion result from the pixel position u 1 ′ with the transparent plate 2 and the pixel position u 1 without the transparent plate 2 is calculated. For this, an optimization method such as the Levenberg-Marquardt method is used.
Thus, the thickness d, the angle θ g , and the refractive index n, which are parameters of the transparent plate 2, are calculated.

次に、キャリブレーション処理部１３ｆにより、計測される透明板２ありの場合のピクセル位置ｕ1'に対して以下の式(20)（式(9)に式(10)と式(18)を代入したもの）を用いることで、透明板２がない場合と同等のピクセル位置ｕ1を算出する（ステップＳ７）。すなわち、求めた透明板パラメータを用いて透明板２ありで撮影した画像から求めた計測座標（ピクセル位置）を、透明板２なしで撮影した状態と同等にするようにキャリブレーションを行う。 Next, the following equation (20) (equation (10) and equation (18) are applied to the pixel position u 1 ′ with the transparent plate 2 to be measured by the calibration processing unit 13f for the pixel position u 1 ′. by using the assignment it was intended), and calculates the equivalent pixel position u 1 and when there is no transparent plate 2 (step S7). In other words, calibration is performed using the obtained transparent plate parameters so that the measurement coordinates (pixel positions) obtained from the image captured with the transparent plate 2 are equivalent to the state captured without the transparent plate 2.

Figure 0006645140
Figure 0006645140

なお、キャリブレーションにＹ1'という計測対象の高さ（ラインセンサカメラ１１Ａから直線マーカ１２ＡまでのＹ1軸方向の距離）が必要になる。これには撮像するワーキングディスタンスを固定することで解決するか、別の手段で対象物までの距離を計測する必要がある。例えば、ラインセンサカメラを二台用いて三角測量を行うことで距離Ｙ1'を求めることが可能である。この場合ピクセル位置ｕ1'を初期値として三角測量を行い、求めた座標から角度θ01及び距離Ｙ1'を算出する。そして求めたピクセル位置ｕ1を用いて再度角度θ01及び距離Ｙ1'を算出することを繰り返すことで最適なｕ座標を算出できる。 The height of the measurement object that Y 1 'calibration (Distance Y 1 axially from the line sensor camera 11A to linear marker 12A) is required. To solve this, it is necessary to fix the working distance to be imaged, or to measure the distance to the object by another means. For example, the distance Y 1 ′ can be obtained by performing triangulation using two line sensor cameras. In this case, triangulation is performed using the pixel position u 1 ′ as an initial value, and the angle θ 01 and the distance Y 1 ′ are calculated from the obtained coordinates. The optimum u coordinate can be calculated by repeating the calculation of the angle θ 01 and the distance Y 1 ′ again using the obtained pixel position u 1 .

このように構成される本実施例に係る画像のキャリブレーション装置及び方法によれば、以下の作用効果が得られる。すなわち、
１）透明板２のパラメータを画像データとマーカ座標系座標データの真値のみで算出することが可能である。
２）透明板２や直線マーカ１２Ａの設置位置の制約が少ないキャリブレーション手法である。
３）透明板パラメータの算出と直線マーカ１２Ａのカメラ座標系座標の算出が可能である。
４）ラインセンサカメラ１１Ａでの透明板キャリブレーションが可能である。 According to the image calibration apparatus and method according to the present embodiment configured as described above, the following operational effects can be obtained. That is,
1) The parameters of the transparent plate 2 can be calculated using only the true values of the image data and the coordinate data of the marker coordinate system.
2) This is a calibration method with less restrictions on the installation positions of the transparent plate 2 and the linear marker 12A.
3) It is possible to calculate the transparent plate parameters and the camera coordinate system coordinates of the linear marker 12A.
4) Transparent plate calibration with the line sensor camera 11A is possible.

なお、本実施例では、直線マーカ１２Ａを、長手方向の長さが既知である白帯（白色領域）１２Ａａと黒帯（黒色領域）１２Ａｂとを長手方向に沿って交互に配したものとして説明したが、直線マーカ１２Ａの配色は上述した実施例に限定されるものではなく、淡色の領域と濃色の領域とを長手方向に沿って交互に配するなど、二つの領域の境界が明確に判断できる配色であればよい。   In the present embodiment, the linear markers 12A are described as having white bands (white regions) 12Aa and black bands (black regions) 12Ab whose lengths in the longitudinal direction are known are alternately arranged along the longitudinal direction. However, the color arrangement of the linear marker 12A is not limited to the above-described embodiment, and the boundary between the two areas is clearly defined by alternately arranging light-colored areas and dark-colored areas along the longitudinal direction. Any color can be used as long as it can be determined.

図３，４及び図６，７を用いて本発明の実施例２に係る画像のキャリブレーション装置及びキャリブレーション方法の詳細を説明する。   Second Embodiment An image calibration apparatus and a calibration method according to a second embodiment of the present invention will be described in detail with reference to FIGS.

図６に示すように、本実施例に係るキャリブレーション装置は、平面マーカ１２Ｂと、一台のエリアカメラ１１Ｂと、表面と裏面が平らで平行な透明板２とを用いて、透明板２の影響を透明板２のエリアカメラ１１Ｂに対する角度θg、厚さｄ、屈折率ｎから求めるものである。なお本実施例に係る画像のキャリブレーション装置は、平面マーカ１２Ｂとエリアカメラ１１Ｂの位置姿勢関係も同時に求めることが可能である。 As shown in FIG. 6, the calibration device according to the present embodiment uses a planar marker 12B, one area camera 11B, and a transparent plate 2 whose front and back surfaces are flat and parallel to each other. The influence is obtained from the angle θ g of the transparent plate 2 with respect to the area camera 11B, the thickness d, and the refractive index n. Note that the image calibration apparatus according to the present embodiment can also simultaneously obtain the position and orientation relationship between the planar marker 12B and the area camera 11B.

図７に示すように、平面マーカ１２Ｂは、矩形状に形成された板体からなる。平面マーカ１２Ｂには、大きさが既知である矩形状の白色領域１２Ｂａと黒色領域１２Ｂｂとがチェスボード型に配置されている。図７に示す例では、白色領域１２Ｂａ及び黒色領域１２Ｂｂは、それぞれ八つずつ設けられている。   As shown in FIG. 7, the planar marker 12B is formed of a plate formed in a rectangular shape. On the planar marker 12B, rectangular white regions 12Ba and black regions 12Bb whose sizes are known are arranged in a chessboard shape. In the example illustrated in FIG. 7, eight white regions 12Ba and eight black regions 12Bb are provided.

エリアカメラ１１Ｂは、二次元画像の撮影が可能な機器である。エリアカメラ１１Ｂは、平面マーカ１２Ｂの白色領域１２Ｂａと黒色領域１２Ｂｂの境界（白色領域１２Ｂａと白色領域１２Ｂａとの交点、又は黒色領域１２Ｂｂと黒色領域１２Ｂｂとの交点。以下、単に交点という）１２Ｂｃを少なくとも八か所以上撮影するように設置される。   The area camera 11B is a device capable of capturing a two-dimensional image. The area camera 11B defines a boundary 12Bc between the white region 12Ba and the black region 12Bb (the intersection between the white region 12Ba and the white region 12Ba or the intersection between the black region 12Bb and the black region 12Bb; hereinafter, simply referred to as the intersection) of the planar marker 12B. It is set up to shoot at least eight places.

画像処理装置１３の構成は実施例１で説明したものと概ね同様であり、図３に示すように、画像入力部１３ａ、計測座標算出部１３ｂ、外部パラメータ算出部１３ｃ、カメラ座標系変換部１３ｄ、透明板パラメータ算出部１３ｅ、キャリブレーション処理部１３ｆ、及び記憶部１３ｇを備えている。   The configuration of the image processing apparatus 13 is substantially the same as that described in the first embodiment. As shown in FIG. 3, an image input unit 13a, a measurement coordinate calculation unit 13b, an external parameter calculation unit 13c, and a camera coordinate system conversion unit 13d , A transparent plate parameter calculation unit 13e, a calibration processing unit 13f, and a storage unit 13g.

画像入力部１３ａは、エリアカメラ１１Ｂで取得した画像データ（透明板２ありの場合、及び、透明板２なしの場合）を入力し、記憶部１３ｇに保管する。
計測座標算出部１３ｂは、記憶部１３ｇから読み出した画像データから平面マーカ１２Ｂの白色領域１２Ｂａと黒色領域１２Ｂｂとを検出し、平面マーカ１２Ｂの交点１２Ｂｃの画像上の座標を求め、計測座標データとして記憶部１３ｇに保管する。 The image input unit 13a inputs the image data (when there is the transparent plate 2 and when there is no transparent plate 2) acquired by the area camera 11B, and stores it in the storage unit 13g.
The measurement coordinate calculation unit 13b detects the white area 12Ba and the black area 12Bb of the plane marker 12B from the image data read from the storage unit 13g, obtains the coordinates on the image of the intersection 12Bc of the plane marker 12B, and obtains the measurement coordinate data. It is stored in the storage unit 13g.

外部パラメータ算出部１３ｃは、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データと、予め記憶部１３ｇに保管した既知であるエリアカメラ１１Ｂの内部パラメータ、平面マーカ１２Ｂの交点１２Ｂｃのマーカ座標系の座標であるマーカ座標系座標データ（真値座標）に基づいて、エリアカメラ１１Ｂと平面マーカ１２Ｂの位置姿勢関係を表す外部パラメータを求め、これを記憶部１３ｇに保管する。   The external parameter calculation unit 13c reads the measured coordinate data without the transparent plate 2 read from the storage unit 13g, the known internal parameters of the area camera 11B previously stored in the storage unit 13g, and the marker at the intersection 12Bc of the plane marker 12B. Based on marker coordinate system coordinate data (true value coordinates), which are coordinates in the coordinate system, external parameters representing the position and orientation relationship between the area camera 11B and the planar marker 12B are obtained and stored in the storage unit 13g.

カメラ座標系変換部１３ｄは、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データ及び外部パラメータに基づいて、平面マーカ１２Ｂの交点１２Ｂｃのカメラ座標系の座標を算出し、これをカメラ座標系座標データとして記憶部１３ｇに保管する。   The camera coordinate system conversion unit 13d calculates the coordinates of the intersection 12Bc of the plane marker 12B in the camera coordinate system based on the measurement coordinate data without the transparent plate 2 read from the storage unit 13g and the external parameters, and calculates the coordinates of the camera. It is stored in the storage unit 13g as coordinate system coordinate data.

透明板パラメータ算出部１３ｅは、記憶部１３ｇから読み出した透明板２あり及び透明板２なしの場合の計測座標データ、エリアカメラ１１Ｂの内部パラメータ、及びカメラ座標系座標データに基づいて、透明板パラメータを算出し、これを記憶部１３ｇに保管する。   The transparent plate parameter calculation unit 13e reads the transparent plate parameters based on the measurement coordinate data with and without the transparent plate 2 read from the storage unit 13g, the internal parameters of the area camera 11B, and the camera coordinate system coordinate data. Is calculated and stored in the storage unit 13g.

キャリブレーション処理部１３ｆは、エリアカメラ１１Ｂを用いた計測を行う際に、記憶部１３ｇから読み出した透明板２ありの場合の計測座標データ、予め求めた計測対象の高さ（エリアカメラ１１Ｂから平面マーカ１２ＢまでのＺ2軸方向の距離）、透明板パラメータに基づいて、計測対象の校正済み計測座標を算出し、校正済み計測座標データとして記憶部１３ｇに保管する。 When performing the measurement using the area camera 11B, the calibration processing unit 13f reads the measurement coordinate data with the transparent plate 2 read from the storage unit 13g, the height of the measurement target obtained in advance (the plane from the area camera 11B, distance Z 2 axial direction to the marker 12B), based on the transparent plate parameters, calculates the calibrated measurement coordinate of the measurement object, stored in the storage section 13g as calibrated measurement coordinate data.

記憶部１３ｇは、エリアカメラ撮像データ、各撮影での平面マーカ１２Ｂの交点１２Ｂｃの計測座標データ、エリアカメラ１１Ｂの内部パラメータ、エリアカメラ１１Ｂと平面マーカ１２Ｂとの位置姿勢関係を表す外部パラメータ、平面マーカ１２Ｂの交点１２Ｂｃの座標であるマーカ座標系座標、平面マーカ１２Ｂの交点１２Ｂｃの座標のカメラ座標系座標、透明板パラメータ、計測対象の高さ、計測対象のキャリブレーション後の校正済み座標計測座標データ等を保管する。
なお、構成済み計測座標データは図示しない表示部等に出力され、表示部では校正された画像が表示される。 The storage unit 13g stores area camera imaging data, measurement coordinate data of the intersection 12Bc of the plane marker 12B in each shooting, internal parameters of the area camera 11B, external parameters representing the position and orientation relationship between the area camera 11B and the plane marker 12B, planes Marker coordinate system coordinates that are the coordinates of the intersection 12Bc of the marker 12B, camera coordinate system coordinates of the coordinates of the intersection 12Bc of the planar marker 12B, transparent plate parameters, height of the measurement target, and calibrated coordinate measurement coordinates of the measurement target after calibration Store data etc.
The configured measurement coordinate data is output to a display unit (not shown) or the like, and the display unit displays a calibrated image.

以下、図４を用いて本実施例に係る画像のキャリブレーション装置によるキャリブレーション処理の流れを説明する。   Hereinafter, the flow of the calibration process performed by the image calibration apparatus according to the present embodiment will be described with reference to FIG.

透明板キャリブレーションを行うためには、透明板２の厚さｄ[mm]、屈折率ｎ、角度θg[rad]といったパラメータを求める必要がある。そのために、まず透明板２なしで図７に示すような、白色領域１２Ｂａと黒色領域１２Ｂｂの交点１２Ｂｃの位置が既知である平面マーカ１２Ｂを撮影する（ステップＳ１）。平面マーカ１２Ｂはエリアカメラ１１Ｂからみてほぼ正対するように設置する。 In order to perform transparent plate calibration, it is necessary to obtain parameters such as the thickness d [mm] of the transparent plate 2, the refractive index n, and the angle θ g [rad]. For this purpose, first, without the transparent plate 2, a plane marker 12B having a known position of the intersection 12Bc of the white region 12Ba and the black region 12Bb as shown in FIG. 7 is photographed (step S1). The plane marker 12B is installed so as to be substantially opposite to the area camera 11B.

その後、平面マーカ１２Ｂの位置とエリアカメラ１１Ｂの位置を動かさずに平面マーカ１２Ｂとエリアカメラ１１Ｂとの間に透明板２を設置し、透明板２ありの状態で平面マーカ１２Ｂを撮影する（ステップＳ２）。本実施例では、この際に得られる写りの違いを用いて透明板２のパラメータを算出する。ここでエリアカメラ１１Ｂのレンズキャリブレーションはすでに行われており、焦点距離ｆu，ｆv、主点座標ｃu，ｃv、歪み係数といったエリアカメラ１１Ｂの内部パラメータは既知であり、歪みを除去した画像が得られていると仮定する。 Thereafter, the transparent plate 2 is set between the planar marker 12B and the area camera 11B without moving the position of the planar marker 12B and the position of the area camera 11B, and the planar marker 12B is photographed with the transparent plate 2 (step). S2). In the present embodiment, the parameters of the transparent plate 2 are calculated using the difference in the image obtained at this time. Here, the lens calibration of the area camera 11B has already been performed, and the internal parameters of the area camera 11B such as the focal lengths f u and f v , the principal point coordinates c u and c v , and the distortion coefficient are known, and the distortion is removed. It is assumed that the obtained image is obtained.

続いて、計測座標算出部１３ｂにより、透明板２なしで撮影した画像から平面マーカ１２Ｂの交点１２Ｂｃの画像上の座標を検出する（ステップＳ３）。平面マーカ１２Ｂの交点１２Ｂｃのピクセル位置（計測座標）については二値化処理やエッジ検出といった画像処理手法により検出する。   Subsequently, the coordinates of the intersection 12Bc of the planar marker 12B on the image are detected from the image captured without the transparent plate 2 by the measurement coordinate calculation unit 13b (step S3). The pixel position (measurement coordinate) at the intersection 12Bc of the plane marker 12B is detected by an image processing method such as binarization processing or edge detection.

続いて、外部パラメータ算出部１３ｃにより、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データ、エリアカメラ１１Ｂの内部パラメータ、及びマーカ座標系座標データを用いて、エリアカメラ１１Ｂと平面マーカ１１Ｂとの位置姿勢関係を表す外部パラメータとして回転行列Ｒ及び並進ベクトルｔ2を求め（ステップＳ４）、これらの値からカメラ座標系における平面マーカ１２Ｂの交点１２Ｂｃの座標（Ｘ2'，Ｙ2'，Ｚ2'）を算出する（ステップＳ５）。 Subsequently, the area camera 11B and the planar marker are measured by the external parameter calculation unit 13c using the measurement coordinate data without the transparent plate 2 read from the storage unit 13g, the internal parameters of the area camera 11B, and the marker coordinate system coordinate data. A rotation matrix R and a translation vector t 2 are obtained as external parameters representing the position and orientation relationship with the plane marker 11B (step S4), and the coordinates (X 2 ′, Y 2 ′) of the intersection 12Bc of the plane marker 12B in the camera coordinate system are obtained from these values. , Z 2 ′) (step S5).

カメラモデルにはピンホールモデルを用いる。この数式モデルを式(21)に示す。三次元空間上のマーカ座標系をＸ2，Ｙ2，Ｚ2軸で、カメラ座標系を光軸方向の軸に直交する二次元平面のｕ2，ｖ2軸で表現している。マーカ座標系とカメラ座標系間の回転行列をＲ（ｒ11〜ｒ33）、並進ベクトルをｔ2（三次元ベクトルでその要素はｔ21，ｔ22，ｔ23）とする。 A pinhole model is used as the camera model. This mathematical model is shown in equation (21). The marker coordinate system in the three-dimensional space is represented by X 2 , Y 2 , and Z 2 axes, and the camera coordinate system is represented by u 2 and v 2 axes in a two-dimensional plane orthogonal to the axis in the optical axis direction. The rotation matrix between the marker coordinate system and the camera coordinate system R (r 11 ~r 33), a translation vector t 2 (that element in three-dimensional vector t 21, t 22, t 23 ) and.

Figure 0006645140
Figure 0006645140

透明板２なしの画像から求めた計測座標から特異値分解を用いてエリアカメラ１１Ｂと平面マーカ１２Ｂとの位置姿勢関係を表す外部パラメータとして回転行列Ｒ及び並進ベクトルｔ2を求める。 A rotation matrix R and a translation vector t 2 are obtained as external parameters representing the position and orientation relationship between the area camera 11B and the planar marker 12B from the measurement coordinates obtained from the image without the transparent plate 2 using singular value decomposition.

また、ｓ2はスケーリング係数、ｆu，ｆvはｕ2，ｖ2それぞれの焦点距離、ｃu，ｃvはｕ2，ｖ2それぞれの主点座標、ｕ2，ｖ2は画像座標系におけるピクセル位置、Ｘ2，Ｙ2，Ｚ2はマーカ座標系における平面マーカ１２Ｂの交点１２Ｂｃのピクセル位置である。なお、この式(21)ではレンズの歪みはすでに校正済みとする。 Further, it s 2 is the scaling factor, f u, f v is u 2, v 2 represents a focal length thereof, c u, c v is u 2, v 2 each principal point coordinates, u 2, v 2 is the image coordinate system , X 2 , Y 2 , and Z 2 are the pixel positions of the intersection 12Bc of the planar marker 12B in the marker coordinate system. In this equation (21), it is assumed that the lens distortion has already been calibrated.

以下に、エリアカメラ１１Ｂと平面マーカ１２Ｂの位置姿勢関係を表す外部パラメータである回転行列Ｒ及び並進ベクトルｔ2を求める方法について述べる。まず、エリアカメラ１１Ｂにより平面マーカ１２Ｂを撮影しているため、平面マーカ１２ＢのＺ2座標は全て０になる。そこで以下の式(22)が得られる。 Hereinafter, we describe a method for determining the rotation matrix R and translation vector t 2 is the external parameter representing the position and orientation relationship area camera 11B and the plane marker 12B. First, since the shooting plane marker 12B by the area camera 11B, all become Z 2 coordinate plane marker 12B is 0. Then, the following equation (22) is obtained.

Figure 0006645140
Figure 0006645140

この式を展開すると、以下の式(23)，(24)となる。   When this equation is expanded, the following equations (23) and (24) are obtained.

Figure 0006645140
Figure 0006645140

これを展開、整理すると、以下の式(25)になる。   When this is expanded and arranged, the following equation (25) is obtained.

Figure 0006645140
Figure 0006645140

ここで、上記の式(25)は、スケールが次数を一つ減らせる性質を利用し、８本以上の同時方程式を立てることで解くことができる。実際には平面マーカ１２Ｂの座標は８点以上（（Ｘ21，Ｙ21），（Ｘ22，Ｙ22），…，（Ｘ2L，Ｙ2L），（ｕ21，ｖ21），（ｕ22，ｖ22），…，（ｕ2L，ｖ2L））（Ｌは８以上の整数）あるが、この場合方程式と未知数の数が一致しない（式(26)）。 Here, the above equation (25) can be solved by establishing eight or more simultaneous equations using the property that the scale can reduce the order by one. In fact the plane marker 12B coordinates than 8 points ((X 21, Y 21) , (X 22, Y 22), ..., (X 2L, Y 2L), (u 21, v 21), (u 22 , V 22 ),..., (U 2L , v 2L )) (L is an integer of 8 or more), but in this case, the equation does not match the number of unknowns (Equation (26)).

Figure 0006645140
Figure 0006645140

そこで最小二乗法を行う。この形から外部パラメータである回転行列Ｒ及び並進ベクトルｔ2を求める場合、特異値分解を用いることが良く知られているため（非特許文献１）、ここでは特異値分解によって算出する。 Therefore, the least squares method is performed. It is well known that singular value decomposition is used to obtain a rotation matrix R and a translation vector t 2 which are external parameters from this form (Non-Patent Document 1).

実際の外部パラメータとするためには、スケール不定及び光軸の向きを固定するためベクトルｔ23で正規化を行い、回転行列の性質より回転行列Ｒが直交行列かつ行列式の値が１を使用して回転行列Ｒ及び並進ベクトルｔ2を求める。このように画像上の計測座標（ピクセル位置）、真値座標（平面マーカ１２Ｂの白色領域１２Ｂａと黒色領域１２Ｂｂの大きさ）、焦点距離、主点座標が分かっていれば線形解法で解を求めることができる。 To the actual external parameters, normalizes the vector t 23 for fixing the scale indefinite and orientation of the optical axis, using the value of the rotation matrix R is orthogonal matrix and determinant than the nature of the rotation matrix 1 To obtain a rotation matrix R and a translation vector t 2 . In this way, if the measurement coordinates (pixel position) on the image, the true value coordinates (the size of the white area 12Ba and the black area 12Bb of the plane marker 12B), the focal length, and the principal point coordinates are known, a solution is obtained by a linear solution method. be able to.

次に、透明板２なしの画像から求めた計測座標から、特異値分解を用いてカメラ座標系における平面マーカ１２Ｂの交点１２Ｂｃの座標（Ｘ2'，Ｙ2'，Ｚ2'）を求める。この座標（Ｘ2'，Ｙ2'，Ｚ2'）は以下の式(27)で算出することができる。 Next, the coordinates (X 2 ′, Y 2 ′, Z 2 ′) of the intersection 12Bc of the plane marker 12B in the camera coordinate system are obtained from the measurement coordinates obtained from the image without the transparent plate 2 using singular value decomposition. The coordinates (X 2 ′, Y 2 ′, Z 2 ′) can be calculated by the following equation (27).

Figure 0006645140
Figure 0006645140

次に、透明板パラメータ算出部１３ｅにより、この平面マーカ１２Ｂの交点１２Ｂｃのカメラ座標系の座標と、透明板２を透過して撮像した画像を用いて透明板２のパラメータ（厚さｄ、屈折率ｎ、カメラ光軸に対する角度θg）を算出する（ステップＳ６）。具体的には、透明板２ありの画像から取得した計測座標を用いて、平面マーカ１２Ｂの交点１２Ｂｃのピクセル位置と透明板２なしの画像から取得した平面マーカ１２Ｂの交点１２Ｂｃのピクセル位置との差が小さくなるように、レーベンバーグマーカート法などの最適化手法を用いて透明板２のパラメータを求める。 Next, the transparent plate parameter calculation unit 13e uses the coordinates of the intersection 12Bc of the plane marker 12B in the camera coordinate system and the image of the transparent plate 2 taken through the transparent plate 2 (thickness d, refraction). The ratio n and the angle θ g with respect to the optical axis of the camera are calculated (step S6). Specifically, using the measurement coordinates acquired from the image with the transparent plate 2, the pixel position of the intersection 12Bc of the plane marker 12B and the pixel position of the intersection 12Bc of the plane marker 12B acquired from the image without the transparent plate 2 are used. The parameters of the transparent plate 2 are determined using an optimization method such as the Levenberg-Marquardt method so that the difference is reduced.

図６に、透明板２の有無によるある平面マーカ１２Ｂの交点１２Ｂｃからの光線の違いを示すように、透明板２がない場合、画像として（ｕ2，ｖ2）の位置に写るケースであっても、透明板２がある場合は光の屈折があるため画像では（ｕ2'，ｖ2'）という異なる位置に写ることが分かる。透明板キャリブレーションとは（ｕ2'，ｖ2'）の座標が得られたときに本来写るであろう（ｕ2，ｖ2）に座標を変換する処理である。 FIG. 6 shows the difference in the light rays from the intersection 12Bc of a certain planar marker 12B depending on the presence or absence of the transparent plate 2. As shown in FIG. 6, when the transparent plate 2 is not provided, the image is shown at the position (u 2 , v 2 ). However, if the transparent plate 2 is present, the light is refracted, so that it is seen in the image at a different position (u 2 ′, v 2 ′). The transparent plate calibration is a process of converting the coordinates to (u 2 , v 2 ) which would originally appear when the coordinates of (u 2 ′, v 2 ′) are obtained.

以下では、この変換のためのパラメータとして透明板２の厚さｄ、透明板２の屈折率ｎ、透明板２のカメラ光軸に対する角度θgを算出する。基本的な考え方は実施例１と同じになるが、ここでは対象となる画像が直線ではなく平面である。そこで、ある座標に対して放射状にある一面を区切ると、実施例１と同等の状態とみなせる。ここではこの傾向を利用して透明板２のパラメータを算出する。 Hereinafter, the thickness d of the transparent plate 2, the refractive index n of the transparent plate 2, and the angle θ g of the transparent plate 2 with respect to the camera optical axis are calculated as parameters for this conversion. The basic concept is the same as that of the first embodiment, but here, the target image is not a straight line but a plane. Therefore, if one surface that is radial with respect to certain coordinates is sectioned, it can be regarded as a state equivalent to the first embodiment. Here, the parameters of the transparent plate 2 are calculated using this tendency.

まず、透明板２の表面と裏面が平行であると仮定する。すると、スネルの法則より透明板２の表面への入射光と透明板２の裏面から出る出射光は平行になる。この性質を利用すると光線の変化は以下の式(28)〜(30)で表せる。   First, it is assumed that the front surface and the back surface of the transparent plate 2 are parallel. Then, according to Snell's law, light incident on the front surface of the transparent plate 2 and light emitted from the rear surface of the transparent plate 2 become parallel. Using this property, the change of the light beam can be expressed by the following equations (28) to (30).

Figure 0006645140
Figure 0006645140

ここで、ｄ：透明板２の厚さ[mm]、ｅ2：透明板２を透過することによる出射光と光学軸とのズレ[mm]、ｎ：透明板２の屈折率、（Ｘ2'，Ｙ2'，Ｚ2'）：透明板２なしの場合の平面マーカ１２Ｂのある１地点のカメラ座標系における座標[mm]、（Ｘ2''，Ｙ2''，Ｚ2''）：ピクセル位置（ｕ2'，ｖ2'）への光線と平面マーカ１２Ｂのある１地点から伸ばした画像平面と平行な軸との交点の座標[mm]、（ｃu，ｃv）：主点座標[pixel]、（ｆu，ｆv）：焦点距離[pixel]、（ｕ2，ｖ2）：透明板２なしの場合の平面マーカ１２Ｂのある１地点のピクセル位置[pixel]、（ｕ2'，ｖ2'）：透明板２ありの場合の平面マーカ１２Ｂのある１地点のピクセル位置[pixel]、θ2：透明板２に垂直な軸と透明板２の出射光のなす角度[rad]、θ02：透明板２なしの場合の平面マーカ１２Ｂのある１地点からエリアカメラ１１Ｂへの光線とカメラ光軸との角度（（ｕ2'，ｖ2'）からの光線とカメラ光軸とがなす角）[rad]、θg：カメラ光軸に対する透明板２に垂直な軸の角度[rad]、θ2'：透明板２に垂直な軸と透明板内の光線とのなす角度[rad]である。
ここで、（Ｘ2'，Ｙ2'，Ｚ2'）、（Ｘ2''，Ｙ2''，Ｚ2''）はどちらもカメラ座標系のため、Ｚ2''＝Ｚ2'、ｕ2'：ｆu＝Ｘ2''：Ｚ2''、ｖ2'：ｆv＝Ｙ2''：Ｚ2''より、以下の式(31)が成り立つ。 Here, d: thickness [mm] of the transparent plate 2, e 2 : deviation [mm] between the emitted light and the optical axis due to transmission through the transparent plate 2, n: refractive index of the transparent plate 2, (X 2 ', Y 2', Z 2 '): coordinates in 1 point the camera coordinate system with a flat marker 12B in the case of the transparent plate 2 without [mm], (X 2' ', Y 2'', Z 2'' ): Coordinates [mm] of the intersection of the ray to the pixel position (u 2 ′, v 2 ′) and the axis parallel to the image plane extended from one point of the plane marker 12B, ( cu , cv ): the main point coordinates [pixel], (f u, f v): focal length [pixel], (u 2, v 2): 1 point pixel location with the plane marker 12B in the case of the transparent plate 2 without [pixel], (U 2 ′, v 2 ′): Pixel position [pixel] at one point of the planar marker 12B when the transparent plate 2 is present, θ 2 : An axis perpendicular to the transparent plate 2 and light emitted from the transparent plate 2 Angle [rad], θ 02 : When there is no transparent plate 2 Angle between the light beam from one point of the combined planar marker 12B to the area camera 11B and the camera optical axis (the angle formed by the light beam from (u 2 ′, v 2 ′) and the camera optical axis) [rad], θ g : the angle [rad] of the axis perpendicular to the transparent plate 2 with respect to the camera optical axis, θ 2 ': the angle [rad] between the axis perpendicular to the transparent plate 2 and the light beam in the transparent plate.
Here, since (X 2 ′, Y 2 ′, Z 2 ′) and (X 2 ″, Y 2 ″, Z 2 ″) are both camera coordinate systems, Z 2 ″ = Z 2 ′ , U 2 ′: fu = X 2 ″: Z 2 ″ and v 2 ′: f v = Y 2 ″: Z 2 ″, the following equation (31) is established.

Figure 0006645140
Figure 0006645140

これにより、式(30)においてまだ未算出の変数は出射光と光学軸とのズレｅ2だけとなった。以下に、ズレｅ2を算出する手法について説明する。まず、透明板２に垂直な軸と透明板２の出射光のなす角θ2[rad]、（ｕ2'，ｖ2'）からの光線とカメラ光軸とがなす角θ02[rad]、透明板２に垂直な軸と透明板２内の光線とのなす角θ2'[rad]については以下の式(32)〜(34)で算出できる。 As a result, the only variable that has not been calculated in the equation (30) is the deviation e 2 between the emitted light and the optical axis. The following describes methods of calculating the deviation e 2. First, the angle θ 2 [rad] between the axis perpendicular to the transparent plate 2 and the light emitted from the transparent plate 2, and the angle θ 02 [rad] between the ray from (u 2 ′, v 2 ′) and the camera optical axis The angle θ 2 ′ [rad] between the axis perpendicular to the transparent plate 2 and the light beam in the transparent plate 2 can be calculated by the following equations (32) to (34).

Figure 0006645140
Figure 0006645140

ここで、θ'gは光軸に対して透明板２の光軸中心から光線への直線がどの程度傾いているかを表す角度であり、θgから求めることができる。まず、光軸ベクトルを透明板２に射影したベクトルを求める。次にこのベクトルを透明板２の法線ベクトルに対して回転させ、（Ｘ2'，Ｙ2'，Ｚ2'）を通る光線と交差するベクトルとする。最後にこのベクトルと光軸とのなす角がθ'gとなる。
これ以降については実施例１と同様になる。よって、出射光と光学軸とのズレｅ2は以下の式(35)で表される。 Here, θ ′ g is an angle indicating how much a straight line from the optical axis center of the transparent plate 2 to the light beam is inclined with respect to the optical axis, and can be obtained from θ g . First, a vector obtained by projecting the optical axis vector onto the transparent plate 2 is obtained. Next, this vector is rotated with respect to the normal vector of the transparent plate 2 to be a vector that intersects with a ray passing through (X 2 ′, Y 2 ′, Z 2 ′). Finally, the angle between this vector and the optical axis is θ ′ g .
Subsequent steps are the same as in the first embodiment. Therefore, the deviation e 2 between the emitted light and the optical axis is expressed by the following equation (35).

Figure 0006645140
Figure 0006645140

ここで、透明板２の厚さｄ、透明板２のカメラ光軸に対する角度θg、透明板２の屈折率ｎがまだ未算出のパラメータとなる。そこで次の式(36)の二乗誤差を最小化するｄ，θg，ｎを求める。 Here, the thickness d of the transparent plate 2, the angle θ g of the transparent plate 2 with respect to the camera optical axis, and the refractive index n of the transparent plate 2 are parameters that have not yet been calculated. Therefore, d, θ g , and n that minimize the square error of the following equation (36) are obtained.

Figure 0006645140
Figure 0006645140

ここで、Ｎ２は平面マーカ１２Ｂの交点１２Ｂｃの数である。この数式は、透明板２ありの場合のピクセル位置ｕ2'からの変換結果と透明板２無しの場合のピクセル位置ｕ2との誤差を最小化するパラメータを算出するという意味になる。これにはレーベンバーグマーカート法などの最適化手法を用いる。
これで、透明板２のパラメータである厚さｄ、角度θg、屈折率ｎが算出される。 Here, N2 is the number of intersections 12Bc of the planar marker 12B. This formula means that a parameter for minimizing an error between the conversion result from the pixel position u 2 ′ with the transparent plate 2 and the pixel position u 2 without the transparent plate 2 is calculated. For this, an optimization method such as the Levenberg-Marquardt method is used.
Thus, the thickness d, the angle θ g , and the refractive index n, which are parameters of the transparent plate 2, are calculated.

その後、実施例１と同様にキャリブレーション処理部１３ｆにより、計測されるｕ2'から透明板２がない場合と同等のピクセル位置ｕ2を算出する（ステップＳ７）。算出にはＺ2'という撮影対象の距離（エリアカメラ１１Ｂから平面マーカ１２ＢまでのＺ軸方向の距離）が必要になるが、実施例１と同様に、これには撮像するワーキングディスタンスを固定することで解決するか、別の手段で対象物までの距離Ｚ2'を計測する。 Thereafter, the calibration processing unit 13f in the same manner as in Example 1, to calculate the case where there is no transparent plate 2 from u 2 'equivalent pixel position u 2 is measured (step S7). The calculation requires the distance of the imaging target Z 2 ′ (the distance in the Z-axis direction from the area camera 11B to the plane marker 12B). As in the first embodiment, the working distance to be imaged is fixed. Or the distance Z 2 ′ to the object is measured by another means.

このように構成される本実施例に係る画像のキャリブレーション装置及びキャリブレーション方法によれば、以下の作用効果が得られる。すなわち、
１）透明板２のパラメータを画像データとマーカ座標系座標データの真値のみで算出することが可能である。
２）透明板２や平面マーカ１２Ｂの設置位置の制約が少ないキャリブレーション手法である。
３）透明板パラメータの算出と平面マーカ１２Ｂのカメラ座標系座標の算出が可能である。
４）エリアカメラ１１Ｂでの透明板キャリブレーションが可能である。 According to the image calibration device and the calibration method according to the present embodiment configured as described above, the following operational effects can be obtained. That is,
1) The parameters of the transparent plate 2 can be calculated using only the true values of the image data and the coordinate data of the marker coordinate system.
2) This is a calibration method with less restrictions on the installation positions of the transparent plate 2 and the planar marker 12B.
3) It is possible to calculate the transparent plate parameters and the coordinates of the plane marker 12B in the camera coordinate system.
4) Transparent plate calibration with the area camera 11B is possible.

なお、本実施例では、平面マーカ１２Ｂを、矩形状の白色領域１２Ｂａと黒色領域１２Ｂｂとをチェスボード型に配置したものとして説明したが、平面マーカ１２Ｂの配色は上述した実施例に限定されるものではなく、淡色の領域と濃色の領域とをチェスボード型に配置するなど、二つの領域の境界が明確に判断できる配色であればよい。   In the present embodiment, the plane marker 12B is described as a rectangular white area 12Ba and a black area 12Bb arranged in a chessboard shape. However, the color arrangement of the plane marker 12B is limited to the above-described embodiment. Instead, any color scheme can be used as long as the boundary between the two areas can be clearly determined, such as arranging a light-colored area and a dark-colored area in a chessboard shape.

本発明は、透明板を介してカメラで撮影した画像を、透明板がない状態と同等の画像に校正する画像のキャリブレーション装置及びキャリブレーション方法に適用することができる。   INDUSTRIAL APPLICABILITY The present invention can be applied to an image calibration apparatus and an image calibration method for calibrating an image captured by a camera via a transparent plate into an image equivalent to a state without the transparent plate.

１ ケース
２ 透明板
１１Ａ ラインセンサカメラ
１１Ｂ エリアカメラ
１２Ａ 直線マーカ
１２Ａａ 白帯（白色領域）
１２Ａｂ 黒帯（黒色領域）
１２Ａｃ 切り替え地点
１２Ｂ 平面マーカ
１２Ｂａ 白色領域
１２Ｂｂ 黒色領域
１２Ｂｃ 交点
１３ 画像処理装置
１３ａ 画像入力部
１３ｂ 計測座標算出部
１３ｃ 外部パラメータ算出部
１３ｄ カメラ座標系変換部
１３ｅ 透明板パラメータ算出部
１３ｆ キャリブレーション処理部
１３ｇ 記憶部 1 Case 2 Transparent plate 11A Line sensor camera 11B Area camera 12A Linear marker 12Aa White band (white area)
12Ab black belt (black area)
12Ac Switching point 12B Planar marker 12Ba White area 12Bb Black area 12Bc Intersection 13 Image processing unit 13a Image input unit 13b Measurement coordinate calculation unit 13c External parameter calculation unit 13d Camera coordinate system conversion unit 13e Transparent plate parameter calculation unit 13f Calibration processing unit 13g Memory

Claims (6)

透明板を透過して撮影を行うカメラにより取得した画像の校正を行うキャリブレーション装置であって、
大きさが既知である白色領域及び黒色領域が交互に配されたマーカと、
前記カメラによって撮影した画像を解析する画像処理装置と
を備え、
前記画像処理装置は、
前記カメラにより前記透明板を介さずに撮影した前記マーカの画像及び前記カメラにより前記透明板を介して撮影した前記マーカの画像を入力する画像入力部と、
前記透明板を介さずに撮影した前記マーカの画像及び前記透明板を介して撮影した前記マーカの画像から、それぞれ前記マーカの白色領域と黒色領域の境界の画像上の座標を算出する計測座標算出部と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標、予め既知である内部パラメータ、及び予め既知である前記白色領域と前記黒色領域の境界の実座標に基づいて前記カメラと前記マーカとの位置姿勢関係を表す外部パラメータを算出する外部パラメータ算出部と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記外部パラメータを用いてカメラ座標系の座標に変換するカメラ座標系変換部と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標が、前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標に近似するように、前記内部パラメータ及び前記透明板を介さずに撮影した前記マーカの画像から得られた前記マーカの白色領域と黒色領域の境界の前記カメラ座標系の座標を用いて前記透明板の前記カメラに対する角度、厚さ及び屈折率を透明板のパラメータとして算出する透明板パラメータ算出部と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記透明板のパラメータに基づいて前記透明板を介さずに撮影した状態と同等となるように校正するキャリブレーション処理部と
を備えることを特徴とするキャリブレーション装置。 A calibration device for calibrating an image acquired by a camera that shoots through a transparent plate,
A marker in which white areas and black areas whose sizes are known are alternately arranged,
An image processing apparatus for analyzing an image captured by the camera,
The image processing device,
An image input unit for inputting the image of the marker photographed without the transparent plate by the camera and the image of the marker photographed through the transparent plate by the camera,
From the image of the marker taken without the transparent plate and the image of the marker taken through the transparent plate, measurement coordinate calculation for calculating the coordinates on the image of the boundary between the white region and the black region of the marker, respectively Department and
Coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken without passing through the transparent plate, internal parameters that are known in advance, and the white area and the black area that are known in advance An external parameter calculation unit that calculates an external parameter representing a position and orientation relationship between the camera and the marker based on the actual coordinates of the boundary of
Camera coordinate system conversion for converting the coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken without passing through the transparent plate into the coordinates of the camera coordinate system using the external parameters Department and
The coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken through the transparent plate are the white areas calculated from the image of the marker taken without passing through the transparent plate. said to approximate the coordinates on the boundary of the image of the black area, the boundary of the internal parameters and white areas and black areas of the marker obtained from an image of the marker taken without going through the transparent plate and A transparent plate parameter calculation unit that calculates the angle of the transparent plate with respect to the camera, the thickness and the refractive index as parameters of the transparent plate using the coordinates of a camera coordinate system,
A state where the coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken through the transparent plate are taken without passing through the transparent plate based on the parameters of the transparent plate. A calibration apparatus comprising: a calibration processing unit that performs calibration so as to be equivalent. 前記マーカが、前記白色領域と前記黒色領域とが一直線上に交互に配されてなる直線マーカであり、
前記カメラが、一ラインの撮影を行うラインセンサカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記黒色領域の切り替え地点である
ことを特徴とする請求項１記載のキャリブレーション装置。 The marker is a linear marker in which the white area and the black area are alternately arranged on a straight line,
The camera is a line sensor camera that captures one line,
The calibration apparatus according to claim 1, wherein a boundary between the white area and the black area is a switching point between the white area and the black area. 前記マーカが、前記白色領域と前記黒色領域とがチェスボード型に配されてなる平面マーカであり、
前記カメラが、二次元の撮影を行うエリアカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記白色領域との交点または前記黒色領域と前記黒色領域との交点である
ことを特徴とする請求項１記載のキャリブレーション装置。 The marker is a planar marker in which the white area and the black area are arranged in a chessboard shape,
The camera is an area camera that performs two-dimensional imaging,
The calibration device according to claim 1, wherein a boundary between the white region and the black region is an intersection between the white region and the white region or an intersection between the black region and the black region. 透明板を透過して撮影を行うカメラにより取得した画像の校正を行うキャリブレーション方法であって、
前記透明板を介さずに前記カメラによりマーカを撮影する第一の工程と、
前記マーカと前記カメラとの間に前記透明板を配置した状態で、前記透明板を介して撮像手段により前記マーカを撮影する第二の工程と、
前記透明板を介さずに撮影した前記マーカの画像及び前記透明板を介して撮影した前記マーカの画像から、それぞれ前記マーカの白色領域と黒色領域との境界の画像上の座標を算出する第三の工程と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標、予め既知である内部パラメータ、及び予め既知である前記白色領域と前記黒色領域の境界の実座標に基づいて前記カメラと前記マーカとの位置姿勢関係を表す外部パラメータを算出する第四の工程と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記外部パラメータを用いてカメラ座標系の座標に変換する第五の工程と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標が、前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標に近似するように、前記内部パラメータ及び前記透明板を介さずに撮影した前記マーカの画像から得られた前記マーカの白色領域と黒色領域の境界の前記カメラ座標系の座標を用いて前記透明板の前記カメラに対する角度、厚さ及び屈折率を透明板のパラメータとして算出する第六の工程と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記透明板のパラメータに基づいて前記透明板を介さずに撮影した状態と同等となるように校正する第七の工程と
を備えることを特徴とするキャリブレーション方法。 A calibration method for calibrating an image acquired by a camera that shoots through a transparent plate,
A first step of photographing a marker by the camera without passing through the transparent plate,
In a state where the transparent plate is arranged between the marker and the camera, a second step of photographing the marker by imaging means via the transparent plate,
Third calculating the coordinates on the image of the boundary between the white region and the black region of the marker from the image of the marker taken without passing through the transparent plate and the image of the marker taken through the transparent plate, respectively; Process and
Coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken without passing through the transparent plate, internal parameters that are known in advance, and the white area and the black area that are known in advance A fourth step of calculating external parameters representing the position and orientation relationship between the camera and the marker based on the actual coordinates of the boundary of,
A fifth step of converting the coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken without passing through the transparent plate into coordinates in a camera coordinate system using the external parameters When,
The coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken through the transparent plate are the white areas calculated from the image of the marker taken without passing through the transparent plate. said to approximate the coordinates on the boundary of the image of the black area, the boundary of the internal parameters and white areas and black areas of the marker obtained from an image of the marker taken without going through the transparent plate and A sixth step of calculating the angle of the transparent plate with respect to the camera, the thickness and the refractive index as parameters of the transparent plate using the coordinates of a camera coordinate system,
A state where the coordinates on the image of the boundary between the white area and the black area calculated from the image of the marker taken through the transparent plate are taken without passing through the transparent plate based on the parameters of the transparent plate. And a seventh step of performing calibration so as to be equivalent. 前記マーカが、前記白色領域と前記黒色領域とが一直線上に交互に配されてなる直線マーカであり、
前記カメラが、一ラインの撮影を行うラインセンサカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記黒色領域の切り替え地点である
ことを特徴とする請求項４記載のキャリブレーション方法。 The marker is a linear marker in which the white area and the black area are alternately arranged on a straight line,
The camera is a line sensor camera that captures one line,
The calibration method according to claim 4, wherein a boundary between the white area and the black area is a switching point between the white area and the black area. 前記マーカが、前記白色領域と前記黒色領域とがチェスボード型に配されてなる平面マーカであり、
前記カメラが、二次元の撮影を行うエリアカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記白色領域との交点または前記黒色領域と前記黒色領域との交点である
ことを特徴とする請求項４記載のキャリブレーション方法。
The marker is a planar marker in which the white area and the black area are arranged in a chessboard shape,
The camera is an area camera that performs two-dimensional imaging,
5. The calibration method according to claim 4, wherein a boundary between the white region and the black region is an intersection between the white region and the white region or an intersection between the black region and the black region.
JP2015231259A 2015-11-27 2015-11-27 Image calibration apparatus and calibration method Active JP6645140B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015231259A JP6645140B2 (en) 2015-11-27 2015-11-27 Image calibration apparatus and calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015231259A JP6645140B2 (en) 2015-11-27 2015-11-27 Image calibration apparatus and calibration method

Publications (2)

Publication Number Publication Date
JP2017098859A JP2017098859A (en) 2017-06-01
JP6645140B2 true JP6645140B2 (en) 2020-02-12

Family

ID=58804048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015231259A Active JP6645140B2 (en) 2015-11-27 2015-11-27 Image calibration apparatus and calibration method

Country Status (1)

Country Link
JP (1) JP6645140B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6462749B2 (en) * 2017-03-23 2019-01-30 株式会社東芝 Measuring apparatus, program, and measuring method
JP7044016B2 (en) * 2018-09-05 2022-03-30 株式会社明電舎 Line sensor camera calibration device and method
CN109682309B (en) * 2018-12-21 2023-11-14 北京安视中电科技有限公司 Intelligent measuring device and method for black crystal panel parameters based on machine vision
CN111862082A (en) * 2020-07-31 2020-10-30 成都盛锴科技有限公司 Train brake pad thickness rechecking method and system thereof
JP7335860B2 (en) * 2020-11-25 2023-08-30 富士通フロンテック株式会社 Measuring method, information processing device and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050107A (en) * 2001-08-07 2003-02-21 Matsushita Electric Ind Co Ltd Camera calibration device
JP4872890B2 (en) * 2007-11-21 2012-02-08 スズキ株式会社 Image distortion correction method
JP6427900B2 (en) * 2014-03-07 2018-11-28 株式会社リコー Calibration method, calibration system, program, and moving object

Also Published As

Publication number Publication date
JP2017098859A (en) 2017-06-01

Similar Documents

Publication Publication Date Title
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
JP6645140B2 (en) Image calibration apparatus and calibration method
CN101825431B (en) Reference image techniques for three-dimensional sensing
Kimura et al. Projector calibration using arbitrary planes and calibrated camera
JP6363863B2 (en) Information processing apparatus and information processing method
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
JP3728900B2 (en) Calibration method and apparatus, and calibration data generation method
JP6596433B2 (en) Structured optical matching of a set of curves from two cameras
EP1580523A1 (en) Three-dimensional shape measuring method and its device
JP5070435B1 (en) Three-dimensional relative coordinate measuring apparatus and method
CN102788559A (en) Optical vision measuring system with wide-field structure and measuring method thereof
JP2012058076A (en) Three-dimensional measurement device and three-dimensional measurement method
US20080123939A1 (en) Method of correcting a volume imaging equation for more accurate determination of a velocity field of particles in a volume
JP2011506914A (en) System and method for multi-frame surface measurement of object shape
JP6696230B2 (en) Stereo calibration device and stereo calibration method for line sensor camera
ES2894935T3 (en) Three-dimensional distance measuring apparatus and method therefor
JP3696336B2 (en) How to calibrate the camera
JP4837538B2 (en) End position measuring method and dimension measuring method
Chen et al. Finding optimal focusing distance and edge blur distribution for weakly calibrated 3-D vision
US20240087167A1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
JP2008275366A (en) Stereoscopic 3-d measurement system
JP5648159B2 (en) Three-dimensional relative coordinate measuring apparatus and method
Yang et al. Effect of field of view on the accuracy of camera calibration
JP2010243273A (en) Measuring method and measuring apparatus for object having cylindrical shape
US20230070281A1 (en) Methods and systems of generating camera models for camera calibration

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181026

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190524

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190624

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191223

R150 Certificate of patent or registration of utility model

Ref document number: 6645140

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150