JP7290454B2

JP7290454B2 - Depth calculation system

Info

Publication number: JP7290454B2
Application number: JP2019078316A
Authority: JP
Inventors: 伴俊浦田
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2019-04-17
Filing date: 2019-04-17
Publication date: 2023-06-13
Anticipated expiration: 2039-04-17
Also published as: JP2020177381A

Description

本発明は、二次元の画像から画像中の各座標に映り込んだ実空間上の位置の深度（depth／奥行き方向の距離）を推定する技術に関するものである。 The present invention relates to a technique for estimating the depth (depth/distance in the depth direction) of a position on real space reflected at each coordinate in an image from a two-dimensional image.

二次元の画像から画像中の各座標に映り込んだ実空間上の位置の深度を推定する技術としては、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたＣＮＮ（Convolutional Neural Network）を用いて、画像中の各座標に映り込んだ実空間上の位置の深度を推定する技術が知られている（たとえば、特許文献１、非特許文献１） As a technique for estimating the depth of the position on the real space reflected at each coordinate in the image from the two-dimensional image, the actual depth of the image and the position on the real space reflected at each coordinate in the image There is known a technique for estimating the depth of a position in real space reflected at each coordinate in an image using a CNN (Convolutional Neural Network) that has been previously trained as teacher data (see, for example, Patent Document 1, non-patent document 1)

特開２０１９-１６２７５号公報JP 2019-16275 A

I. Laina, C. Rupprecht, V. Belagiannis, F. Tombari, and N. Navab. "Deeper depth prediction with fully convolutional residual networks." In International Conference on 3D Vision, pages 239248, 2016.I. Laina, C. Rupprecht, V. Belagiannis, F. Tombari, and N. Navab. "Deeper depth prediction with fully convolutional residual networks." In International Conference on 3D Vision, pages 239248, 2016.

上述した学習済みのＣＮＮを用いて画像中の各座標に映り込んだ実空間上の位置の深度を推定する場合、画像を撮影するカメラのズームの有無やピッチ角等が学習時の状況と異なると、推定される深度のスケールがずれる形態の、推定精度の低化が生じてしまう問題があった。 When estimating the depth of the position on the real space reflected at each coordinate in the image using the above-mentioned trained CNN, the presence or absence of zooming of the camera that shoots the image, the pitch angle, etc. are different from the situation at the time of learning As a result, there is a problem that the estimated depth scale shifts, resulting in a decrease in estimation accuracy.

そこで、本発明は、二次元の画像から推定された画像中の各座標に映り込んだ実空間上の位置の深度を、適正な深度を表すように補正することを課題とする Therefore, an object of the present invention is to correct the depth of the position in the real space reflected at each coordinate in the image estimated from the two-dimensional image so as to represent the appropriate depth.

前記課題達成のために、本発明は、カメラで撮影した画像から、画像中の各座標に映り込んだ実空間上の位置の深度を算出する深度算出システムに、前記カメラが撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定する深度推定手段と、前記カメラが撮影した画像中の、形状、大きさが既知の所定の被撮影体の像を識別し、識別した像の画像中の座標から当該被撮影体までの深度を算出し、当該識別した像の画像中の座標の深度として前記深度推定手段が推定した深度を、算出した深度に補正する係数を補正係数として算定する補正係数算定手段と、前記補正係数算定手段が算定した補正係数を用いて、前記深度推定手段が推定した深度を補正する深度補正手段とを備えたものである。 In order to achieve the above object, the present invention provides a depth calculation system that calculates the depth of a position on the real space reflected at each coordinate in the image from the image taken by the camera. Depth estimating means for estimating the depth of the position on the real space reflected at each coordinate, and identifying and identifying the image of the predetermined object with known shape and size in the image captured by the camera. a correction coefficient for calculating the depth from the coordinates in the image to the object to be photographed, and correcting the depth estimated by the depth estimating means as the depth of the coordinates in the image for the identified image to the calculated depth and depth correction means for correcting the depth estimated by the depth estimation means using the correction coefficient calculated by the correction coefficient calculation means.

ここで、このような深度算出システムは、前記深度推定手段は、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたＣＮＮ（Convolutional Neural Network）によって、前記カメラが撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定するものであってよい。 Here, in such a depth calculation system, the depth estimating means is a CNN that has undergone learning in advance using actual depths of images and positions in real space reflected at respective coordinates in the images as training data. (Convolutional Neural Network) may estimate the depth of the position on the real space reflected at each coordinate in the image captured by the camera.

また、このような深度算出システムは、前記補正係数算定手段において前記カメラが撮影した画像中の前記被撮影体の像上の、前記被撮影体上の直線上に並ぶ間隔が既知の３点が映り込んだ３座標を検出し、検出した３座標から、前記被撮影体上の３点の前記カメラに対する角度を求め、求めた前記被撮影体上の３点の角度と、当該３点の前記間隔と、当該３点までの深度との幾何的との幾何的な関係に従って、当該３点までの深度を算出し、前記３座標の各々について、当該座標の深度として前記深度推定手段が推定した深度を、算出した当該座標に対応する点の深度に補正する係数を求め、求めた係数の平均を前記補正係数として算定するように構成してもよい。 Further, in such a depth calculation system, in the correction coefficient calculation means, there are three points on the image of the subject in the image captured by the camera, which are aligned on a straight line on the subject with known intervals. Detecting the three coordinates reflected, obtaining the angles of the three points on the object to be photographed with respect to the camera from the detected three coordinates, and obtaining the angles of the three points on the object to be photographed and the angles of the three points Depths up to the three points are calculated according to the geometric relationship between the distance and the depth up to the three points, and the depth estimating means estimates the depth of each of the three coordinates as the depth of the coordinates. A coefficient for correcting the depth to the depth of the point corresponding to the calculated coordinates may be calculated, and an average of the calculated coefficients may be calculated as the correction coefficient.

また、このような深度算出システムを、自動車に搭載されたシステムとし、前記カメラを、少なくとも前記自動車の前方を撮影するものしてもよい。
また、この場合には、前記被撮影体を、マンホールの蓋としてもよい。
また、この場合には、深度算出システムに、自動車に関わる状況を検出する状況検出手段と、前記補正係数算定手段が算定した補正係数を、前記深度補正手段に設定すると共に、当該算定された補正係数を前記状況検出手段が検出している状況に対応づけて記憶し、前記状況検出手段が検出している状況が変化したときに、変化後の状況に対応づけて記憶している補正係数を深度補正手段に設定する補正係数設定手段を設け、前記深度補正手段において、前記補正係数設定手段によって設定された補正係数を用いて、前記深度推定手段が推定した深度を補正するようにしてもよい。 Further, such a depth calculation system may be a system mounted on an automobile, and the camera may photograph at least the front of the automobile.
In this case, the object to be photographed may be a manhole cover.
Further, in this case, in the depth calculation system, the situation detection means for detecting the situation related to the vehicle and the correction coefficient calculated by the correction coefficient calculation means are set in the depth correction means, and the calculated correction is set to the depth correction means. The coefficient is stored in association with the situation detected by the situation detection means, and when the situation detected by the situation detection means changes, the correction coefficient stored in association with the situation after the change is stored. Correction coefficient setting means for setting the depth correction means may be provided, and the depth estimated by the depth estimation means may be corrected using the correction coefficient set by the correction coefficient setting means in the depth correction means. .

また、前記深度推定手段を、ＣＮＮを用いて深度を推定するものとした深度算出システムには、前記カメラで撮影した画像と、当該画像に対して前記深度推定手段が推定した深度を深度補正手段が補正した深度とを教師データとして、前記深度推定手段が用いる前記ＣＮＮを学習させる学習処理手段を設けるようにしてもよい。 Further, in the depth calculation system in which the depth estimation means estimates the depth using CNN, the image captured by the camera and the depth estimated by the depth estimation means for the image are combined into the depth correction means may be provided with learning processing means for learning the CNN used by the depth estimation means using the corrected depth as teacher data.

以上のような深度算出システムによれば、画像を撮影するカメラのズームの有無やピッチ角等の影響によって、深度推定手段によって推定される深度のスケールがずれている場合に、前記カメラが撮影した形状、大きさが既知の所定の被撮影体の像から算定した深度と、推定された深度との関係より、スケールのずれをキャンセルする補正係数を設定し、推定された深度を適正な深度を表すように補正することができる。 According to the depth calculation system as described above, when the scale of the depth estimated by the depth estimating means is deviated due to the presence or absence of the zoom of the camera that captures the image, the pitch angle, etc., the camera captures the image. Based on the relationship between the depth calculated from the image of a given object whose shape and size are known and the estimated depth, a correction coefficient that cancels the scale shift is set, and the estimated depth is adjusted to the appropriate depth. can be corrected as shown.

以上のように、本発明によれば、二次元の画像から推定された画像中の各座標に映り込んだ実空間上の位置の深度を、適正な深度を表すように補正することができる。 As described above, according to the present invention, it is possible to correct the depth of the position on the real space reflected at each coordinate in the image estimated from the two-dimensional image so as to represent the appropriate depth.

本発明の実施形態に係る車載システムの構成を示すブロック図である。1 is a block diagram showing the configuration of an in-vehicle system according to an embodiment of the present invention; FIG. 本発明の実施形態に係るカメラの配置を示す図である。It is a figure which shows arrangement|positioning of the camera based on embodiment of this invention. 本発明の実施形態に係る補正係数算出の手順を示す図である。It is a figure which shows the procedure of correction coefficient calculation which concerns on embodiment of this invention. 本発明の実施形態に係る補正係数算出の手順を示す図である。It is a figure which shows the procedure of correction coefficient calculation which concerns on embodiment of this invention. 本発明の実施形態に係る深度計測システムの他の構成例を示す図である。It is a figure which shows the other structural example of the depth measurement system which concerns on embodiment of this invention.

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る車載システムの構成を示す。
車載システムは、自動車に搭載されるシステムであり、図示するように、深度計測システム１と、深度利用システム２とを備えている。
また、深度計測システム１は、カメラ１１と、ＣＮＮ深度推定部１２と、深度補正部１３と、校正処理部１４と備えている。そして、校正処理部１４は、校正用被撮影体識別部１４１と校正係数算出部１４２を備えている。 Embodiments of the present invention will be described below.
FIG. 1 shows the configuration of an in-vehicle system according to this embodiment.
The in-vehicle system is a system installed in an automobile, and includes a depth measurement system 1 and a depth utilization system 2 as illustrated.
The depth measurement system 1 also includes a camera 11 , a CNN depth estimation unit 12 , a depth correction unit 13 and a calibration processing unit 14 . The calibration processing unit 14 includes a calibration subject identification unit 141 and a calibration coefficient calculation unit 142 .

カメラ１１は、たとえば、図２ａ、ｂのように自動車の前端に配置されて、自動車の前方の路面を含む、自動車の前方のようすを撮影する。
ＣＮＮ深度推定部１２は、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたＣＮＮ（Convolutional Neural Network）であり、カメラ１１が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定する。 The camera 11 is arranged, for example, at the front end of the automobile as shown in FIGS. 2a and 2b, and photographs the front of the automobile, including the road surface in front of the automobile.
The CNN depth estimating unit 12 is a CNN (Convolutional Neural Network) in which learning is performed in advance using an image and the actual depth of the position on the real space reflected at each coordinate in the image as teacher data, and the camera 11 estimates the depth of the position on the real space reflected at each coordinate in the captured image.

深度補正部１３は、ＣＮＮ深度推定部１２が推定したカメラ１１が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を、設定された補正係数を乗じて、カメラ１１が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を補正する。 The depth correction unit 13 multiplies the depth of the position on the real space reflected at each coordinate in the image captured by the camera 11 estimated by the CNN depth estimation unit 12 by the set correction coefficient, Correct the depth of the position on the real space reflected at each coordinate in the image.

校正処理部１４は、後述する校正処理動作を行って、補正係数を深度補正部１３に設定する。
そして、深度利用システム２は、深度計測システム１から出力される深度補正部１３が補正したカメラ１１が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を利用した所定の処理を行う。ここで、深度利用システム２が行う深度を利用した処理は、たとえば、当該深度から、自車前方の障害物を検出して障害物の回避を支援する処理や、カメラ１１が撮影した画像中の各座標に映り込んだ実空間上の位置の深度から自車前方の他車や構造物を識別して、自動車の自動運転を行う処理等である。 The calibration processing unit 14 performs a calibration processing operation, which will be described later, and sets a correction coefficient in the depth correction unit 13 .
Then, the depth utilization system 2 performs predetermined processing using the depth of the position on the real space reflected at each coordinate in the image captured by the camera 11 corrected by the depth correction unit 13 output from the depth measurement system 1. I do. Here, the processing using the depth performed by the depth utilization system 2 includes, for example, processing for detecting an obstacle in front of the vehicle from the depth and supporting avoidance of the obstacle, processing for detecting obstacles in the image captured by the camera 11, and It is a process for automatically driving a vehicle by identifying other vehicles and structures in front of the vehicle from the depth of the position in the real space reflected in each coordinate.

以下、前述した、校正処理部１４が行う校正処理動作について説明する。
まず、校正処理動作において、校正処理部１４の校正用被撮影体識別部１４１は、カメラ１１が撮影した画像を画像認識し、画像中の校正用被撮影体の像を識別する。
校正用被撮影体は、形状と大きさが既知の物体やパターンであり、校正用被撮影体の画像認識に用いる校正用被撮影体の情報は、予め、校正用被撮影体識別部１４１に設定されている。
ここで、本実施形態では、広く普及している半径３０ｃｍの円形のマンホールの蓋を、校正用被撮影体として用いるものとする。
この場合、校正用被撮影体識別部１４１は、図３ａのように自動車の前方の路面にマンホールが存在した場合に、図３ｂに示すようにカメラ１１が撮影した画像の水平方向（左右方向）の中央に現れるマンホールの蓋３の像を検出する。
ここで、自動車の前方を撮影するカメラ１１は、撮影する画像の水平方向（左右方向）が実空間の水平方向と一致するように配置されており、マンホールの蓋は路面に水平に配置されている。
したがって、図３ｃに示すマンホールの蓋３の中心Ｐａ、マンホールの蓋３の自動車の後ろ方向側の端部Ｐｂ、マンホールの蓋３の自動車の前方向側の端部Ｐｃは、カメラの光軸を鉛直方向に路面に投影した、自動車前後方向にのびる水平な線である計測線上にあり、中心Ｐａ、端部Ｐｂ、端部Ｐｃは、画像の水平画角0°位置の垂直線（画像の中心を通る上下方向の線）上に表れる。 The calibration processing operation performed by the calibration processing unit 14 described above will be described below.
First, in the calibration processing operation, the calibration subject identification unit 141 of the calibration processing unit 14 recognizes the image captured by the camera 11 and identifies the image of the calibration subject in the image.
The calibration object to be imaged is an object or pattern whose shape and size are known. is set.
Here, in the present embodiment, a circular manhole cover with a radius of 30 cm, which is widely used, is used as an object to be imaged for calibration.
In this case, when there is a manhole on the road surface in front of the automobile as shown in FIG. The image of the manhole cover 3 appearing in the center of is detected.
Here, the camera 11 for photographing the front of the automobile is arranged so that the horizontal direction (horizontal direction) of the photographed image coincides with the horizontal direction of the real space, and the manhole cover is arranged horizontally on the road surface. there is
Therefore, the center Pa of the manhole cover 3, the rear end Pb of the manhole cover 3, and the front end Pc of the manhole cover 3 shown in FIG. It is on the measurement line, which is a horizontal line extending in the front-rear direction of the vehicle, projected vertically onto the road surface. vertical line passing through)).

そして、校正用被撮影体識別部１４１は、マンホールの蓋３の中心Ｐａが表れる画像中の位置までの画像下端からの距離Ｄａ、図３ｃに示すマンホールの蓋３の自動車の後ろ方向側の端部Ｐｂが表れる画像中の位置までの画像下端からの距離Ｄｂ、図３ｃに示すマンホールの蓋３の自動車の前方向側の端部Ｐｃが表れる画像中の位置までの画像下端からの距離Ｄｃを算定する。そして、算定した距離Ｄａ、距離Ｄｂ、距離Ｄｃと、検出したマンホールの蓋３の中心Ｐａが表れる画像中の位置、マンホールの蓋３の自動車後ろ方向側の端部Ｐｂが表れる画像中の位置、マンホールの蓋３の自動車前方向側の端部Ｐｃが表れる画像中の位置を校正係数算出部１４２に通知する。 Then, the calibration subject identification unit 141 determines the distance Da from the lower end of the image to the position in the image where the center Pa of the manhole cover 3 appears, and the rear end of the manhole cover 3 shown in FIG. The distance Db from the lower end of the image to the position in the image where the portion Pb appears, and the distance Dc from the lower end of the image to the position in the image where the end Pc of the manhole cover 3 on the front side of the automobile shown in FIG. Calculate. Then, the calculated distance Da, distance Db, and distance Dc, the position in the image where the center Pa of the detected manhole cover 3 appears, the position in the image where the end Pb of the manhole cover 3 on the rear side of the automobile appears, The calibration coefficient calculator 142 is notified of the position in the image where the end Pc of the manhole cover 3 on the vehicle front side appears.

次に、校正処理動作において、校正係数算出部１４２は、校正用被撮影体識別部１４１が算定した、距離Ｄａ、距離Ｄｂ、距離Ｄｃから、図４に示すカメラ１１の位置ｏとマンホールの蓋３の中心Ｐａを結ぶ線分Ａと、カメラ１１の位置ｏとマンホールの蓋３の自動車後ろ方向側の端部Ｐｂを結ぶ線分Ｂとの角度θ１と、線分ａとマンホールの蓋３の自動車の前向側の端部Ｐｃを結ぶ線分Ｃとの角度θ２とを算定する。ここで、距離Ｄａ、距離Ｄｂ、距離Ｄｃが求まれば、カメラ１１の撮影画像のサイズや画角等の特性に従って、マンホールの蓋３の中心Ｐａ、マンホールの蓋３の自動車の後ろ方向側の端部Ｐｂ、マンホールの蓋３の自動車の前方向側の端部Ｐｃのカメラ１１に対する角度は一義的に定まる。 Next, in the calibration processing operation, the calibration coefficient calculation unit 142 calculates the position o of the camera 11 and the manhole cover shown in FIG. 3 and the line segment B connecting the position o of the camera 11 and the end Pb of the manhole cover 3 on the rear side of the automobile, and the angle θ1 between the line segment a and the manhole cover 3. An angle θ2 with a line segment C connecting the front end Pc of the automobile is calculated. Here, if the distances Da, Db, and Dc are obtained, the center Pa of the manhole cover 3 and the position of the manhole cover 3 on the rear side of the automobile are determined according to the characteristics such as the size and angle of view of the image captured by the camera 11. The angle of the end Pb and the end Pc of the manhole cover 3 on the front side of the automobile with respect to the camera 11 is uniquely determined.

次に、校正係数算出部１４２は、線分Ａの長さａ、線分Ｂの長さｂ、線分Ｃの長さｃを以下のように算定する。
すなわち、ｒが校正用被撮影体識とした円形のマンホールの蓋３の半径を表し、ａが線分Ａの長さを表し、ｂが線分Ｂの長さを表し、ｃが線分Ｃの長さを表すものとして、余弦定理から、
r²=a²+b²-2ab×cosθ1...式１
r²=a²+c²-2ac×cosθ2...式２
(2r)²=b²+ｃ²-2bc×cos(θ1+θ2)...式３
となり、
また、図４に示すように線分Ａと、Ｐｃ、Ｐａ、Ｐｂを通る直線との角度をθ３とすれば、正弦定理から、
r/sinθ1=b/sinθ3...式４
r/sinθ2=c/sin(180-θ3)=c/sinθ3...式５
となり、cosθ1=A1、cosθ2=A2、cos(θ1+θ2)=A3、r/sinθ1=A4、r/sinθ2=A5とおくと、
r²=a²+b²-2ab×A1...式１’
r²=a²+c²-2ac×A2...式２’
(2r)²=b²+ｃ²-2bc×A3...式３’
A4=b/sinθ3...式４’
A5=c/sinθ3...式５’
となり、式４’と式５’から、
c=b×A5/A4となるので、A5/A4をA6とおくと、
c=b×A6...式６
となる。 Next, the calibration coefficient calculator 142 calculates the length a of the line segment A, the length b of the line segment B, and the length c of the line segment C as follows.
That is, r represents the radius of the circular manhole cover 3 used as the body to be imaged for calibration, a represents the length of the line segment A, b represents the length of the line segment B, and c represents the length of the line segment C. From the law of cosines, we can express the length of
^r2 = ^a2 + ^b2-2ab ×cosθ1...equation 1
^r2 = ^a2 + ^c2-2ac ×cosθ2...equation 2
(2r) ² =b ² +c ² -2bc×cos(θ1+θ2)...equation 3
becomes,
Also, as shown in FIG. 4, if the angle between the line segment A and the straight line passing through Pc, Pa, and Pb is θ3, from the sine theorem,
r/sinθ1=b/sinθ3...equation 4
r/sinθ2=c/sin(180-θ3)=c/sinθ3...Formula 5
Assuming cosθ1=A1, cosθ2=A2, cos(θ1+θ2)=A3, r/sinθ1=A4, r/sinθ2=A5,
^r2 = ^a2 + ^b2-2ab ×A1...equation 1'
r ² =a ² +c ² -2ac×A2...Formula 2'
(2r) ² =b ² +c ² -2bc×A3...Formula 3'
A4=b/sinθ3...Formula 4'
A5=c/sinθ3...Formula 5'
and from equations 4' and 5',
Since c=b×A5/A4, if A5/A4 is replaced by A6,
c=b×A6...Formula 6
becomes.

そして、式６と式３’から、
4r²=b²+(b×A6)²-2b(b×A6)×A3となるので、
4r²=b²(1+A6²-2×A6×A3)
b²=4r²/(1+A6²-2×A6×A3)
b={4r²/(1+A6²-2×A6×A3)}^1/2....式７
となる。 Then, from Equation 6 and Equation 3',
4r ² =b ² +(b×A6) ² -2b(b×A6)×A3, so
^4r2 = ^b2 (1+ ^A62-2 ×A6×A3)
^b2 = ^4r2 /(1+ ^A62-2 ×A6×A3)
b={4r ² /(1+A6 ² -2×A6×A3)} ^1/2 ....equation 7
becomes.

ここで、rの値は定数であり、θ1、θ2の値は確定しているので、A1からA6の値も一義的に求めることができる。
そこで、校正係数算出部１４２は、式７に従ってｂの値を求める。
また、校正係数算出部１４２は、求めたｂと式６より、c=b×A6によりｃの値を求める。
また、式１’より、
a²-(2b×A1)a+(b²-r²)=0...式８
となるので、校正係数算出部１４２は、求めたｂを用いて、
式８を、aについての2次方程式として解を算出し、ａの値を求める。 Here, since the value of r is a constant and the values of θ1 and θ2 are fixed, the values of A1 to A6 can also be determined uniquely.
Therefore, the calibration coefficient calculator 142 obtains the value of b according to Equation (7).
Further, the calibration coefficient calculator 142 obtains the value of c by c=b×A6 from the obtained b and Equation (6).
Also, from formula 1',
^a2- (2b×A1)a+( ^b2 - ^r2 )=0...equation 8
Therefore, the calibration coefficient calculation unit 142 uses the obtained b to
Equation 8 is solved as a quadratic equation for a to obtain the value of a.

次に、校正係数算出部１４２は、校正用被撮影体識別部１４１から通知された検出したマンホールの蓋３の中心Ｐａが表れる画像中の位置に対して、ＣＮＮ深度推定部１２が推定した深度をＰａの深度として用いて、カメラ１１の位置ｏとマンホールの蓋３の中心Ｐａを結ぶ線分ａの推定長さａ’を算定する。また、校正用被撮影体識別部１４１から通知された検出したマンホールの蓋３の自動車後ろ方向側の端部Ｐｂが表れる画像中の位置に対して、ＣＮＮ深度推定部１２が推定した深度をＰｂの深度として用いて、カメラ１１の位置ｏとマンホールの蓋３の自動車後ろ方向側の端部Ｐｂを結ぶ線分ｂの推定長さｂ’を算定する。また、校正用被撮影体識別部１４１から通知された検出したマンホールの蓋３の自動車前方向側の端部Ｐｃが表れる画像中の位置に対して、ＣＮＮ深度推定部１２が推定した深度をＰｃの深度として用いて、カメラ１１の位置ｏとマンホールの蓋３の自動車前方向側の端部Ｐｃを結ぶ線分ｃの推定長さｃ’を算定する。 Next, the calibration coefficient calculation unit 142 calculates the depth estimated by the CNN depth estimation unit 12 with respect to the detected position in the image where the center Pa of the manhole cover 3 appears, which is notified from the calibration object identification unit 141. is used as the depth of Pa, the estimated length a' of the line segment a connecting the position o of the camera 11 and the center Pa of the manhole cover 3 is calculated. Also, the depth estimated by the CNN depth estimation unit 12 is Pb , the estimated length b' of the line segment b connecting the position o of the camera 11 and the end Pb of the manhole cover 3 on the rear side of the automobile is calculated. Also, the depth estimated by the CNN depth estimation unit 12 is Pc , the estimated length c' of the line segment c connecting the position o of the camera 11 and the end Pc of the manhole cover 3 on the front side of the automobile is calculated.

そして、校正係数算出部１４２は、補正係数を、
補正係数＝｛（ａ／ａ’）＋（ｂ／ｂ’）＋（ｃ／ｃ’）｝／３
によって算定し、深度補正部１３に設定する。 Then, the calibration coefficient calculation unit 142 calculates the correction coefficient as
Correction factor = {(a/a') + (b/b') + (c/c')}/3
and set in the depth correction unit 13 .

以上、校正処理部１４の校正処理動作について説明した。
ここで、このような校正処理部１４の校正処理動作は、オペレータから校正処理の実行を指示されたときにのみ行うようにしてもよいし、自動車の走行中に継続的に行うようにしてもよい。 The calibration processing operation of the calibration processing unit 14 has been described above.
Here, the calibration processing operation of the calibration processing unit 14 may be performed only when the operator instructs to perform the calibration processing, or may be performed continuously while the automobile is running. good.

また、校正処理部１４の校正処理動作は、オペレータから校正処理の実行を指示されたときにのみ行うようにする場合には、校正用被撮影体として、マンホールの蓋３などの道路上にある物体を用いる必要はなく、校正用に用意した形状、大きさが既知の任意のマーカを路面に設置して行うようにしてよい。 Further, if the calibration processing operation of the calibration processing unit 14 is to be performed only when the operator instructs the execution of the calibration processing, the object to be imaged for calibration may be a manhole cover 3 or the like on the road. It is not necessary to use an object, and any marker having a known shape and size prepared for calibration may be placed on the road surface.

以上、本発明の実施形態について説明した。
ここで、以上の実施形態は、校正処理部１４の校正処理動作を継続的に行う場合には、図５に示すように、深度計測システム１に、自動車の周辺状況や走行状況などの自動車に関わる状況を検出する状況検出部１５と、補正係数設定部１６とを設け、補正係数設定部１６において、校正処理部１４の校正処理動作が行われたときに算定された補正係数を深度補正部１３に設定すると共に、算定された補正係数を状況検出部１５が検出している状況に対応づけて記憶し、状況検出部１５が検出している状況が変化したときに、変化後の状況に対応づけて記憶している補正係数を深度補正部１３に設定するようにしてもよい。 The embodiments of the present invention have been described above.
Here, in the above embodiment, when the calibration processing operation of the calibration processing unit 14 is continuously performed, as shown in FIG. A situation detection unit 15 for detecting a relevant situation and a correction coefficient setting unit 16 are provided. 13, the calculated correction coefficient is stored in association with the situation detected by the situation detection unit 15, and when the situation detected by the situation detection unit 15 changes, the situation after the change is stored. The correction coefficient stored in correspondence may be set in the depth correction unit 13 .

なお、自動車の周辺状況としては、雨、晴れ、曇り、夜、昼などの周辺環境の状況等を用いることができ、自動車の走行状況としては、自動車の車速、高速道路や一般道といった自動車が走行している道路の種類などを用いることができる。 As the surrounding conditions of the vehicle, the conditions of the surrounding environment such as rain, sunny, cloudy, night, and daytime can be used. The type of road on which one is traveling, etc. can be used.

また、以上の実施形態は、校正処理部１４の校正処理動作を継続的に行う場合には、図５に示すように、深度計測システム１に、カメラ１１で撮影した画像と、当該画像に対してＣＮＮ深度推定部１２が推定した深度を深度補正部１３が補正した深度とを教師データとして、ＣＮＮ深度推定部１２のＣＮＮを学習させる学習処理部１７を設けるようにしてもよい。 Further, in the above embodiment, when the calibration processing operation of the calibration processing unit 14 is continuously performed, as shown in FIG. A learning processing unit 17 may be provided for learning the CNN of the CNN depth estimation unit 12 using the depth estimated by the CNN depth estimation unit 12 and the depth corrected by the depth correction unit 13 as teacher data.

以上のように、本実施形態によれば、画像を撮影するカメラ１１のズームの有無やピッチ角等の影響によって、ＣＮＮ深度推定部１２によって推定される深度のスケールがずれている場合に、前記カメラ１１が撮影した形状、大きさが既知の所定の校正用被撮影体の像から算定した深度と、推定された深度との関係より、スケールのずれをキャンセルする補正係数を設定し、推定された深度を適正な深度を表すように補正することができる。 As described above, according to the present embodiment, when the scale of the depth estimated by the CNN depth estimation unit 12 is deviated due to the presence or absence of the zoom of the camera 11 that captures the image, the pitch angle, etc., the above Based on the relationship between the depth calculated from the image of the calibration subject whose shape and size are known photographed by the camera 11 and the estimated depth, a correction coefficient for canceling the scale shift is set and the estimated depth is calculated. The depth can be corrected to represent the proper depth.

１…深度計測システム、２…深度利用システム、３…蓋、１１…カメラ、１２…ＣＮＮ深度推定部、１３…深度補正部、１４…校正処理部、１５…状況検出部、１６…補正係数設定部、１７…学習処理部、１４１…校正用被撮影体識別部、１４２…校正係数算出部。 1 Depth measurement system 2 Depth utilization system 3 Lid 11 Camera 12 CNN depth estimation unit 13 Depth correction unit 14 Calibration processing unit 15 Situation detection unit 16 Correction coefficient setting Section 17... Learning processing section 141... Object-to-be-photographed object identification section for calibration 142... Calibration coefficient calculation section.

Claims

A depth calculation system that calculates the depth of a position in real space reflected at each coordinate in an image from an image captured by a camera,
depth estimating means for estimating the depth of a position on the real space reflected at each coordinate in the image captured by the camera;
Identifying an image of a predetermined object to be photographed whose shape and size are known in the image photographed by the camera, and from the coordinates in the image of the identified image and the size of the object to the object to be photographed a correction coefficient calculation means for calculating a coefficient for correcting the depth estimated by the depth estimation means as the depth of the coordinate in the image of the identified image to the calculated depth as a correction coefficient;
and depth correction means for correcting the depth estimated by the depth estimation means using the correction coefficient calculated by the correction coefficient calculation means.

A depth calculation system according to claim 1,
The depth estimating means uses a CNN (Convolutional Neural Network) that has been pre-learned using an image and the actual depth of the position on the real space reflected at each coordinate in the image as teacher data, and the camera captures the image. A depth calculation system characterized by estimating the depth of a position on a real space that is reflected at each coordinate in an image.

The depth calculation system according to claim 1 or 2,
The correction coefficient calculation means is
Detecting three coordinates on the image of the object to be photographed in the image photographed by the camera, in which three points arranged on a straight line on the object to be photographed are reflected at known intervals, and from the detected three coordinates, the Obtaining the angles of three points on the object to be photographed with respect to the camera, and according to the geometric relationship between the obtained angles of the three points on the object to be photographed, the distance between the three points, and the depth up to the three points. , calculate the depth up to the three points,
For each of the three coordinates, a coefficient for correcting the depth estimated by the depth estimating means as the depth of the coordinate to the depth of the point corresponding to the calculated coordinate is calculated, and the average of the calculated coefficients is calculated as the correction coefficient. A depth calculation system characterized by:

The depth calculation system according to claim 1, 2 or 3,
The depth calculation system is installed in a car,
The depth calculation system, wherein the camera captures at least the front of the vehicle.

A depth calculation system according to claim 4,
The depth calculation system, wherein the object to be photographed is a manhole cover.

A depth calculation system according to claim 4,
a situation detection means for detecting a situation related to an automobile;
The correction coefficient calculated by the correction coefficient calculation means is set in the depth correction means, and the calculated correction coefficient is stored in association with the situation detected by the situation detection means, a correction coefficient setting means for setting, in the depth correction means, a correction coefficient stored in association with the situation after the change when the detected situation changes;
The depth calculation system, wherein the depth correction means corrects the depth estimated by the depth estimation means using the correction coefficient set by the correction coefficient setting means.

The depth calculation system according to claim 2,
learning processing means for learning the CNN used by the depth estimation means using images captured by the camera and depths obtained by correcting the depth estimated by the depth estimation means for the images by the depth correction means as training data; A depth calculation system characterized by comprising: