JP7290454B2 - Depth calculation system - Google Patents
Depth calculation system Download PDFInfo
- Publication number
- JP7290454B2 JP7290454B2 JP2019078316A JP2019078316A JP7290454B2 JP 7290454 B2 JP7290454 B2 JP 7290454B2 JP 2019078316 A JP2019078316 A JP 2019078316A JP 2019078316 A JP2019078316 A JP 2019078316A JP 7290454 B2 JP7290454 B2 JP 7290454B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- image
- correction coefficient
- calculation system
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Description
本発明は、二次元の画像から画像中の各座標に映り込んだ実空間上の位置の深度(depth/奥行き方向の距離)を推定する技術に関するものである。 The present invention relates to a technique for estimating the depth (depth/distance in the depth direction) of a position on real space reflected at each coordinate in an image from a two-dimensional image.
二次元の画像から画像中の各座標に映り込んだ実空間上の位置の深度を推定する技術としては、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたCNN(Convolutional Neural Network)を用いて、画像中の各座標に映り込んだ実空間上の位置の深度を推定する技術が知られている(たとえば、特許文献1、非特許文献1) As a technique for estimating the depth of the position on the real space reflected at each coordinate in the image from the two-dimensional image, the actual depth of the image and the position on the real space reflected at each coordinate in the image There is known a technique for estimating the depth of a position in real space reflected at each coordinate in an image using a CNN (Convolutional Neural Network) that has been previously trained as teacher data (see, for example, Patent Document 1, non-patent document 1)
上述した学習済みのCNNを用いて画像中の各座標に映り込んだ実空間上の位置の深度を推定する場合、画像を撮影するカメラのズームの有無やピッチ角等が学習時の状況と異なると、推定される深度のスケールがずれる形態の、推定精度の低化が生じてしまう問題があった。 When estimating the depth of the position on the real space reflected at each coordinate in the image using the above-mentioned trained CNN, the presence or absence of zooming of the camera that shoots the image, the pitch angle, etc. are different from the situation at the time of learning As a result, there is a problem that the estimated depth scale shifts, resulting in a decrease in estimation accuracy.
そこで、本発明は、二次元の画像から推定された画像中の各座標に映り込んだ実空間上の位置の深度を、適正な深度を表すように補正することを課題とする Therefore, an object of the present invention is to correct the depth of the position in the real space reflected at each coordinate in the image estimated from the two-dimensional image so as to represent the appropriate depth.
前記課題達成のために、本発明は、カメラで撮影した画像から、画像中の各座標に映り込んだ実空間上の位置の深度を算出する深度算出システムに、前記カメラが撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定する深度推定手段と、前記カメラが撮影した画像中の、形状、大きさが既知の所定の被撮影体の像を識別し、識別した像の画像中の座標から当該被撮影体までの深度を算出し、当該識別した像の画像中の座標の深度として前記深度推定手段が推定した深度を、算出した深度に補正する係数を補正係数として算定する補正係数算定手段と、前記補正係数算定手段が算定した補正係数を用いて、前記深度推定手段が推定した深度を補正する深度補正手段とを備えたものである。 In order to achieve the above object, the present invention provides a depth calculation system that calculates the depth of a position on the real space reflected at each coordinate in the image from the image taken by the camera. Depth estimating means for estimating the depth of the position on the real space reflected at each coordinate, and identifying and identifying the image of the predetermined object with known shape and size in the image captured by the camera. a correction coefficient for calculating the depth from the coordinates in the image to the object to be photographed, and correcting the depth estimated by the depth estimating means as the depth of the coordinates in the image for the identified image to the calculated depth and depth correction means for correcting the depth estimated by the depth estimation means using the correction coefficient calculated by the correction coefficient calculation means.
ここで、このような深度算出システムは、前記深度推定手段は、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたCNN(Convolutional Neural Network)によって、前記カメラが撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定するものであってよい。 Here, in such a depth calculation system, the depth estimating means is a CNN that has undergone learning in advance using actual depths of images and positions in real space reflected at respective coordinates in the images as training data. (Convolutional Neural Network) may estimate the depth of the position on the real space reflected at each coordinate in the image captured by the camera.
また、このような深度算出システムは、前記補正係数算定手段において前記カメラが撮影した画像中の前記被撮影体の像上の、前記被撮影体上の直線上に並ぶ間隔が既知の3点が映り込んだ3座標を検出し、検出した3座標から、前記被撮影体上の3点の前記カメラに対する角度を求め、求めた前記被撮影体上の3点の角度と、当該3点の前記間隔と、当該3点までの深度との幾何的との幾何的な関係に従って、当該3点までの深度を算出し、前記3座標の各々について、当該座標の深度として前記深度推定手段が推定した深度を、算出した当該座標に対応する点の深度に補正する係数を求め、求めた係数の平均を前記補正係数として算定するように構成してもよい。 Further, in such a depth calculation system, in the correction coefficient calculation means, there are three points on the image of the subject in the image captured by the camera, which are aligned on a straight line on the subject with known intervals. Detecting the three coordinates reflected, obtaining the angles of the three points on the object to be photographed with respect to the camera from the detected three coordinates, and obtaining the angles of the three points on the object to be photographed and the angles of the three points Depths up to the three points are calculated according to the geometric relationship between the distance and the depth up to the three points, and the depth estimating means estimates the depth of each of the three coordinates as the depth of the coordinates. A coefficient for correcting the depth to the depth of the point corresponding to the calculated coordinates may be calculated, and an average of the calculated coefficients may be calculated as the correction coefficient.
また、このような深度算出システムを、自動車に搭載されたシステムとし、前記カメラを、少なくとも前記自動車の前方を撮影するものしてもよい。
また、この場合には、前記被撮影体を、マンホールの蓋としてもよい。
また、この場合には、深度算出システムに、自動車に関わる状況を検出する状況検出手段と、前記補正係数算定手段が算定した補正係数を、前記深度補正手段に設定すると共に、当該算定された補正係数を前記状況検出手段が検出している状況に対応づけて記憶し、前記状況検出手段が検出している状況が変化したときに、変化後の状況に対応づけて記憶している補正係数を深度補正手段に設定する補正係数設定手段を設け、前記深度補正手段において、前記補正係数設定手段によって設定された補正係数を用いて、前記深度推定手段が推定した深度を補正するようにしてもよい。
Further, such a depth calculation system may be a system mounted on an automobile, and the camera may photograph at least the front of the automobile.
In this case, the object to be photographed may be a manhole cover.
Further, in this case, in the depth calculation system, the situation detection means for detecting the situation related to the vehicle and the correction coefficient calculated by the correction coefficient calculation means are set in the depth correction means, and the calculated correction is set to the depth correction means. The coefficient is stored in association with the situation detected by the situation detection means, and when the situation detected by the situation detection means changes, the correction coefficient stored in association with the situation after the change is stored. Correction coefficient setting means for setting the depth correction means may be provided, and the depth estimated by the depth estimation means may be corrected using the correction coefficient set by the correction coefficient setting means in the depth correction means. .
また、前記深度推定手段を、CNNを用いて深度を推定するものとした深度算出システムには、前記カメラで撮影した画像と、当該画像に対して前記深度推定手段が推定した深度を深度補正手段が補正した深度とを教師データとして、前記深度推定手段が用いる前記CNNを学習させる学習処理手段を設けるようにしてもよい。 Further, in the depth calculation system in which the depth estimation means estimates the depth using CNN, the image captured by the camera and the depth estimated by the depth estimation means for the image are combined into the depth correction means may be provided with learning processing means for learning the CNN used by the depth estimation means using the corrected depth as teacher data.
以上のような深度算出システムによれば、画像を撮影するカメラのズームの有無やピッチ角等の影響によって、深度推定手段によって推定される深度のスケールがずれている場合に、前記カメラが撮影した形状、大きさが既知の所定の被撮影体の像から算定した深度と、推定された深度との関係より、スケールのずれをキャンセルする補正係数を設定し、推定された深度を適正な深度を表すように補正することができる。 According to the depth calculation system as described above, when the scale of the depth estimated by the depth estimating means is deviated due to the presence or absence of the zoom of the camera that captures the image, the pitch angle, etc., the camera captures the image. Based on the relationship between the depth calculated from the image of a given object whose shape and size are known and the estimated depth, a correction coefficient that cancels the scale shift is set, and the estimated depth is adjusted to the appropriate depth. can be corrected as shown.
以上のように、本発明によれば、二次元の画像から推定された画像中の各座標に映り込んだ実空間上の位置の深度を、適正な深度を表すように補正することができる。 As described above, according to the present invention, it is possible to correct the depth of the position on the real space reflected at each coordinate in the image estimated from the two-dimensional image so as to represent the appropriate depth.
以下、本発明の実施形態について説明する。
図1に、本実施形態に係る車載システムの構成を示す。
車載システムは、自動車に搭載されるシステムであり、図示するように、深度計測システム1と、深度利用システム2とを備えている。
また、深度計測システム1は、カメラ11と、CNN深度推定部12と、深度補正部13と、校正処理部14と備えている。そして、校正処理部14は、校正用被撮影体識別部141と校正係数算出部142を備えている。
Embodiments of the present invention will be described below.
FIG. 1 shows the configuration of an in-vehicle system according to this embodiment.
The in-vehicle system is a system installed in an automobile, and includes a depth measurement system 1 and a
The depth measurement system 1 also includes a
カメラ11は、たとえば、図2a、bのように自動車の前端に配置されて、自動車の前方の路面を含む、自動車の前方のようすを撮影する。
CNN深度推定部12は、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたCNN(Convolutional Neural Network)であり、カメラ11が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定する。
The
The CNN
深度補正部13は、CNN深度推定部12が推定したカメラ11が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を、設定された補正係数を乗じて、カメラ11が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を補正する。
The
校正処理部14は、後述する校正処理動作を行って、補正係数を深度補正部13に設定する。
そして、深度利用システム2は、深度計測システム1から出力される深度補正部13が補正したカメラ11が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を利用した所定の処理を行う。ここで、深度利用システム2が行う深度を利用した処理は、たとえば、当該深度から、自車前方の障害物を検出して障害物の回避を支援する処理や、カメラ11が撮影した画像中の各座標に映り込んだ実空間上の位置の深度から自車前方の他車や構造物を識別して、自動車の自動運転を行う処理等である。
The
Then, the
以下、前述した、校正処理部14が行う校正処理動作について説明する。
まず、校正処理動作において、校正処理部14の校正用被撮影体識別部141は、カメラ11が撮影した画像を画像認識し、画像中の校正用被撮影体の像を識別する。
校正用被撮影体は、形状と大きさが既知の物体やパターンであり、校正用被撮影体の画像認識に用いる校正用被撮影体の情報は、予め、校正用被撮影体識別部141に設定されている。
ここで、本実施形態では、広く普及している半径30cmの円形のマンホールの蓋を、校正用被撮影体として用いるものとする。
この場合、校正用被撮影体識別部141は、図3aのように自動車の前方の路面にマンホールが存在した場合に、図3bに示すようにカメラ11が撮影した画像の水平方向(左右方向)の中央に現れるマンホールの蓋3の像を検出する。
ここで、自動車の前方を撮影するカメラ11は、撮影する画像の水平方向(左右方向)が実空間の水平方向と一致するように配置されており、マンホールの蓋は路面に水平に配置されている。
したがって、図3cに示すマンホールの蓋3の中心Pa、マンホールの蓋3の自動車の後ろ方向側の端部Pb、マンホールの蓋3の自動車の前方向側の端部Pcは、カメラの光軸を鉛直方向に路面に投影した、自動車前後方向にのびる水平な線である計測線上にあり、中心Pa、端部Pb、端部Pcは、画像の水平画角0°位置の垂直線(画像の中心を通る上下方向の線)上に表れる。
The calibration processing operation performed by the
First, in the calibration processing operation, the calibration
The calibration object to be imaged is an object or pattern whose shape and size are known. is set.
Here, in the present embodiment, a circular manhole cover with a radius of 30 cm, which is widely used, is used as an object to be imaged for calibration.
In this case, when there is a manhole on the road surface in front of the automobile as shown in FIG. The image of the
Here, the
Therefore, the center Pa of the
そして、校正用被撮影体識別部141は、マンホールの蓋3の中心Paが表れる画像中の位置までの画像下端からの距離Da、図3cに示すマンホールの蓋3の自動車の後ろ方向側の端部Pbが表れる画像中の位置までの画像下端からの距離Db、図3cに示すマンホールの蓋3の自動車の前方向側の端部Pcが表れる画像中の位置までの画像下端からの距離Dcを算定する。そして、算定した距離Da、距離Db、距離Dcと、検出したマンホールの蓋3の中心Paが表れる画像中の位置、マンホールの蓋3の自動車後ろ方向側の端部Pbが表れる画像中の位置、マンホールの蓋3の自動車前方向側の端部Pcが表れる画像中の位置を校正係数算出部142に通知する。
Then, the calibration
次に、校正処理動作において、校正係数算出部142は、校正用被撮影体識別部141が算定した、距離Da、距離Db、距離Dcから、図4に示すカメラ11の位置oとマンホールの蓋3の中心Paを結ぶ線分Aと、カメラ11の位置oとマンホールの蓋3の自動車後ろ方向側の端部Pbを結ぶ線分Bとの角度θ1と、線分aとマンホールの蓋3の自動車の前向側の端部Pcを結ぶ線分Cとの角度θ2とを算定する。ここで、距離Da、距離Db、距離Dcが求まれば、カメラ11の撮影画像のサイズや画角等の特性に従って、マンホールの蓋3の中心Pa、マンホールの蓋3の自動車の後ろ方向側の端部Pb、マンホールの蓋3の自動車の前方向側の端部Pcのカメラ11に対する角度は一義的に定まる。
Next, in the calibration processing operation, the calibration
次に、校正係数算出部142は、線分Aの長さa、線分Bの長さb、線分Cの長さcを以下のように算定する。
すなわち、rが校正用被撮影体識とした円形のマンホールの蓋3の半径を表し、aが線分Aの長さを表し、bが線分Bの長さを表し、cが線分Cの長さを表すものとして、余弦定理から、
r2=a2+b2-2ab×cosθ1...式1
r2=a2+c2-2ac×cosθ2...式2
(2r)2=b2+c2-2bc×cos(θ1+θ2)...式3
となり、
また、図4に示すように線分Aと、Pc、Pa、Pbを通る直線との角度をθ3とすれば、正弦定理から、
r/sinθ1=b/sinθ3...式4
r/sinθ2=c/sin(180-θ3)=c/sinθ3...式5
となり、cosθ1=A1、cosθ2=A2、cos(θ1+θ2)=A3、r/sinθ1=A4、r/sinθ2=A5とおくと、
r2=a2+b2-2ab×A1...式1’
r2=a2+c2-2ac×A2...式2’
(2r)2=b2+c2-2bc×A3...式3’
A4=b/sinθ3...式4’
A5=c/sinθ3...式5’
となり、式4’と式5’から、
c=b×A5/A4となるので、A5/A4をA6とおくと、
c=b×A6...式6
となる。
Next, the
That is, r represents the radius of the
r2 = a2 + b2-2ab ×cosθ1...equation 1
r2 = a2 + c2-2ac ×cosθ2...
(2r) 2 =b 2 +c 2 -2bc×cos(θ1+θ2)...
becomes,
Also, as shown in FIG. 4, if the angle between the line segment A and the straight line passing through Pc, Pa, and Pb is θ3, from the sine theorem,
r/sinθ1=b/sinθ3...equation 4
r/sinθ2=c/sin(180-θ3)=c/sinθ3...Formula 5
Assuming cosθ1=A1, cosθ2=A2, cos(θ1+θ2)=A3, r/sinθ1=A4, r/sinθ2=A5,
r2 = a2 + b2-2ab ×A1...equation 1'
r 2 =a 2 +c 2 -2ac×A2...Formula 2'
(2r) 2 =b 2 +c 2 -2bc×A3...Formula 3'
A4=b/sinθ3...Formula 4'
A5=c/sinθ3...Formula 5'
and from equations 4' and 5',
Since c=b×A5/A4, if A5/A4 is replaced by A6,
c=b×A6...Formula 6
becomes.
そして、式6と式3’から、
4r2=b2+(b×A6)2-2b(b×A6)×A3となるので、
4r2=b2(1+A62-2×A6×A3)
b2=4r2/(1+A62-2×A6×A3)
b={4r2/(1+A62-2×A6×A3)}1/2....式7
となる。
Then, from Equation 6 and Equation 3',
4r 2 =b 2 +(b×A6) 2 -2b(b×A6)×A3, so
4r2 = b2 (1+ A62-2 ×A6×A3)
b2 = 4r2 /(1+ A62-2 ×A6×A3)
b={4r 2 /(1+A6 2 -2×A6×A3)} 1/2 ....equation 7
becomes.
ここで、rの値は定数であり、θ1、θ2の値は確定しているので、A1からA6の値も一義的に求めることができる。
そこで、校正係数算出部142は、式7に従ってbの値を求める。
また、校正係数算出部142は、求めたbと式6より、c=b×A6によりcの値を求める。
また、式1’より、
a2-(2b×A1)a+(b2-r2)=0...式8
となるので、校正係数算出部142は、求めたbを用いて、
式8を、aについての2次方程式として解を算出し、aの値を求める。
Here, since the value of r is a constant and the values of θ1 and θ2 are fixed, the values of A1 to A6 can also be determined uniquely.
Therefore, the
Further, the
Also, from formula 1',
a2- (2b×A1)a+( b2 - r2 )=0...equation 8
Therefore, the calibration
Equation 8 is solved as a quadratic equation for a to obtain the value of a.
次に、校正係数算出部142は、校正用被撮影体識別部141から通知された検出したマンホールの蓋3の中心Paが表れる画像中の位置に対して、CNN深度推定部12が推定した深度をPaの深度として用いて、カメラ11の位置oとマンホールの蓋3の中心Paを結ぶ線分aの推定長さa’を算定する。また、校正用被撮影体識別部141から通知された検出したマンホールの蓋3の自動車後ろ方向側の端部Pbが表れる画像中の位置に対して、CNN深度推定部12が推定した深度をPbの深度として用いて、カメラ11の位置oとマンホールの蓋3の自動車後ろ方向側の端部Pbを結ぶ線分bの推定長さb’を算定する。また、校正用被撮影体識別部141から通知された検出したマンホールの蓋3の自動車前方向側の端部Pcが表れる画像中の位置に対して、CNN深度推定部12が推定した深度をPcの深度として用いて、カメラ11の位置oとマンホールの蓋3の自動車前方向側の端部Pcを結ぶ線分cの推定長さc’を算定する。
Next, the calibration
そして、校正係数算出部142は、補正係数を、
補正係数={(a/a’)+(b/b’)+(c/c’)}/3
によって算定し、深度補正部13に設定する。
Then, the calibration
Correction factor = {(a/a') + (b/b') + (c/c')}/3
and set in the
以上、校正処理部14の校正処理動作について説明した。
ここで、このような校正処理部14の校正処理動作は、オペレータから校正処理の実行を指示されたときにのみ行うようにしてもよいし、自動車の走行中に継続的に行うようにしてもよい。
The calibration processing operation of the
Here, the calibration processing operation of the
また、校正処理部14の校正処理動作は、オペレータから校正処理の実行を指示されたときにのみ行うようにする場合には、校正用被撮影体として、マンホールの蓋3などの道路上にある物体を用いる必要はなく、校正用に用意した形状、大きさが既知の任意のマーカを路面に設置して行うようにしてよい。
Further, if the calibration processing operation of the
以上、本発明の実施形態について説明した。
ここで、以上の実施形態は、校正処理部14の校正処理動作を継続的に行う場合には、図5に示すように、深度計測システム1に、自動車の周辺状況や走行状況などの自動車に関わる状況を検出する状況検出部15と、補正係数設定部16とを設け、補正係数設定部16において、校正処理部14の校正処理動作が行われたときに算定された補正係数を深度補正部13に設定すると共に、算定された補正係数を状況検出部15が検出している状況に対応づけて記憶し、状況検出部15が検出している状況が変化したときに、変化後の状況に対応づけて記憶している補正係数を深度補正部13に設定するようにしてもよい。
The embodiments of the present invention have been described above.
Here, in the above embodiment, when the calibration processing operation of the
なお、自動車の周辺状況としては、雨、晴れ、曇り、夜、昼などの周辺環境の状況等を用いることができ、自動車の走行状況としては、自動車の車速、高速道路や一般道といった自動車が走行している道路の種類などを用いることができる。 As the surrounding conditions of the vehicle, the conditions of the surrounding environment such as rain, sunny, cloudy, night, and daytime can be used. The type of road on which one is traveling, etc. can be used.
また、以上の実施形態は、校正処理部14の校正処理動作を継続的に行う場合には、図5に示すように、深度計測システム1に、カメラ11で撮影した画像と、当該画像に対してCNN深度推定部12が推定した深度を深度補正部13が補正した深度とを教師データとして、CNN深度推定部12のCNNを学習させる学習処理部17を設けるようにしてもよい。
Further, in the above embodiment, when the calibration processing operation of the
以上のように、本実施形態によれば、画像を撮影するカメラ11のズームの有無やピッチ角等の影響によって、CNN深度推定部12によって推定される深度のスケールがずれている場合に、前記カメラ11が撮影した形状、大きさが既知の所定の校正用被撮影体の像から算定した深度と、推定された深度との関係より、スケールのずれをキャンセルする補正係数を設定し、推定された深度を適正な深度を表すように補正することができる。
As described above, according to the present embodiment, when the scale of the depth estimated by the CNN
1…深度計測システム、2…深度利用システム、3…蓋、11…カメラ、12…CNN深度推定部、13…深度補正部、14…校正処理部、15…状況検出部、16…補正係数設定部、17…学習処理部、141…校正用被撮影体識別部、142…校正係数算出部。
1
Claims (7)
前記カメラが撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定する深度推定手段と、
前記カメラが撮影した画像中の、形状、大きさが既知の所定の被撮影体の像を識別し、識別した像の画像中の座標と当該被撮影体の前記大きさとから当該被撮影体までの深度を算出し、当該識別した像の画像中の座標の深度として前記深度推定手段が推定した深度を、算出した深度に補正する係数を補正係数として算定する補正係数算定手段と、
前記補正係数算定手段が算定した補正係数を用いて、前記深度推定手段が推定した深度を補正する深度補正手段とを有することを特徴とする深度算出システム。 A depth calculation system that calculates the depth of a position in real space reflected at each coordinate in an image from an image captured by a camera,
depth estimating means for estimating the depth of a position on the real space reflected at each coordinate in the image captured by the camera;
Identifying an image of a predetermined object to be photographed whose shape and size are known in the image photographed by the camera, and from the coordinates in the image of the identified image and the size of the object to the object to be photographed a correction coefficient calculation means for calculating a coefficient for correcting the depth estimated by the depth estimation means as the depth of the coordinate in the image of the identified image to the calculated depth as a correction coefficient;
and depth correction means for correcting the depth estimated by the depth estimation means using the correction coefficient calculated by the correction coefficient calculation means.
前記深度推定手段は、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたCNN(Convolutional Neural Network)によって、前記カメラが撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定することを特徴とする深度算出システム。 A depth calculation system according to claim 1,
The depth estimating means uses a CNN (Convolutional Neural Network) that has been pre-learned using an image and the actual depth of the position on the real space reflected at each coordinate in the image as teacher data, and the camera captures the image. A depth calculation system characterized by estimating the depth of a position on a real space that is reflected at each coordinate in an image.
前記補正係数算定手段は、
前記カメラが撮影した画像中の前記被撮影体の像上の、前記被撮影体上の直線上に並ぶ間隔が既知の3点が映り込んだ3座標を検出し、検出した3座標から、前記被撮影体上の3点の前記カメラに対する角度を求め、求めた前記被撮影体上の3点の角度と、当該3点の前記間隔と、当該3点までの深度との幾何的な関係に従って、当該3点までの深度を算出し、
前記3座標の各々について、当該座標の深度として前記深度推定手段が推定した深度を、算出した当該座標に対応する点の深度に補正する係数を求め、求めた係数の平均を前記補正係数として算定することを特徴とする深度算出システム。 The depth calculation system according to claim 1 or 2,
The correction coefficient calculation means is
Detecting three coordinates on the image of the object to be photographed in the image photographed by the camera, in which three points arranged on a straight line on the object to be photographed are reflected at known intervals, and from the detected three coordinates, the Obtaining the angles of three points on the object to be photographed with respect to the camera, and according to the geometric relationship between the obtained angles of the three points on the object to be photographed, the distance between the three points, and the depth up to the three points. , calculate the depth up to the three points,
For each of the three coordinates, a coefficient for correcting the depth estimated by the depth estimating means as the depth of the coordinate to the depth of the point corresponding to the calculated coordinate is calculated, and the average of the calculated coefficients is calculated as the correction coefficient. A depth calculation system characterized by:
当該深度算出システムは、自動車に搭載されており、
前記カメラは、少なくとも前記自動車の前方を撮影することを特徴とする深度算出システム。 The depth calculation system according to claim 1, 2 or 3,
The depth calculation system is installed in a car,
The depth calculation system, wherein the camera captures at least the front of the vehicle.
前記被撮影体は、マンホールの蓋であることを特徴とする深度算出システム。 A depth calculation system according to claim 4,
The depth calculation system, wherein the object to be photographed is a manhole cover.
自動車に関わる状況を検出する状況検出手段と、
前記補正係数算定手段が算定した補正係数を、前記深度補正手段に設定すると共に、当該算定された補正係数を前記状況検出手段が検出している状況に対応づけて記憶し、前記状況検出手段が検出している状況が変化したときに、変化後の状況に対応づけて記憶している補正係数を深度補正手段に設定する補正係数設定手段を有し、
前記深度補正手段は、前記補正係数設定手段によって設定された補正係数を用いて、前記深度推定手段が推定した深度を補正することを特徴とする深度算出システム。 A depth calculation system according to claim 4,
a situation detection means for detecting a situation related to an automobile;
The correction coefficient calculated by the correction coefficient calculation means is set in the depth correction means, and the calculated correction coefficient is stored in association with the situation detected by the situation detection means, a correction coefficient setting means for setting, in the depth correction means, a correction coefficient stored in association with the situation after the change when the detected situation changes;
The depth calculation system, wherein the depth correction means corrects the depth estimated by the depth estimation means using the correction coefficient set by the correction coefficient setting means.
前記カメラで撮影した画像と、当該画像に対して前記深度推定手段が推定した深度を深度補正手段が補正した深度とを教師データとして、前記深度推定手段が用いる前記CNNを学習させる学習処理手段を有することを特徴とする深度算出システム。 The depth calculation system according to claim 2,
learning processing means for learning the CNN used by the depth estimation means using images captured by the camera and depths obtained by correcting the depth estimated by the depth estimation means for the images by the depth correction means as training data; A depth calculation system characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019078316A JP7290454B2 (en) | 2019-04-17 | 2019-04-17 | Depth calculation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019078316A JP7290454B2 (en) | 2019-04-17 | 2019-04-17 | Depth calculation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020177381A JP2020177381A (en) | 2020-10-29 |
JP7290454B2 true JP7290454B2 (en) | 2023-06-13 |
Family
ID=72936141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019078316A Active JP7290454B2 (en) | 2019-04-17 | 2019-04-17 | Depth calculation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7290454B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012159470A (en) | 2011-02-02 | 2012-08-23 | Toyota Motor Corp | Vehicle image recognition device |
JP2012173874A (en) | 2011-02-18 | 2012-09-10 | Fujitsu Ltd | Distance calculation program, distance calculation method, and distance calculation apparatus |
JP2013092820A (en) | 2011-10-24 | 2013-05-16 | Toshiba Alpine Automotive Technology Corp | Distance estimation apparatus |
JP2018132477A (en) | 2017-02-17 | 2018-08-23 | 日本電信電話株式会社 | Depth estimation device, dimension estimation device, depth estimation method, dimension estimation method, and program |
JP2018205929A (en) | 2017-05-31 | 2018-12-27 | 株式会社Preferred Networks | Learning device, learning method, learning model, detection device and gripping system |
-
2019
- 2019-04-17 JP JP2019078316A patent/JP7290454B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012159470A (en) | 2011-02-02 | 2012-08-23 | Toyota Motor Corp | Vehicle image recognition device |
JP2012173874A (en) | 2011-02-18 | 2012-09-10 | Fujitsu Ltd | Distance calculation program, distance calculation method, and distance calculation apparatus |
JP2013092820A (en) | 2011-10-24 | 2013-05-16 | Toshiba Alpine Automotive Technology Corp | Distance estimation apparatus |
JP2018132477A (en) | 2017-02-17 | 2018-08-23 | 日本電信電話株式会社 | Depth estimation device, dimension estimation device, depth estimation method, dimension estimation method, and program |
JP2018205929A (en) | 2017-05-31 | 2018-12-27 | 株式会社Preferred Networks | Learning device, learning method, learning model, detection device and gripping system |
Non-Patent Citations (1)
Title |
---|
進藤 智則,ディープラーニング技術が今度はSLAMに波及 キヤノンと独TUM、単眼カメラで密な3D地図,NIKKEI Robotics 第24号 ,日本,日経BP社,2017年06月10日,P.5-11 |
Also Published As
Publication number | Publication date |
---|---|
JP2020177381A (en) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9729858B2 (en) | Stereo auto-calibration from structure-from-motion | |
KR101787304B1 (en) | Calibration method, calibration device, and computer program product | |
CN108692719B (en) | Object detection device | |
US8824741B2 (en) | Method for estimating the roll angle in a travelling vehicle | |
KR102249769B1 (en) | Estimation method of 3D coordinate value for each pixel of 2D image and autonomous driving information estimation method using the same | |
EP1087336A2 (en) | Apparatus and method for stereoscopic image processing | |
EP3505865B1 (en) | On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system | |
Nienaber et al. | A comparison of low-cost monocular vision techniques for pothole distance estimation | |
WO2018179281A1 (en) | Object detection device and vehicle | |
JP2017181476A (en) | Vehicle location detection device, vehicle location detection method and vehicle location detection-purpose computer program | |
JP3913901B2 (en) | Camera internal parameter determination device | |
CN109520480A (en) | Distance measuring method and range-measurement system based on binocular stereo vision | |
JP5501084B2 (en) | Planar area detection apparatus and stereo camera system | |
CN113034605B (en) | Target object position determining method and device, electronic equipment and storage medium | |
WO2018074302A1 (en) | Vehicle-mounted camera calibration device and vehicle-mounted camera calibration method | |
JP6543935B2 (en) | PARALLEL VALUE DERIVING DEVICE, DEVICE CONTROL SYSTEM, MOBILE OBJECT, ROBOT, PARALLEL VALUE DERIVING METHOD, AND PROGRAM | |
JP6243758B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program | |
CN112150547A (en) | Method and device for determining pose of vehicle body and look-around vision odometer system | |
JP7290454B2 (en) | Depth calculation system | |
JP6141734B2 (en) | Stereo image processing device | |
CN104913762A (en) | Method and device for estimating the distance between a moving vehicle and an object | |
JP2015215299A (en) | Object position estimation device | |
WO2022118513A1 (en) | Position/orientation calculation device, position/orientation calculation method, and surveying device | |
JP7020324B2 (en) | Line curvature estimation device and method | |
CN113811743A (en) | Method and device for determining the position of a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7290454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |