JP6061770B2 - Camera posture estimation apparatus and program thereof - Google Patents
Camera posture estimation apparatus and program thereof Download PDFInfo
- Publication number
- JP6061770B2 JP6061770B2 JP2013092096A JP2013092096A JP6061770B2 JP 6061770 B2 JP6061770 B2 JP 6061770B2 JP 2013092096 A JP2013092096 A JP 2013092096A JP 2013092096 A JP2013092096 A JP 2013092096A JP 6061770 B2 JP6061770 B2 JP 6061770B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- estimation
- posture
- information
- accuracy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 44
- 238000011156 evaluation Methods 0.000 claims description 42
- 238000009826 distribution Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 description 33
- 238000004364 calculation method Methods 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 12
- 238000003860 storage Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000000691 measurement method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000007717 exclusion Effects 0.000 description 4
- 238000010008 shearing Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000005452 bending Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Multimedia (AREA)
- Geometry (AREA)
Description
本願発明は、撮影カメラの姿勢を推定するカメラ姿勢推定装置及びそのプログラムに関する。 The present invention relates to a camera posture estimation device for estimating the posture of a photographing camera and a program thereof.
映像制作では、カメラ姿勢を利用して、撮影映像中の被写体に接触するような配置で、CG(computer graphics)のオブジェクトを合成することが行われている。例えば、この合成処理は、撮影映像中に机が含まれており、その机上にCGの壺を合成するという処理である。 In video production, CG (computer graphics) objects are synthesized using a camera posture so as to be in contact with a subject in a captured video. For example, this combining process is a process in which a desk is included in the captured video and a CG bag is combined on the desk.
従来から、撮影映像を用いて、カメラ姿勢を計測する手法も提案されている。一般的に、撮影映像を用いたカメラ姿勢推定手法では、撮影映像上の特徴点の位置及び特徴ベクトルを映像解析により抽出する。そして、このカメラ姿勢推定手法では、その特徴点位置を、特徴ベクトルの類似性を利用して撮影映像中で追跡する。さらに、このカメラ姿勢推定手法では、その追跡結果を利用して、バンドルアジャストメントなどの最適化手法によりカメラ姿勢を推定する(例えば、特許文献1参照)。 Conventionally, a method of measuring a camera posture using a photographed video has been proposed. In general, in a camera posture estimation method using a photographed video, the positions of feature points and feature vectors on the photographed video are extracted by video analysis. In this camera posture estimation method, the feature point position is tracked in the captured video using the feature vector similarity. Further, in this camera posture estimation method, the camera posture is estimated by an optimization method such as bundle adjustment using the tracking result (see, for example, Patent Document 1).
例えば、特徴点は、撮影映像上で模様がコーナーになっている部分であり、被写体に表れる模様の特定部位を指すものである。このことから、撮影映像を用いたカメラ姿勢推定手法では、前記のように撮影映像中の被写体に仮想的に何らかのCGオブジェクトを接触するように配置する場合、被写体とCGオブジェクトとのずれを生じにくく、映像制作に向くという長所を有する。その一方、このカメラ姿勢推定手法では、特徴点を抽出できない場合又は特徴点を追跡できない場合、カメラ姿勢の推定精度が低下、又は、推定が破たんしてしまう。 For example, the feature point is a portion where the pattern is a corner on the photographed video, and indicates a specific part of the pattern appearing on the subject. Therefore, in the camera posture estimation method using the photographed video, when the CG object is virtually in contact with the subject in the photographed video as described above, it is difficult for the subject and the CG object to shift. It has the advantage of being suitable for video production. On the other hand, in this camera posture estimation method, when a feature point cannot be extracted or a feature point cannot be tracked, the accuracy of camera posture estimation decreases or the estimation is broken.
この他、従来から、ジャイロセンサ、加速度センサなどの姿勢計測手段を用いて、カメラ姿勢を計測する手法も提案されている(例えば、特許文献2参照)。このカメラ姿勢計測手法では、センサの検知方式がデッドレコニング(相対的自己位置推定)のため、ドリフト成分の誤差が生じてしまう。また、このカメラ姿勢計測手法では、ドリフト成分の誤差を無視しても、映像制作に求められる精度を満たしていないのが現状である。 In addition, a method for measuring the camera posture using posture measuring means such as a gyro sensor and an acceleration sensor has been proposed (see, for example, Patent Document 2). In this camera posture measurement method, the detection method of the sensor is dead reckoning (relative self-position estimation), so that an error of the drift component occurs. Also, with this camera attitude measurement method, the accuracy required for video production is not satisfied even if the error of the drift component is ignored.
さらに、センサを用いるカメラ姿勢計測手法では、センサ自体の姿勢又はセンサが装着されたカメラ筐体の姿勢を計測することになり、被写体に対して計測を行っているわけでない。このため、このカメラ姿勢計測手法では、撮影カメラを移動させたり、向きを変えたりした際、カメラ筐体やレンズに構造的な歪みに起因した被写体の計測誤差が発生し、この計測誤差を校正して、正確なカメラ姿勢を得ることが困難である。 Furthermore, in the camera posture measurement method using the sensor, the posture of the sensor itself or the posture of the camera housing on which the sensor is mounted is measured, and measurement is not performed on the subject. For this reason, with this camera orientation measurement method, when the camera is moved or changed in direction, a measurement error of the subject due to structural distortion occurs in the camera housing or lens, and this measurement error is calibrated. Thus, it is difficult to obtain an accurate camera posture.
以上のように、撮影映像を用いるカメラ姿勢推定手法、及び、センサを用いるカメラ姿勢計測手法は、それぞれ、異なる長所と短所を有しており、撮影環境を選ばす、高精度なカメラ姿勢を得ることが困難である。 As described above, the camera posture estimation method using a captured image and the camera posture measurement method using a sensor have different advantages and disadvantages, respectively, and obtain a highly accurate camera posture that selects a shooting environment. Is difficult.
そこで、従来から、撮影映像及びセンサを用いる手法を併用することも提案されている(以下、「従来の併用手法」と呼ぶ)。従来の併用手法では、カメラ姿勢の推定精度を評価する尺度として、再投影誤差の総和平均を求めている。
なお、再投影誤差とは、3次元座標で表された被写体上の特徴点を撮影カメラの撮像面に再投影した2次元座標と、抽出した特徴点の2次元座標との誤差を示す。
Therefore, it has been conventionally proposed to use a method using a captured image and a sensor (hereinafter referred to as “conventional combination method”). In the conventional combined method, a total average of reprojection errors is obtained as a scale for evaluating the estimation accuracy of the camera posture.
The reprojection error indicates an error between the two-dimensional coordinates obtained by reprojecting the feature points on the subject represented by the three-dimensional coordinates on the imaging surface of the photographing camera and the two-dimensional coordinates of the extracted feature points.
そして、従来の併用手法では、この再投影誤差の総和平均に基づいて、撮影映像から推定されたカメラ姿勢、又は、センサで計測されたカメラ姿勢の何れかを選択的に利用する。このとき、従来の併用手法では、対応点が撮影映像に偏りなく存在する場合、各特徴点の再投影誤差が均一なので、この再投影誤差の総和平均がある程度の範囲に収まり、カメラ姿勢の推定精度を正しく評価することができる。 In the conventional combination method, either the camera posture estimated from the captured image or the camera posture measured by the sensor is selectively used based on the total average of the reprojection errors. At this time, in the conventional combined method, when the corresponding points exist in the captured image without deviation, the reprojection error of each feature point is uniform, so the total average of the reprojection errors falls within a certain range, and the camera posture is estimated. Accuracy can be correctly evaluated.
しかし、従来の併用手法では、対応点が撮影映像に偏在する場合、各特徴点の再投影誤差が不均一であっても、再投影誤差の総和平均がある程度の範囲に収束してしまい、カメラ姿勢の推定精度を正しく評価することが困難である。 However, in the conventional combined method, when the corresponding points are unevenly distributed in the captured image, even if the reprojection error of each feature point is not uniform, the total average of the reprojection errors converges to a certain range, and the camera It is difficult to correctly evaluate posture estimation accuracy.
そこで、本願発明は、前記した問題を解決し、高い精度でカメラ姿勢を推定できるカメラ姿勢推定装置及びそのプログラムを提供することを課題とする。 Accordingly, an object of the present invention is to solve the above-described problem and provide a camera posture estimation device and a program thereof that can estimate the camera posture with high accuracy.
前記した課題を解決するため、本願第1発明に係るカメラ姿勢推定装置は、撮影カメラで撮影された撮影映像と、撮影カメラに装着された計測手段が当該撮影カメラの姿勢を計測したカメラ姿勢計測情報とを用いて、撮影カメラの姿勢を推定するカメラ姿勢推定装置であって、カメラ姿勢推定手段と、不均一度算出手段と、偏在度算出手段と、評価値判定手段と、高精度区間推定手段と、中精度区間推定手段と、精度区間推定手段と、を備えることを特徴とする。 In order to solve the above-described problem, a camera posture estimation device according to the first invention of the present application is a camera posture measurement in which a photographed image photographed by a photographing camera and a measuring means attached to the photographing camera measure the posture of the photographing camera. A camera posture estimation device for estimating the posture of a photographing camera using information, a camera posture estimation means, a non-uniformity calculation means, an uneven distribution degree calculation means, an evaluation value determination means, and a high-precision section estimation Means, medium accuracy interval estimation means, and accuracy interval estimation means.
かかる構成によれば、カメラ姿勢推定装置は、カメラ姿勢推定手段によって、撮影映像を構成するフレーム画像から特徴点を抽出し、異なるフレーム画像の間で同一の特徴点が対応付けられた対応点を探索し、外れ値除外処理及び最適化処理により、撮影カメラの姿勢を推定したカメラ姿勢推定情報と、フレーム画像に含まれる対応点の空間位置とを求める。 According to this configuration, the camera posture estimation device extracts the feature points from the frame images constituting the captured video by the camera posture estimation means, and finds corresponding points in which the same feature points are associated between different frame images. The camera position estimation information obtained by estimating the attitude of the photographing camera and the spatial position of the corresponding point included in the frame image are obtained by searching and performing outlier exclusion processing and optimization processing.
また、カメラ姿勢推定装置は、不均一度算出手段によって、フレーム画像の分割領域毎に、カメラ姿勢推定情報を用いて、空間位置で表した対応点をフレーム画像に再投影した再投影位置と、カメラ姿勢推定手段が探索した対応点の画像内位置との再投影誤差平均値を算出し、再投影誤差平均値の最大及び最小の比である不均一度を算出する。 Further, the camera posture estimation device uses the camera posture estimation information for each divided region of the frame image by the non-uniformity calculation unit, and re-projects the corresponding point represented by the spatial position on the frame image, A reprojection error average value with the position in the image of the corresponding point searched by the camera posture estimation means is calculated, and a non-uniformity that is a maximum and minimum ratio of the reprojection error average value is calculated.
また、カメラ姿勢推定装置は、偏在度算出手段によって、フレーム画像の各分割領域に含まれる対応点の数に基づいて、対応点の偏在度を算出する。
また、カメラ姿勢推定装置は、評価値判定手段によって、評価値に基づいて、評価値に基づいて、撮影映像について、カメラ姿勢推定情報の推定精度が高い高精度区間と、推定精度が高精度区間よりも低い中精度区間と、推定精度が中精度区間よりも低い低精度区間とを判定する。
In addition, the camera posture estimation device calculates the uneven distribution degree of the corresponding points based on the number of corresponding points included in each divided region of the frame image by the uneven distribution degree calculation unit.
In addition, the camera posture estimation device uses the evaluation value determination unit based on the evaluation value, and based on the evaluation value, for the captured video, a high-accuracy section in which the estimation accuracy of the camera posture estimation information is high, and an estimation accuracy in the high-precision section. A medium accuracy interval lower than the medium accuracy interval and a low accuracy interval whose estimation accuracy is lower than the medium accuracy interval.
この評価値は、偏在度と不均一度との比で表される。このため、カメラ姿勢推定装置は、対応点が撮影映像に偏在し、各対応点の再投影誤差が不均一になる場合でも、撮影カメラの姿勢推定精度を正しく評価することができる。 This evaluation value is represented by a ratio between the uneven distribution degree and the nonuniformity degree. For this reason, the camera posture estimation apparatus can correctly evaluate the posture estimation accuracy of the photographing camera even when the corresponding points are unevenly distributed in the photographed image and the reprojection error of each corresponding point becomes non-uniform.
また、カメラ姿勢推定装置は、高精度区間推定手段によって、高精度区間における撮影カメラの姿勢推定結果として、カメラ姿勢推定情報を出力する。そして、カメラ姿勢推定装置は、中精度区間推定手段によって、カメラ姿勢計測情報を拘束条件とした最適化処理により、カメラ姿勢推定情報を用いて撮影カメラの姿勢を再推定して、中精度区間における撮影カメラの姿勢推定結果として出力する。さらに、カメラ姿勢推定装置は、低精度区間推定手段によって、低精度区間における撮影カメラの姿勢推定結果として、カメラ姿勢計測情報を出力する。 Further, the camera posture estimation device outputs camera posture estimation information as the posture estimation result of the photographing camera in the high accuracy section by the high accuracy section estimation means. Then, the camera posture estimation device re-estimates the posture of the photographing camera using the camera posture estimation information by the optimization processing using the camera posture measurement information as a constraint condition by the medium accuracy interval estimation unit, and in the medium accuracy interval Output as the camera posture estimation result. Further, the camera posture estimation device outputs camera posture measurement information as a posture estimation result of the photographing camera in the low accuracy section by the low accuracy section estimation means.
また、本願第2発明に係るカメラ姿勢推定装置は、不均一度算出手段が、4つの分割領域毎に再投影誤差平均値を算出し、後記する式(1)に示すように、再投影誤差平均値の最大EreproMaxと、再投影誤差平均値の最小EreproMinとの比である不均一度Dを算出し、偏在度算出手段が、4つの分割領域毎に対応点の数を算出し、後記する式(2)に示すように、分割領域の中で最小の対応点の数NMin及び分割領域の中で2番目に少ない対応点の数NMin2ndの加算値を、分割領域毎の対応点の数Niの総和で除算することで、偏在度Sを算出することを特徴とする。
かかる構成によれば、カメラ姿勢推定装置は、不均一度及び偏在度を正確に求めることができる。
Further, in the camera posture estimation device according to the second invention of this application, the non-uniformity calculation means calculates a reprojection error average value for each of the four divided regions, and the reprojection error is calculated as shown in Equation (1) described later. A non-uniformity degree D that is a ratio of the maximum E reproMax of the average value and the minimum E reproMin of the average reprojection error is calculated, and the uneven distribution degree calculating means calculates the number of corresponding points for each of the four divided regions, As shown in the following formula (2), the sum of the minimum number of corresponding points N Min in the divided areas and the second smallest number of corresponding points N Min2nd in the divided areas is determined for each divided area. by dividing the sum of the number N i of the point, and calculates the uneven distribution of S.
According to such a configuration, the camera posture estimation device can accurately obtain the non-uniformity and the uneven distribution.
また、本願第3発明に係るカメラ姿勢推定装置は、中精度区間推定手段が、カメラ姿勢計測情報を拘束条件とした最適化処理として、カメラ姿勢計測情報から、撮影カメラの方向を示す回転情報を抽出し、中精度区間のフレーム画像に含まれる対応点に対応する、高精度区間のフレーム画像に含まれる対応点の空間位置を求め、回転情報が示す撮影カメラの方向で、空間位置で表した対応点を撮影カメラの撮像面に投影し、空間位置で表された対応点と撮像面に投影された対応点との延長線が撮影カメラの光学主点に収束するように、カメラ姿勢推定情報が示す撮影カメラの位置を最適化することを特徴とする。
かかる構成によれば、カメラ姿勢推定装置は、中精度区間の境界で急激にカメラ姿勢が変化しないように補間を行うことができる。
Further, in the camera posture estimation device according to the third invention of the present application, the medium accuracy interval estimation means obtains rotation information indicating the direction of the photographing camera from the camera posture measurement information as an optimization process using the camera posture measurement information as a constraint. The spatial position of the corresponding point included in the frame image of the high-accuracy section corresponding to the corresponding point included in the frame image of the medium-accuracy section is extracted and expressed in the spatial position in the direction of the shooting camera indicated by the rotation information Camera orientation estimation information is projected so that the corresponding points are projected onto the imaging surface of the camera, and the extension line between the corresponding points represented by the spatial position and the corresponding points projected onto the imaging surface converges to the optical principal point of the camera. The position of the photographing camera indicated by is optimized.
According to such a configuration, the camera posture estimation apparatus can perform interpolation so that the camera posture does not change suddenly at the boundary of the medium accuracy section.
ここで、本願第1発明に係るカメラ姿勢推定装置は、コンピュータが備えるCPU(Central Processing Unit)、メモリ、HDD(Hard Disk Drive)などのハードウェア資源を、前記した各手段として協調動作させるためのカメラ姿勢推定プログラムとして実現することもできる。このカメラ姿勢推定プログラムは、通信回線を介して配布してもよく、CD−ROMやフラッシュメモリなどの記録媒体に書き込んで配布してもよい(本願第4発明)。 Here, the camera posture estimation apparatus according to the first invention of the present application is for causing hardware resources such as a CPU (Central Processing Unit), a memory, and an HDD (Hard Disk Drive) included in a computer to cooperate with each other as described above. It can also be realized as a camera posture estimation program. This camera posture estimation program may be distributed via a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or flash memory (the fourth invention of the present application).
本願発明によれば、以下のような優れた効果を奏する。
本願第1,4発明によれば、対応点が撮影映像に偏在し、各対応点の再投影誤差が不均一になる場合でも、評価値が偏在度と不均一度との比で表されるため、撮影カメラの姿勢推定精度を正しく評価することができる。これによって、本願第1,4発明によれば、高い精度で撮影カメラの姿勢を推定することができる。
According to the present invention, the following excellent effects can be obtained.
According to the first and fourth inventions of the present application, even when the corresponding points are unevenly distributed in the photographed image and the reprojection error of each corresponding point becomes nonuniform, the evaluation value is represented by the ratio between the uneven distribution degree and the nonuniformity degree. Therefore, the posture estimation accuracy of the photographing camera can be correctly evaluated. Thus, according to the first and fourth inventions of the present application, the posture of the photographing camera can be estimated with high accuracy.
本願第2発明によれば、不均一度及び偏在度が正確に求められるので、より高い精度で撮影カメラの姿勢を推定することができる。
本願第3発明によれば、中精度区間の境界で急激に撮影カメラの姿勢が変化しないので、撮影カメラの姿勢推定結果を利用して、滑らかなCG映像を制作することができる。
According to the second aspect of the present invention, since the nonuniformity and the uneven distribution are accurately obtained, the posture of the photographing camera can be estimated with higher accuracy.
According to the third aspect of the present invention, since the posture of the photographing camera does not change abruptly at the boundary of the medium accuracy section, it is possible to produce a smooth CG image using the posture estimation result of the photographing camera.
(実施形態)
[カメラ姿勢推定システムの概略]
図1を参照し、カメラ姿勢推定システム100の概略について、説明する。
図1に示すように、カメラ姿勢推定システム100は、撮影カメラCの姿勢を推定するものであり、撮影カメラCと、カメラ姿勢推定装置1とを備える。
(Embodiment)
[Outline of camera posture estimation system]
An outline of the camera posture estimation system 100 will be described with reference to FIG.
As shown in FIG. 1, the camera posture estimation system 100 estimates the posture of the photographing camera C, and includes the photographing camera C and the camera
撮影カメラCは、映像を撮影する一般的なカメラである。本実施形態では、撮影カメラCは、姿勢計測手段Caと、レンズ状態計測手段Cbとを備える。
姿勢計測手段Caは、撮影カメラCの姿勢を計測するものであり、例えば、撮影カメラCに装着されたジャイロスコープ及び加速度センサである。そして、姿勢計測手段Caは、撮影カメラCの姿勢を示すセンサ情報(カメラ姿勢計測情報)を、カメラ姿勢推定装置1に出力する。
このセンサ情報は、撮影カメラCの方向を示す回転情報(回転行列)と、撮影カメラCの位置を示す位置情報(並進行列)とが含まれる。
The photographing camera C is a general camera that photographs a video. In the present embodiment, the photographing camera C includes posture measuring means Ca and lens state measuring means Cb.
The posture measuring means Ca measures the posture of the photographing camera C, and is, for example, a gyroscope and an acceleration sensor attached to the photographing camera C. Then, the posture measurement means Ca outputs sensor information (camera posture measurement information) indicating the posture of the photographing camera C to the camera
This sensor information includes rotation information (rotation matrix) indicating the direction of the photographing camera C and position information (parallel progression) indicating the position of the photographing camera C.
レンズ状態計測手段Cbは、撮影カメラCのレンズ状態(例えば、ズーム値)を計測するものである。例えば、レンズ状態計測手段Cbは、ズームリング(不図示)の回転量を計測するロータリーエンコーダである。そして、レンズ状態計測手段Cbは、レンズ状態を示すレンズ情報を、カメラ姿勢推定装置1に出力する。
The lens state measuring means Cb measures the lens state (for example, zoom value) of the photographing camera C. For example, the lens state measuring means Cb is a rotary encoder that measures the amount of rotation of a zoom ring (not shown). Then, the lens state measurement unit Cb outputs lens information indicating the lens state to the camera
なお、撮影カメラCは、レンズ状態、及び、カメラ姿勢を計測可能であれば、姿勢計測手段Ca及びレンズ状態計測手段Cbが特に制限されない。例えば、姿勢計測手段Caは、別途、センサーカメラ(不図示)を取り付け、このセンサーカメラの映像を解析して、撮影カメラCの位置情報を生成してもよい。 As long as the photographing camera C can measure the lens state and the camera posture, the posture measuring unit Ca and the lens state measuring unit Cb are not particularly limited. For example, the posture measuring means Ca may separately attach a sensor camera (not shown), analyze the video of this sensor camera, and generate position information of the photographing camera C.
カメラ姿勢推定装置1は、撮影カメラCから入力された撮影映像及びセンサ情報を併用して、撮影カメラCの姿勢を推定するものである。
撮影映像を用いるカメラ姿勢推定手法では、その推定精度が高い程、CG映像の品質が良好になる。このため、撮影映像を用いるカメラ姿勢推定手法は、映像制作に高い親和性を有する。従って、カメラ姿勢推定装置1は、撮影映像を用いるカメラ姿勢推定手法を基本とする。
以下、「撮影映像を用いるカメラ姿勢推定手法」を「画像解析」と略記する場合がある。
The camera
In the camera posture estimation method using the captured video, the higher the estimation accuracy, the better the quality of the CG video. For this reason, the camera posture estimation method using a photographed video has a high affinity for video production. Therefore, the camera
Hereinafter, “camera posture estimation method using captured video” may be abbreviated as “image analysis”.
すなわち、カメラ姿勢推定装置1は、画像解析による推定結果を評価し、撮影映像を、推定精度が高い高精度区間と、推定精度が中程度の中精度区間と、推定精度が低い低精度区間とに区分する。
That is, the camera
ここで、カメラ姿勢推定装置1は、高精度区間について、画像解析による推定結果をそのまま出力する。
また、カメラ姿勢推定装置1は、中精度区間について、画像解析による推定結果を、センサ情報を利用して補間する。つまり、カメラ姿勢推定装置1は、僅かに特徴点を追跡できる中精度区間において、この特徴点と、姿勢計測手段Caによるセンサ情報とを併用した再推定を行うことで、推定結果の精度を可能な限り向上させる。
さらに、カメラ姿勢推定装置1は、低精度区間について、センサ情報を出力する。
Here, the camera
In addition, the camera
Furthermore, the camera
[カメラ姿勢推定装置の構成]
以下、カメラ姿勢推定装置1の構成について、説明する。
図1に示すように、カメラ姿勢推定装置1は、記憶手段10と、画像解析手段(カメラ姿勢推定手段)20と、推定結果判定手段30と、第1補間処理手段(高精度区間推定手段)40と、再推定手段(中精度区間推定手段)50と、第2補間処理手段(低精度区間推定手段)60とを備える。
[Configuration of camera posture estimation device]
Hereinafter, the configuration of the camera
As shown in FIG. 1, the camera
記憶手段10は、例えば、撮影カメラCから入力された撮影映像と、センサ情報と、レンズ情報とを記憶する半導体記録装置である。このとき、記憶手段10は、撮影映像を構成するフレーム画像にセンサ情報及びレンズ情報を紐付けて、記憶する。
The
画像解析手段20は、記憶手段10に記憶された撮影映像に画像解析処理を施すことで、撮影カメラCの姿勢を示す姿勢情報(カメラ姿勢推定情報)を求めるものである。具体的には、画像解析手段20は、画像解析処理として、特徴点抽出処理、対応点探索処理、外れ値除外処理、及び、最適化処理を行う。
この姿勢情報は、撮影カメラCの方向を示す回転情報(回転行列)と、撮影カメラCの位置を示す位置情報(並進行列)とが含まれる。
The
This posture information includes rotation information (rotation matrix) indicating the direction of the photographing camera C and position information (parallel progression) indicating the position of the photographing camera C.
まず、画像解析手段20は、基準画像及び参照画像とから、SIFT(Scale Invariant Feature Transform)、SURF(Speeded Up Robust Features)などの特徴点を抽出する。
First, the
図2に示すように、基準画像90は、撮影映像を構成するフレーム画像のうち、画像解析処理が施されるフレーム画像である。
参照画像91は、基準画像90と異なるフレーム画像である。
As shown in FIG. 2, the
The
次に、画像解析手段20は、基準画像90から抽出された特徴点92を追跡し、基準画像90と参照画像91との間で対応点92を探索する。この対応点92は、基準画像90と参照画像91との間で同一の特徴点92が対応付けられたものである。図2の例では、画像解析手段20は、前景部分の対応点921と、テーブルの隅にある対応点922と、箱の隅にある対応点923とを探索する。
Next, the
次に、画像解析手段20は、RANSAC(RANdom SAmple Consensus)、LMedS(the Least Median of Squares)などの外れ値除外処理を施す。そして、画像解析手段20は、バンドルアジャストメントなど最適化処理を行い、姿勢情報及び対応点92の3次元座標(空間位置)を求める。図3の例では、基準画像90及び参照画像91,91´において、対応点921,922,923の2次元座標(画像位置)が既知である。また、被写体Objの特徴点921,922,923が、基準画像90及び参照画像911,91´の対応点921,922,923に対応する。従って、画像解析手段20は、この対応点921,922,923の対応関係を利用して、最適化処理により、被写体Objの特徴点921,922,923の3次元座標と、姿勢情報とを求めることができる。
Next, the
その後、画像解析手段20は、記憶手段10に記憶された撮影映像と、センサ情報と、レンズ情報とを、推定結果判定手段30に出力する。さらに、画像解析手段20は、画像解析処理により求めた姿勢情報と、被写体Obj上の対応点の3次元座標と、画像解析処理の過程で得られた対応点の2次元座標とを、推定結果判定手段30に出力する。
Thereafter, the
なお、カメラ姿勢推定装置1は、基準画像90及び参照画像91が異なるフレーム画像であれば、基準画像90及び参照画像91を任意に設定できる。例えば、カメラ姿勢推定装置1は、撮影映像が短い場合、基準画像90と参照画像91とを全て組み合わせて、画像解析処理を行う。また、カメラ姿勢推定装置1は、撮影映像が長い場合、処理負荷が高くなるので、撮影映像を一定時間(例えば、30秒)毎に分割し、分割した撮影映像毎に画像解析処理を行ってもよい。さらに、カメラ姿勢推定装置1は、撮影映像が長い場合、撮影映像にシーン抽出処理を施して、同一シーンの撮影映像毎に画像解析処理を行ってもよい。
Note that the camera
図1に戻り、カメラ姿勢推定装置1の構成について、説明を続ける。
推定結果判定手段30は、画像解析手段20の推定結果がどの程度の精度であるかを判定するものであり、不均一度算出手段31と、偏在度算出手段33と、評価値判定手段35とを備える。
Returning to FIG. 1, the description of the configuration of the camera
The estimation
不均一度算出手段31は、基準画像90のブロック(分割領域)毎に、姿勢情報を用いて再投影誤差の平均値を算出し、不均一度Dを算出するものである。
この再投影誤差とは、被写体Obj上の対応点を基準画像90に再投影した2次元座標(再投影位置)と、画像解析手段20が抽出した対応点の2次元座標(画像内座標)との誤差を示す。
The non-uniformity calculation means 31 calculates the average value of the reprojection error using posture information for each block (divided region) of the
This reprojection error is a two-dimensional coordinate (reprojection position) obtained by reprojecting a corresponding point on the subject Obj onto the
偏在度算出手段33は、基準画像90の各ブロックに含まれる対応点の数に基づいて、偏在度Sを算出するものである。
評価値判定手段35は、偏在度Sと不均一度Dとの比である評価値Cに基づいて、撮影映像について、高精度区間と、中精度区間と、低精度区間とを判定するものである。
The uneven distribution degree calculating means 33 calculates the uneven distribution degree S based on the number of corresponding points included in each block of the
The evaluation
<推定結果判定手段による判定>
図4,図5を参照し、推定結果判定手段30による判定について、説明する(適宜図1参照)。
カメラ姿勢推定装置1は、正解となるカメラ姿勢を有していない。このため、推定結果判定手段30は、推定条件が良いか悪いかを拠り所として、間接的に推定結果の精度を判定することになる。ここで、本願発明者は、以下(A)〜(D)の知見を得ている。
<Determination by estimation result judging means>
The determination by the estimation
The camera
(A)動画像中で推定対象のフレーム画像(基準画像)と他のフレーム画像(参照画像)とで同一の特徴点、つまり、対応点が少ない場合、カメラ姿勢の推定が破綻しやすい傾向にある。無論、カメラ姿勢の推定に必要な対応点数を満たさなければ、カメラ姿勢の推定そのものを行えない。 (A) In a moving image, when the estimation target frame image (reference image) and other frame images (reference images) have the same feature points, that is, there are few corresponding points, camera posture estimation tends to fail. is there. Of course, if the number of corresponding points necessary for camera posture estimation is not satisfied, camera posture estimation itself cannot be performed.
(B)対応点は、特徴点の特徴ベクトルの類似度から求められるが、必ずしも正解ではなく、誤対応点が含まれる。推定対象のフレーム画像において、対応点における誤り率、つまり、誤対応の割合が多い場合、推定精度の低下又は推定の破綻を引き起こす。 (B) The corresponding points are obtained from the similarity of the feature vectors of the feature points, but are not necessarily correct and include incorrect corresponding points. In the estimation target frame image, when the error rate at corresponding points, that is, the ratio of erroneous correspondence is large, the estimation accuracy is degraded or the estimation is broken.
(C)最適化によって、姿勢情報と、対応点の3次元位置とが求まる。求めた姿勢情報及びレンズ情報を用いて、求めた対応点の3次元座標(空間位置)を撮影カメラCの撮像面(基準画像90)に再投影する。この対応点の2次元座標(再投影位置)と、画像解析処理により求めた2次元座標(画像内位置)とは、本来、同一位置になる。なぜならば、最適化処理は、対応点を撮像面に再投影した再投影位置と、画像解析処理により求めた対応点とについて、両位置の距離の総和平均をコスト関数とし、このコスト関数を最小とする処理のためである。
なお、再投影の手法については、説明を後記する。
(C) By the optimization, the posture information and the three-dimensional position of the corresponding point are obtained. Using the obtained posture information and lens information, the three-dimensional coordinates (spatial position) of the obtained corresponding points are reprojected on the imaging surface (reference image 90) of the photographing camera C. The two-dimensional coordinates (reprojection position) of the corresponding points and the two-dimensional coordinates (position in the image) obtained by the image analysis process are originally the same position. This is because the optimization process uses the sum of the distances of both positions as the cost function for the reprojection position where the corresponding point is reprojected on the imaging surface and the corresponding point obtained by the image analysis process. This is because of the processing.
The reprojection method will be described later.
従って、誤対応がある場合、図4に示すように、対応点921と、この対応点921を撮影カメラCの撮像面(基準画像90)に再投影した位置921´とが、同一位置にならない。つまり、対応点921の再投影誤差Δ1は、対応点921と再投影位置921´との位置ずれを示す。
なお、対応点922,923も対応点921と同様のため、説明を省略する。
Therefore, when there is an erroneous correspondence, as shown in FIG. 4, the corresponding
Since the corresponding
一般的に、推定が上手く行えたか否かを判定する尺度には、従来の再投影誤差の総和平均が用いられる。この再投影誤差の総和平均は、対応点がフレーム画像に均一に分散し、各対応点における再投影誤差が一様に小さくなるならば、推定精度を正しく評価することができる。しかし、再投影誤差が大きくなる場合、推定精度が低下又は推定が破綻している可能性が高い。最適化処理では、統計的にカメラ姿勢を推定するため、例えば、対応点が偏在する場合、その偏在部位が適切に最適化されない状態となり、全体として真値から外れた値に収束することとなる。この場合、再投影誤差の大きい対応点は、その数が少ないため、最適化にあまり寄与しないか、又は、外れ値として除外されることになる。従って、再投影誤差が不均一であるか否かを基準画像のブロック毎に評価することで、再投影誤差がある程度の範囲に収まっている場合でも、推定精度が低いか否かを判定できる。 In general, a conventional average of reprojection errors is used as a scale for determining whether or not the estimation is successful. With respect to the total average of the reprojection errors, if the corresponding points are uniformly distributed in the frame image and the reprojection error at each corresponding point is uniformly reduced, the estimation accuracy can be correctly evaluated. However, when the reprojection error becomes large, there is a high possibility that the estimation accuracy is lowered or the estimation is broken. In the optimization process, since the camera posture is statistically estimated, for example, when the corresponding points are unevenly distributed, the unevenly distributed portion is not appropriately optimized and converges to a value deviating from the true value as a whole. . In this case, since the number of corresponding points having a large reprojection error is small, it does not contribute much to the optimization, or is excluded as an outlier. Therefore, by evaluating whether or not the reprojection error is uneven for each block of the reference image, it is possible to determine whether or not the estimation accuracy is low even if the reprojection error is within a certain range.
(D)推定対象のフレーム画像で対応点が偏在する場合、その偏在部分でオーバーフィッティング(過学習)することとなり、推定精度が低下する。 (D) When the corresponding points are unevenly distributed in the frame image to be estimated, overfitting (overlearning) is performed at the unevenly distributed portion, and the estimation accuracy decreases.
ここで、評価値Cを用いるまでもなく、(A)を判定することができる。(B)については、誤対応であるか否かの判定が困難であるが、(C)及び(D)の評価に包含することができる。従って、(C)及び(D)の知見から、評価値Cは、以下のように求めることができる。 Here, it is possible to determine (A) without using the evaluation value C. Regarding (B), it is difficult to determine whether or not it is a mishandling, but it can be included in the evaluation of (C) and (D). Therefore, from the knowledge of (C) and (D), the evaluation value C can be obtained as follows.
不均一度Dは、式(1)に示すように、再投影誤差平均値の最大EreproMaxと、再投影誤差平均値の最小EreproMinとの比で表される。 Inhomogeneity D, as shown in equation (1), the maximum E ReproMax reprojection error average value, expressed as the ratio between the minimum E ReproMin reprojection error average value.
この場合、不均一度算出手段31は、図5の破線で図示したように、基準画像90を4個のブロックに分割し、各対応点で再投影誤差を求める。そして、不均一度算出手段31は、各ブロックに含まれる対応点の再投影誤差を平均し、ブロック毎に再投影誤差平均値を求める。さらに、不均一度算出手段31は、最大誤差となるブロックの再投影誤差平均値をEreproMaxとし、最小誤差となるブロックの再投影誤差平均値をEreproMinとして、式(1)を用いて、不均一度Dを算出する。
In this case, the non-uniformity calculation means 31 divides the
偏在度Sは、式(2)に示すように、ブロックの中で最小の対応点の数NMin及びブロックの中で2番目に少ない対応点の数NMin2ndの加算値を、ブロック毎の対応点の数Niの総和で除算する式で定義される。 As shown in the equation (2), the uneven distribution degree S is obtained by adding an addition value of the minimum number of corresponding points N Min in the block and the second smallest number of corresponding points N Min2nd in the block. It is defined by the formula and dividing by the sum of the number N i of the point.
この場合、偏在度算出手段33は、図5に示すように、基準画像90を4個のブロックに分割し、各ブロックに含まれる対応点の数をカウントする。そして、偏在度算出手段33は、対応点が最小となるブロックの対応点数をNMinとし、対応点が2番目に少ないブロックの対応点数をNMin2ndとして、式(2)を用いて、偏在度Sを算出する。
In this case, the uneven distribution degree calculating means 33 divides the
評価値Cは、式(3)に示すように、偏在度Sと不均一度Dとの比で表される。この評価値Cは、値が大きくなるほど推定精度が高いことを示し、値が小さくなるほど推定精度が低いことを示す。 The evaluation value C is represented by the ratio between the uneven distribution degree S and the nonuniformity degree D, as shown in Expression (3). The evaluation value C indicates that the estimation accuracy is higher as the value is larger, and the estimation accuracy is lower as the value is smaller.
評価値判定手段35は、各基準画像から評価値Cを算出し、式(4)を用いて、評価値Cが閾値Cth未満であるか否かを判定する。具体的には、評価値判定手段35は、式(4)を満たさない場合、基準画像が高精度区間に属すると判定する。一方、評価値判定手段35は、式(4)を満たす場合、この基準画像が高精度区間以外の区間(中精度区間又は低精度区間の何れか)に属すると判定する。
The evaluation value determination means 35 calculates an evaluation value C from each reference image, and determines whether or not the evaluation value C is less than the threshold value Cth using the equation (4). Specifically, the evaluation
前記したように、対応点の数が少ない場合、推定精度の低下又は推定の破綻を引き起こす。また、対応点探索処理の時点において、ある程度の対応点が残っている場合でも、外れ値除外処理により対応点の数が減少することもある。このため、評価値判定手段35は、最適化処理後の対応点数を用いて、高精度区間以外に属すると判定された区間について、中精度区間としての再推定が行えるか否かを判定する。 As described above, when the number of corresponding points is small, the estimation accuracy is lowered or the estimation is broken. Further, even if a certain amount of corresponding points remain at the time of the corresponding point search process, the number of corresponding points may be reduced by the outlier exclusion process. For this reason, the evaluation value determination means 35 determines whether or not re-estimation as a medium accuracy interval can be performed for the interval determined to belong to other than the high accuracy interval, using the number of corresponding points after the optimization process.
ここで、最適化処理後に残った対応点が、高精度区間の基準画像と、高精度区間以外の参照画像とに含まれる場合を考える。この場合、高精度区間以外の参照画像に含まれる対応点の数をPCとする。そして、評価値判定手段35は、式(5)に示すように、この対応点数PCが閾値Pthを超えるか否かを判定する。
Here, let us consider a case where the corresponding points remaining after the optimization processing are included in the reference image in the high accuracy section and the reference image other than the high accuracy section. In this case, the number of corresponding points and P C included in the reference image other than the high-precision interval. The evaluation
評価値判定手段35は、式(5)を満たす場合、基準画像が中精度区間に属すると判定する。一方、評価値判定手段35は、式(5)を満さない場合、基準画像が低精度区間に属すると判定する。
The evaluation
その後、推定結果判定手段30は、高精度区間について、姿勢情報を第1補間処理手段40に出力する。また、推定結果判定手段30は、中精度区間について、姿勢情報と、センサ情報と、レンズ情報と、対応点情報とを再推定手段50に出力する。さらに、推定結果判定手段30は、低精度区間について、センサ情報を第2補間処理手段60に出力する。
なお、対応点情報とは、基準画像内での対応点の2次元座標と、被写体上の対応点の3次元座標とを示す。
Thereafter, the estimation
Note that the corresponding point information indicates two-dimensional coordinates of corresponding points in the reference image and three-dimensional coordinates of corresponding points on the subject.
なお、閾値Cth及び閾値Pthは、経験的に求めた値を手動で設定することとし、撮影映像のサイズや品質などにより調整することが好ましい。本実施形態では、例えば、閾値Cth=0.05とし、閾値Pth=100とに設定した。 The threshold value C th and the threshold value P th are preferably set manually based on empirically obtained values, and are preferably adjusted according to the size and quality of the captured video. In this embodiment, for example, the threshold value C th = 0.05 and the threshold value P th = 100 are set.
<再投影の手法>
以下、再投影の手法について、説明する。
再投影を行うための射影変換は、式(6)及び式(7)で定義することができる。
<Reprojection method>
Hereinafter, the reprojection method will be described.
Projective transformation for performing reprojection can be defined by equations (6) and (7).
この式(6)及び式(7)では、対応点の3次元座標を(Xworld,Yworld,Zworld)、撮影カメラCの回転行列をR、撮影カメラCの並進行列をT、撮影カメラCの撮像面中心を(ox,oy)、撮影カメラCの画素サイズを(kx,ky)、撮影カメラCのレンズの焦点距離をf、撮影カメラCの撮像面の2次元座標を(ximage,yimage)とする。 In the equations (6) and (7), the three-dimensional coordinates of the corresponding points are (X world , Y world , Z world ), the rotation matrix of the imaging camera C is R, the parallel progression sequence of the imaging camera C is T, and the imaging camera The center of the imaging surface of C is (o x , o y ), the pixel size of the photographing camera C is (k x , k y ), the focal length of the lens of the photographing camera C is f, and the two-dimensional coordinates of the photographing surface of the photographing camera C Let (x image , y image ) be
さらに、撮影カメラCのレンズには歪みがあるので、式(8)及び式(9)を用いて、撮影カメラCの撮像面の2次元座標(ximage,yimage)に、この歪みを反映させる。 Furthermore, since the lens of the photographing camera C is distorted, the distortion is reflected in the two-dimensional coordinates (x image , y image ) of the imaging surface of the photographic camera C using the equations (8) and (9). Let
この式(8)及び式(9)では、歪み補正後の撮像面の2次元座標を(xu,yu)、歪み補正前の撮像面の2次元座標を(xd,yd)、撮影カメラCのレンズ中心である歪み中心を(xc,yc)、n次湾曲歪み係数をKn、n次タンジェンシャル歪み係数をPn、撮影カメラCのレンズ中心(xc,yc)から2次元座標(xd,yd)までの距離をrとする。 In the equations (8) and (9), the two-dimensional coordinates of the imaging surface after distortion correction are (x u , yu ), the two-dimensional coordinates of the imaging surface before distortion correction are (x d , y d ), The center of distortion that is the lens center of the photographing camera C is (x c , y c ), the n-th order bending distortion coefficient is K n , the n-th order tangential distortion coefficient is P n , and the lens center (x c , y c) of the photographing camera C. ) To the two-dimensional coordinates (x d , y d ).
つまり、式(7)で表される撮像面の2次元座標(ximage,yimage)が、式(8)及び式(9)で表される撮像面の2次元座標(xd,yd)に相当する。また、本実施形態では、1次湾曲歪み係数K1及び2次湾曲歪み係数K2のみを考慮し(n=1,2)、レンズ中心(xc,yc)及びタンジェンシャル歪みを考慮していない。 That is, the two-dimensional coordinates (x image , y image ) of the imaging surface represented by Expression (7) are the two-dimensional coordinates (x d , y d ) of the imaging surface represented by Expression (8) and Expression (9). ). In the present embodiment, only the primary bending distortion coefficient K 1 and the secondary bending distortion coefficient K 2 are considered (n = 1, 2), and the lens center (x c , y c ) and tangential distortion are considered. Not.
なお、歪みを反映させる手法は、下記の参考文献に記載されているため、これ以上の説明を省略する。
参考文献「de Villiers, J. P.; Leuschner, F.W.; Geldenhuys, R. (17-19 November 2008). "Centi-pixel accurate real-time inverse distortion correction" . 2008 International Symposium on Optomechatronic Technologies. SPIE. doi:10.1117/12.804771」
In addition, since the method of reflecting distortion is described in the following reference, further description is abbreviate | omitted.
Reference "de Villiers, JP; Leuschner, FW; Geldenhuys, R. (17-19 November 2008)." Centi-pixel accurate real-time inverse distortion correction ". 2008 International Symposium on Optomechatronic Technologies. SPIE. Doi: 10.1117 / 12.804771 "
なお、本願発明は、前記レンズモデルに限定されず、他のレンズモデルを適用してもよい。
また、本願発明は、レンズの歪みを考慮せずに、再投影を行ってもよい。
In addition, this invention is not limited to the said lens model, You may apply another lens model.
In the present invention, re-projection may be performed without taking lens distortion into consideration.
図1に戻り、カメラ姿勢推定装置1の構成について、説明を続ける。
第1補間処理手段40は、高精度区間における撮影カメラCの姿勢推定結果として、推定結果判定手段30からの姿勢情報を出力するものである。すなわち、高精度区間では、画像解析処理により求められた姿勢情報が、そのまま出力される。
Returning to FIG. 1, the description of the configuration of the camera
The first
再推定手段50は、センサ情報を拘束条件とした最適化処理(例えば、バンドルアジャストメント)により、姿勢情報と、レンズ情報と、対応点情報とを用いて、撮影カメラCの姿勢を再推定するものである。そして、再推定手段50は、再推定した撮影カメラCの姿勢を、中精度区間の姿勢推定結果として出力する。
The
<再推定手段による再推定>
図6を参照し、再推定手段50による再推定について、説明する(適宜図1参照)。
最適化処理後に残った対応点が、中精度区間に属するフレーム画像と、高精度区間に属するフレーム画像とに含まれる場合を考える。この高精度区間のフレーム画像に含まれる対応点を「残存対応点」と呼ぶことがある。
<Re-estimation by re-estimation means>
With reference to FIG. 6, the re-estimation by the re-estimator 50 will be described (see FIG. 1 as appropriate).
Consider a case where the corresponding points remaining after the optimization processing are included in the frame image belonging to the medium accuracy interval and the frame image belonging to the high accuracy interval. Corresponding points included in the frame image of this high-accuracy section may be referred to as “residual corresponding points”.
再推定手段50は、中精度区間では、姿勢情報及びセンサ情報に加えて、対応点情報も利用して再推定を行う。中精度区間は、最適化処理において、真値以外に収束したか、又は、カメラ姿勢の推定が破綻した状態である。このため、中精度区間のフレーム画像に含まれる対応点の2次元座標を用いても、高い精度でカメラ姿勢を推定することが困難である。一方、高精度区間において、最適化処理後に残った対応点(残存対応点)は、3次元座標を有している。従って、中精度区間において、この残存対応点と対応関係がある対応点は、3次元座標に紐付けることが可能になる。さらに、センサ情報のうち、撮影カメラCの方向を示す回転情報も利用可能である。 The re-estimating means 50 performs re-estimation using the corresponding point information in addition to the posture information and the sensor information in the medium accuracy section. The medium accuracy interval is a state in which the optimization process has converged to a value other than the true value or the camera posture estimation has failed. For this reason, it is difficult to estimate the camera posture with high accuracy even if the two-dimensional coordinates of the corresponding points included in the frame image in the medium accuracy section are used. On the other hand, corresponding points (remaining corresponding points) remaining after the optimization processing in the high-precision section have three-dimensional coordinates. Accordingly, in the medium accuracy section, the corresponding point having a corresponding relationship with the remaining corresponding point can be associated with the three-dimensional coordinate. Further, rotation information indicating the direction of the photographing camera C can be used in the sensor information.
まず、再推定手段50は、中精度区間に属するフレーム画像の対応点に対応した、残存対応点の3次元座標を、対応点情報から得ることができる。また、再推定手段50は、センサ情報から回転情報を抽出する。このとき、再推定手段50は、接続点で回転情報が一致するように、後記する回転情報の接続処理を施す。
なお、接続点とは、時間方向において、高精度区間に属するフレーム画像と、中精度区間又は低精度区間に属するフレーム画像とが接する部分のことである。
First, the re-estimating means 50 can obtain the three-dimensional coordinates of the remaining corresponding points corresponding to the corresponding points of the frame image belonging to the medium accuracy section from the corresponding point information. Further, the
The connection point is a portion where the frame image belonging to the high accuracy section and the frame image belonging to the medium accuracy section or the low accuracy section are in contact with each other in the time direction.
次に、再推定手段50は、回転情報及びレンズ情報を拘束条件として、各対応点の3次元座標を撮像面に再投影した位置と、画像解析により得た対応点の2次元位置との距離の総和平均値が最小となるように、最適化処理を行う。具体的には、再推定手段50は、図6に示すように、3次元座標で表された被写体Objの対応点92を撮影カメラCの撮像面93に投影する。このとき、再推定手段50は、回転情報が示す方向に撮像面93を向ける。そして、再推定手段50は、被写体Objの対応点92と、撮像面93に投影された特徴点92との延長線94を求める。さらに、再推定手段50は、全ての延長線94が撮影カメラCの光学主点に収束するように、姿勢情報が示す撮影カメラC(レンズの光学主点)の位置を最適化する。
なお、図6では、図面を見やすくするため、一部符号のみを図示した。
また、撮影カメラCの撮像面93とは、撮影映像を構成するフレーム画像(基準画像90)のことである。
Next, the re-estimating means 50 uses the rotation information and lens information as constraint conditions, and the distance between the position where the three-dimensional coordinates of each corresponding point are reprojected on the imaging surface and the two-dimensional position of the corresponding point obtained by image analysis. The optimization process is performed so that the total average value of is minimized. Specifically, the
In FIG. 6, only a part of the reference numerals are shown for easy viewing of the drawing.
Further, the
図1に戻り、カメラ姿勢推定装置1の構成について、説明を続ける。
第2補間処理手段60は、低精度区間における撮影カメラCの姿勢推定結果として、推定結果判定手段30からのセンサ情報を出力するものである。
ここで、低精度区間では姿勢情報を利用できない。そこで、第2補間処理手段60は、センサ情報から回転情報と、位置情報とを抽出する。また、第2補間処理手段60は、低精度区間と、中精度区間及び高精度区間との接続点について、回転情報の接続処理と、位置情報の接続処理とを行い、内挿補間する。
Returning to FIG. 1, the description of the configuration of the camera
The second interpolation processing means 60 outputs the sensor information from the estimation result determination means 30 as the posture estimation result of the photographing camera C in the low accuracy section.
Here, posture information cannot be used in a low-precision section. Therefore, the second interpolation processing means 60 extracts rotation information and position information from the sensor information. Further, the second interpolation processing means 60 performs rotation information connection processing and position information connection processing on the connection points of the low accuracy section, the medium accuracy section, and the high accuracy section, and performs interpolation.
<回転情報の接続処理>
図7,図8を参照し、再推定手段50で行われる回転情報の接続処理について、説明する(適宜図1参照)。
<Rotation information connection processing>
The rotation information connection process performed by the re-estimator 50 will be described with reference to FIGS. 7 and 8 (see FIG. 1 as appropriate).
図7に示すように、姿勢計測手段Caで計測されたセンサ情報の世界座標系αと、画像解析処理で求められた姿勢情報の世界座標系βとが、異なっている。このため、再推定手段50は、世界座標系α,βを整合させる接続処理を行う。 As shown in FIG. 7, the world coordinate system α of the sensor information measured by the posture measuring means Ca and the world coordinate system β of the posture information obtained by the image analysis process are different. For this reason, the re-estimation means 50 performs a connection process for matching the world coordinate systems α and β.
ここで、接続処理は、センサ情報のドリフト成分を抑制するため、撮影映像全体を処理対象とするのではなく、接続点に前後する短い区間(時間)を対象とする。
具体的には、再推定手段50は、式(10)に示すように、姿勢情報に含まれる回転行列Riを基準として、センサ情報に含まれる回転行列Rsを整合させる。すなわち、再推定手段50は、回転行列Rsと、回転行列Rsの逆行列Rs −1と、回転行列Riとを乗算する。
Here, in order to suppress the drift component of the sensor information, the connection process does not target the entire captured video, but targets a short section (time) around the connection point.
Specifically, the
図8に示すように、この中精度区間95の前側F及び後側Bでは、ドリフト成分の誤差が生じている可能性がある(図8の符号A)。そこで、再推定手段50は、中精度区間95の前側Fにおいて、逆行列Rs −1により、回転行列Ri,Rsを一致させる。さらに、再推定手段50は、中精度区間95の後側Bを一致させた際に生じる回転行列Rsの誤差成分を4元数で表し、フレーム間距離を用いて、回転行列Rsの誤差成分を線形に配分する。これによって、再推定手段50は、中精度区間95と高精度区間96との接続点において、回転成分のショックを低減し、回転情報が急激に変化することを防止できる(図8の符号A´)。
なお、第2補間処理手段60は、再推定手段50と同様、低精度区間と、中精度区間又は高精度区間との接続点で、回転情報の接続処理を行うため、説明を省略する。
As shown in FIG. 8, there is a possibility that a drift component error has occurred on the front side F and the rear side B of the medium accuracy interval 95 (reference A in FIG. 8). Therefore, the
Note that the second
<位置情報の接続処理>
図9,図10を参照し、第2補間処理手段60で行われる位置情報の接続処理について、説明する(適宜図1参照)。
<Location information connection processing>
The position information connection process performed by the second interpolation processing means 60 will be described with reference to FIGS. 9 and 10 (see FIG. 1 as appropriate).
この低精度区間の前後において、並進成分は、回転成分よりも大きな誤差が生じる。
まず、第2補間処理手段60は、低精度区間の前側において、平行移動によって、姿勢情報に含まれる撮影カメラCの位置と、センサ情報に含まれる撮影カメラC´の位置とを一致させる。具体的には、第2補間処理手段60は、図9に示すように、位置情報が示す撮影カメラCの位置まで、センサ情報が示す撮影カメラC´の位置を平行移動させて、撮影カメラC,C´の位置を一致させる。
Before and after this low accuracy section, the translation component has a larger error than the rotation component.
First, the second
次に、第2補間処理手段60は、低精度区間の後側において、空間のせん断処理、又は、スケーリング処理の何れかを行って、姿勢情報に含まれる位置情報と、センサ情報に含まれる位置情報とを一致させる。これによって、第2補間処理手段60は、接続点において、並進成分のショックを低減し、位置情報が急激に変化することを防止できる。 Next, the second interpolation processing means 60 performs either spatial shearing processing or scaling processing on the rear side of the low-accuracy section, and the position information included in the posture information and the position included in the sensor information. Match information. Thereby, the second interpolation processing means 60 can reduce the shock of the translation component at the connection point and prevent the position information from changing suddenly.
空間のせん断処理とは、3次元空間のX,Y,Z軸で、アフィン変換のせん断を行うことである。例えば、X軸方向のせん断であれば、図10(a)に示すように、X軸方向への変位がY座標値に比例させる。また、X軸方向のせん断では、図10(b)に示すように、X軸方向への変位をZ座標値に比例させてもよい。この図10では、アフィン変換前を実線で図示し、アフィン変換後を破線で図示した。 Spatial shearing is to perform affine transformation shearing on the X, Y, and Z axes in a three-dimensional space. For example, in the case of shear in the X-axis direction, as shown in FIG. 10A, the displacement in the X-axis direction is proportional to the Y coordinate value. In shearing in the X-axis direction, as shown in FIG. 10B, the displacement in the X-axis direction may be proportional to the Z coordinate value. In FIG. 10, the affine transformation is shown by a solid line, and the affine transformation is shown by a broken line.
スケーリング処理とは、低精度区間の前側を回転軸とし、低精度区間の後側が一致するよう回転及びスケーリングを行う処理のことである。
なお、本実施形態では、第2補間処理手段60が空間のせん断を行っている。
The scaling process is a process of performing rotation and scaling so that the front side of the low precision section is the rotation axis and the rear side of the low precision section is coincident.
In the present embodiment, the second
[カメラ姿勢推定装置の動作]
図11を参照し、カメラ姿勢推定装置1の動作について、説明する(適宜図1参照)。
ここで、記憶手段10は、撮影映像と、センサ情報と、レンズ情報とが記憶されていることとする。
[Operation of camera posture estimation device]
The operation of the camera
Here, it is assumed that the
カメラ姿勢推定装置1は、画像解析手段20によって、記憶手段10に記憶された撮影映像に画像解析処理を施すことで、姿勢情報を求める(ステップS1)。
カメラ姿勢推定装置1は、不均一度算出手段31によって、前記した式(1)を用いて、不均一度Dを算出する(ステップS2)。
カメラ姿勢推定装置1は、偏在度算出手段33によって、前記した式(2)を用いて、偏在度Sを算出する(ステップS3)。
The camera
In the camera
The camera
カメラ姿勢推定装置1は、評価値判定手段35によって、前記した式(3)を用いて、評価値Cを算出する(ステップS4)。
カメラ姿勢推定装置1は、評価値判定手段35によって、評価値Cが閾値Cth未満であるか否かを判定する(ステップS5)。
評価値Cが閾値Cth未満の場合(ステップS5でYes)、カメラ姿勢推定装置1は、評価値判定手段35によって、対応点数PCが閾値Pthを超えるか否かを判定する(ステップS6)。
The camera
The camera
If the evaluation value C is less than the threshold C th (Yes in step S5), and the camera
対応点数PCが閾値Pthを超える場合(ステップS6でYes)、カメラ姿勢推定装置1は、再推定手段50によって、センサ情報を拘束条件とした最適化処理により、姿勢情報と、レンズ情報と、対応点情報とを用いて、再推定を行う(ステップS7)。
If the corresponding points P C exceeds the threshold value P th (Yes in step S6), and camera
対応点数PCが閾値Pth以下の場合(ステップS6でNo)、カメラ姿勢推定装置1は、第2補間処理手段60によって、低精度区間における撮影カメラCの姿勢推定結果として、センサ情報を出力する(ステップS8)。
Corresponding points P if C is less than the threshold value P th (No in step S6), and the camera
評価値Cが閾値Cth以上の場合(ステップS5でNo)、カメラ姿勢推定装置1は、高精度区間における撮影カメラCの姿勢推定結果として、姿勢情報を出力する(ステップS9)。
When the evaluation value C is equal to or greater than the threshold value Cth (No in step S5), the camera
以上のように、カメラ姿勢推定装置1は、対応点が撮影映像に偏在し、各特徴点の再投影誤差が不均一になる場合でも、式(1)〜式(5)を用いて、不均一度D及び偏在度Sを正確に算出することができる。このため、カメラ姿勢推定装置1は、撮影カメラCの姿勢推定精度を正しく評価して、高い精度で撮影カメラの姿勢を推定することができる。
さらに、カメラ姿勢推定装置1は、再推定手段50によって、接続点で急激に撮影カメラCの姿勢が変化しないように再推定を行うので、滑らかなCG映像を制作できる。
As described above, the camera
Furthermore, since the camera
なお、カメラ姿勢推定装置1は、ディスクリートロジックや、FPGA(Field Programmable Gate Array)などを利用したハードウェアで実現することができる。また、カメラ姿勢推定装置1は、一般的なコンピュータを前記した各手段として協調動作させるソフトウェア(プログラム)で実現することもできる。
The camera
(変形例)
なお、本願発明は、前記した実施形態に限定されず、その趣旨を逸脱しない範囲で変形を加えることができる。
不均一度算出手段31及び偏在度算出手段33は、基準画像90を4個以外のブロックに分割してもよい。
また、不均一度算出手段31及び偏在度算出手段33は、基準画像90を矩形状のブロックに分割するのではなく、エッジ領域又は色領域で分割してもよい。
(Modification)
In addition, this invention is not limited to above-described embodiment, A deformation | transformation can be added in the range which does not deviate from the meaning.
The non-uniformity calculating unit 31 and the uneven
Further, the non-uniformity calculating unit 31 and the uneven
以下、基準画像90を4個のブロック以外に分割した場合について、評価値Cの算出手法を説明する(適宜図1参照)。
基本的には、推定結果判定手段30は、分散及び相関と、再投影誤差とを考慮して、評価値Cを算出する。
Hereinafter, a method for calculating the evaluation value C will be described for the case where the
Basically, the estimation
まず、不均一度算出手段31は、再投影誤差が一定以下となる対応点を抽出する。また、不均一度算出手段31は、基準画像内で対応点の分散(画像上の位置)を算出する。この分散は、2次元座標系の共分散でなく、対応点の重心位置からの距離に対する分散である。これによって、不均一度算出手段31は、式(11)に示すように、再投影誤差が小さい対応点が基準画像の特定箇所に集中しているか否かの判定指標(不均一度Dの二乗)を得ることができる。
この式(11)では、対応点の重心位置がx ̄であり、対応点の数がnであり、各対応点の距離がxjである。
First, the non-uniformity calculation means 31 extracts corresponding points where the reprojection error is below a certain level. Further, the non-uniformity calculating unit 31 calculates the variance (position on the image) of corresponding points in the reference image. This variance is not the covariance of the two-dimensional coordinate system but the variance with respect to the distance from the center of gravity of the corresponding point. As a result, the non-uniformity calculation means 31 determines whether or not corresponding points with small reprojection errors are concentrated at a specific location in the reference image (the square of the non-uniformity D), as shown in Equation (11). ) Can be obtained.
In this equation (11), the barycentric position of the corresponding point is x ̄, the number of corresponding points is n, and the distance between the corresponding points is x j .
偏在度算出手段33は、式(12)に示すように、基準画像内で対応点の相関を算出する。これによって、偏在度算出手段33は、再投影誤差が小さい対応点の偏在傾向の判定指標(偏在度S)を得ることができる。
この式(12)対応点の重心位置の2次元座標が(x ̄,y ̄)であり、対応点の2次元座標が(xj,yj)である。
The uneven distribution degree calculating means 33 calculates the correlation between corresponding points in the reference image as shown in the equation (12). Thereby, the uneven distribution degree calculating means 33 can obtain the determination index (the uneven distribution degree S) of the uneven distribution tendency of the corresponding points having a small reprojection error.
In this equation (12), the two-dimensional coordinates of the centroid position of the corresponding point are (x ̄, y ̄), and the two-dimensional coordinates of the corresponding point are (x j , y j ).
図12の例では、偏在度Sが‘0’に近い程、対応点が偏在していないことを示し、偏在度Sが‘1’に近い程、対応点が偏在していることを示す。この図12の例では、基準画像内での対応点の分布をドットで図示し、その偏在度Sを基準画像の上部に図示した。つまり、図12では、偏在度Sと、対応点の分布との関係を20パターン例示した。 In the example of FIG. 12, the closer the uneven distribution degree S is to “0”, the more uneven the corresponding points are, and the closer the uneven distribution degree S is to “1”, the more uneven the corresponding points are. In the example of FIG. 12, the distribution of corresponding points in the reference image is illustrated by dots, and the degree of unevenness S is illustrated at the top of the reference image. That is, FIG. 12 illustrates 20 patterns of the relationship between the uneven distribution degree S and the distribution of corresponding points.
ここで、基準画像を4個のブロック以外に分割した場合を考える。この場合、評価値判定手段35は、ブロック分割する手法と、ブロック分割しない手法とを利用することができる。 Here, consider a case where the reference image is divided into other than four blocks. In this case, the evaluation value determination means 35 can use a technique for dividing blocks and a technique for not dividing blocks.
ブロック分割する場合、評価値判定手段35は、ブロック毎に再投影誤差が一定以下の対応点数をカウントする。そして、評価値判定手段35は、対応点数が一定以上のブロックのフラグを‘1’、対応点数が一定未満のブロックのフラグを‘0’に設定する。さらに、評価値判定手段35は、フラグが‘1’に設定されたブロックに対し、前記した式(11)及び式(12)の算出手法(対応点を1ブロックの座標に置換)を適用することで、前記した(3)を用いて、評価値Cを算出できる。
When the block is divided, the evaluation
一方、評価値判定手段35は、ブロック分割せずに、再投影誤差が一定以下の対応点を点単位で利用する場合、それら対応点の座標を用いて、前記した式(11)及び式(12)の算出手法(対応点を1ブロックの座標に置換)を適用することで、前記した(3)を用いて、評価値Cを算出できる。
On the other hand, the evaluation
本願発明は、CG合成、拡張現実(AR:Augmented Reality)などの映像制作に利用することができる。 The present invention can be used for video production such as CG synthesis and augmented reality (AR).
1 カメラ姿勢推定装置
10 記憶手段
20 画像解析手段(カメラ姿勢推定手段)
30 推定結果判定手段
31 不均一度算出手段
33 偏在度算出手段
35 評価値判定手段
40 第1補間処理手段(高精度区間推定手段)
50 再推定手段(中精度区間推定手段)
60 第2補間処理手段(低精度区間推定手段)
100 カメラ姿勢推定システム
C 撮影カメラ
Ca 姿勢計測手段
Cb レンズ状態計測手段
DESCRIPTION OF
30 Estimation result determining means 31 Non-uniformity calculating means 33 Unevenness calculating means 35 Evaluation value determining means 40 First interpolation processing means (high-precision section estimating means)
50 Re-estimation means (medium precision interval estimation means)
60 Second interpolation processing means (low precision interval estimation means)
100 camera posture estimation system C photographing camera Ca posture measuring means Cb lens state measuring means
Claims (4)
前記撮影映像を構成するフレーム画像から特徴点を抽出し、異なる前記フレーム画像の間で同一の特徴点が対応付けられた対応点を探索し、外れ値除外処理及び最適化処理により、前記撮影カメラの姿勢を推定したカメラ姿勢推定情報と、前記フレーム画像に含まれる対応点の空間位置とを求めるカメラ姿勢推定手段と、
前記フレーム画像の分割領域毎に、前記カメラ姿勢推定情報を用いて、前記空間位置で表した対応点を前記フレーム画像に再投影した再投影位置と、前記カメラ姿勢推定手段が探索した対応点の画像内位置との再投影誤差平均値を算出し、前記再投影誤差平均値の最大及び最小の比である不均一度を算出する不均一度算出手段と、
前記フレーム画像の各分割領域に含まれる対応点の数に基づいて、前記対応点の偏在度を算出する偏在度算出手段と、
前記偏在度と前記不均一度との比である評価値に基づいて、前記撮影映像について、前記カメラ姿勢推定情報の推定精度が高い高精度区間と、当該推定精度が前記高精度区間よりも低い中精度区間と、当該推定精度が前記中精度区間よりも低い低精度区間とを判定する評価値判定手段と、
前記高精度区間における撮影カメラの姿勢推定結果として、前記カメラ姿勢推定情報を出力する高精度区間推定手段と、
前記カメラ姿勢計測情報を拘束条件とした最適化処理により、前記カメラ姿勢推定情報を用いて前記撮影カメラの姿勢を再推定して、前記中精度区間における撮影カメラの姿勢推定結果として出力する中精度区間推定手段と、
前記低精度区間における撮影カメラの姿勢推定結果として、前記カメラ姿勢計測情報を出力する低精度区間推定手段と、
を備えることを特徴とするカメラ姿勢推定装置。 A camera posture estimation device that estimates the posture of the photographing camera using a photographed image photographed by the photographing camera and camera posture measurement information obtained by posture measurement means mounted on the photographing camera measuring the posture of the photographing camera. Because
Extracting feature points from frame images constituting the photographed video, searching for corresponding points in which the same feature points are associated between different frame images, and performing the outlier removal processing and optimization processing, the photographing camera Camera posture estimation information for estimating the posture of the camera, and camera posture estimation means for obtaining a spatial position of the corresponding point included in the frame image;
For each divided region of the frame image, using the camera posture estimation information, a reprojection position obtained by reprojecting the corresponding point represented by the spatial position on the frame image, and a corresponding point searched by the camera posture estimation unit A non-uniformity calculating means for calculating a re-projection error average value with a position in the image and calculating a non-uniformity that is a maximum and minimum ratio of the re-projection error average value;
An uneven distribution degree calculating means for calculating an uneven distribution degree of the corresponding points based on the number of corresponding points included in each divided region of the frame image;
Based on an evaluation value that is a ratio between the degree of uneven distribution and the non-uniformity, a high-accuracy section in which the estimation accuracy of the camera posture estimation information is high for the captured video, and the estimation accuracy is lower than the high-precision section Evaluation value determination means for determining a medium accuracy interval and a low accuracy interval in which the estimation accuracy is lower than the medium accuracy interval;
High-precision section estimation means for outputting the camera posture estimation information as a posture estimation result of the photographing camera in the high-precision section;
Medium accuracy that re-estimates the posture of the photographing camera using the camera posture estimation information and outputs it as a posture estimation result of the photographing camera in the medium accuracy section by an optimization process using the camera posture measurement information as a constraint condition Interval estimation means;
As a posture estimation result of the photographing camera in the low accuracy section, a low accuracy section estimation means for outputting the camera posture measurement information,
A camera posture estimation apparatus comprising:
前記偏在度算出手段は、4つの前記分割領域毎に対応点の数を算出し、式(2)に示すように、前記分割領域の中で最小の対応点の数NMin及び前記分割領域の中で2番目に少ない対応点の数NMin2ndの加算値を、前記分割領域毎の対応点の数Niの総和で除算することで、前記偏在度Sを算出することを特徴とする請求項1に記載のカメラ姿勢推定装置。
The uneven distribution degree calculating means calculates the number of corresponding points for each of the four divided areas, and, as shown in Expression (2), the minimum number of corresponding points N Min in the divided areas and the number of the divided areas The uneven distribution degree S is calculated by dividing the addition value of the second smallest number of corresponding points N Min2nd by the sum of the number N i of corresponding points for each of the divided regions. The camera posture estimation apparatus according to 1.
前記カメラ姿勢計測情報から、前記撮影カメラの方向を示す回転情報を抽出し、
前記中精度区間のフレーム画像に含まれる対応点に対応する、前記高精度区間のフレーム画像に含まれる対応点の空間位置を求め、
当該空間位置で表した対応点を、前記回転情報が示す方向を指した撮影カメラの撮像面に投影し、
当該空間位置で表された対応点と前記撮像面に投影された対応点との延長線が前記撮影カメラの光学主点に収束するように、前記カメラ姿勢推定情報が示す撮影カメラの位置を最適化することを特徴とする請求項1又は請求項2に記載のカメラ姿勢推定装置。 The medium accuracy section estimation means is an optimization process using the camera posture measurement information as a constraint condition.
Extracting rotation information indicating the direction of the photographing camera from the camera posture measurement information,
Finding the spatial position of the corresponding point included in the frame image of the high-precision section corresponding to the corresponding point included in the frame image of the medium-precision section,
Projecting the corresponding point represented by the spatial position onto the imaging surface of the imaging camera pointing in the direction indicated by the rotation information,
The position of the photographing camera indicated by the camera posture estimation information is optimized so that an extension line between the corresponding point represented by the spatial position and the corresponding point projected on the imaging surface converges on the optical principal point of the photographing camera. The camera posture estimation apparatus according to claim 1 or 2, characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013092096A JP6061770B2 (en) | 2013-04-25 | 2013-04-25 | Camera posture estimation apparatus and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013092096A JP6061770B2 (en) | 2013-04-25 | 2013-04-25 | Camera posture estimation apparatus and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014216813A JP2014216813A (en) | 2014-11-17 |
JP6061770B2 true JP6061770B2 (en) | 2017-01-18 |
Family
ID=51942171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013092096A Active JP6061770B2 (en) | 2013-04-25 | 2013-04-25 | Camera posture estimation apparatus and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6061770B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11118915B2 (en) | 2019-09-11 | 2021-09-14 | Kabushiki Kaisha Toshiba | Position estimation device, moving-object control system, position estimation method, and computer program product |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6464934B2 (en) * | 2015-06-11 | 2019-02-06 | 富士通株式会社 | Camera posture estimation apparatus, camera posture estimation method, and camera posture estimation program |
CN108449945B (en) * | 2015-09-30 | 2020-12-08 | 索尼公司 | Information processing apparatus, information processing method, and program |
KR102462799B1 (en) * | 2015-11-05 | 2022-11-03 | 삼성전자주식회사 | Method and apparatus for estimating pose |
JP2021081850A (en) * | 2019-11-15 | 2021-05-27 | 株式会社東芝 | Location estimation device, location estimation method, and program |
IL272435B (en) * | 2020-02-03 | 2020-11-30 | Asherov Assaf | System and method for identifying a relative position and direction of a camera relative to an object |
KR102421067B1 (en) * | 2020-12-02 | 2022-07-13 | 한국항공대학교산학협력단 | Simultaneous estimation apparatus and method for simultaneously estimating the camera pose and 3d coordinates of the target object |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003279310A (en) * | 2002-03-22 | 2003-10-02 | Canon Inc | Apparatus and method for correcting position and attitude |
JP2003281504A (en) * | 2002-03-22 | 2003-10-03 | Canon Inc | Image pickup portion position and attitude estimating device, its control method and composite reality presenting system |
JP4859205B2 (en) * | 2005-02-04 | 2012-01-25 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
-
2013
- 2013-04-25 JP JP2013092096A patent/JP6061770B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11118915B2 (en) | 2019-09-11 | 2021-09-14 | Kabushiki Kaisha Toshiba | Position estimation device, moving-object control system, position estimation method, and computer program product |
Also Published As
Publication number | Publication date |
---|---|
JP2014216813A (en) | 2014-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6061770B2 (en) | Camera posture estimation apparatus and program thereof | |
CN109345588B (en) | Tag-based six-degree-of-freedom attitude estimation method | |
US10176554B2 (en) | Camera calibration using synthetic images | |
JP5832341B2 (en) | Movie processing apparatus, movie processing method, and movie processing program | |
JP6338021B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
US10762643B2 (en) | Method for evaluating image data of a vehicle camera | |
US8059887B2 (en) | System and method for providing mobile range sensing | |
JP5027747B2 (en) | POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, AND PROGRAM | |
KR20140014298A (en) | Planar mapping and tracking for mobile devices | |
JP6894707B2 (en) | Information processing device and its control method, program | |
JP5476264B2 (en) | Camera tracking device and program thereof | |
JP2008185375A (en) | 3d shape calculation device of sar image, and distortion correction device of sar image | |
CN112184811B (en) | Monocular space structured light system structure calibration method and device | |
JP2018113021A (en) | Information processing apparatus and method for controlling the same, and program | |
JP5439277B2 (en) | Position / orientation measuring apparatus and position / orientation measuring program | |
JP2017011328A (en) | Apparatus, method and program for image processing | |
WO2017094140A1 (en) | Object detection device and object detection method | |
JP6922348B2 (en) | Information processing equipment, methods, and programs | |
JP2006350465A (en) | Image matching device, image matching method, and program for image matching | |
KR102126722B1 (en) | Anti-Spoofing Method of Recognition of 3D-Subject | |
JP2002163647A (en) | Device and method for calculating lens distortion coefficient and computer readable recording medium recording lens distortion coefficient calculation program | |
JP2010145219A (en) | Movement estimation device and program | |
JP7195785B2 (en) | Apparatus, method and program for generating 3D shape data | |
JP6843552B2 (en) | Image processing equipment, image processing methods and programs. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6061770 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |