JP6989276B2 - 位置計測装置 - Google Patents
位置計測装置 Download PDFInfo
- Publication number
- JP6989276B2 JP6989276B2 JP2017075014A JP2017075014A JP6989276B2 JP 6989276 B2 JP6989276 B2 JP 6989276B2 JP 2017075014 A JP2017075014 A JP 2017075014A JP 2017075014 A JP2017075014 A JP 2017075014A JP 6989276 B2 JP6989276 B2 JP 6989276B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- camera
- measuring device
- position measuring
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
[1.構成]
図1に示す位置計測装置1は、複数の撮影画像を用いて撮影画像中の各点までの3次元距離を検出する装置である。
ここで、距離演算処理の前提となる非単焦点カメラモデルについて説明する。非単焦点カメラモデルは、カメラ前方に配置されたガラス等で光線が屈折する状況下においても、屈折後の光線の経路を正確に記述するためのモデルである。なお、カメラモデルは、カメラが撮影を行った時刻毎に個別に設定される。ここでは1つの時刻におけるカメラモデルについて説明する。
次に、処理部20のCPU21が実行する距離演算処理を、図5のフローチャートを用いて説明する。本処理は、予め設定された一定周期で、繰り返し実行される。
S140では、各時刻において、各カメラ11,12から得られた撮影画像のうち、いずれか一つを対象画像として選択する。
上述の位置計測装置1を用いて、3次元距離の計測を行った結果について説明する。この実験では、処理に利用する異なる時刻における撮影画像の組数、つまり、撮影画像の時刻数を変化させて、真の3次元点に対する平均二乗誤差を計測した。
(8)式にて示す正則化項の係数αを変更させて、真の3次元点に対する平均二乗誤差を計測した。なお、本実験では、低次の項に対する係数はα=0とし、高次の項に対する係数を変動させる。図8に示すように、高次の項の係数をα=0、つまり、正則化項が存在しない場合の誤差と比較して、高次の項のみに対する重みを大きくし、α=1000以上とすると、誤差が小さくなることが分かる。
以上詳述した本実施形態によれば、以下の効果が得られる。
(6a)上記実施形態の位置計測装置1において、処理部20は、S110で、複数の異なる時刻にて、互いに異なる視点から同一の撮影領域を含むように同時に撮影された複数組の画像を取得する。また、処理部20は、S120で、異なる時刻毎に、各組の画像のそれぞれから、同一の3次元位置を表す画像平面上の点である対応点を検出する。
このような構成によれば、撮影画像中に光線の屈折の影響が含まれる状況下においても、精度よく3次元距離計測を実現することができる。
(6h)上記実施形態において、処理部20は、S220で、復元点から画像上の各点の3次元距離を求めるように構成される。
[7.他の実施形態]
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。
未知点は、SHIFT法等によって撮影画像で対応する点の画像座標、つまり対応点が分かっている点であって3次元位置が未知な点を示す。基底点は、未知点に対してレーザレーダ等を組み合わせることで3次元位置が既知となった点を示す。基底点は、多数存在し、かつ基底点同士の奥行きが異なっていることが望ましい。
上記実施形態において処理部20のCPU21が実行する処理のうちのS110の処理は本開示でいう画像取得部に相当し、S120の処理は本開示でいう対応検出部に相当する。また、上記実施形態においてS150の処理は本開示でいう投影点算出部に相当する。また、上記実施形態においてS160〜S180の処理は本開示でいう復元点算出部に相当し、S210の処理は本開示でいう校正部に相当する。また、上記実施形態においてS220の処理は本開示でいう距離算出部に相当する。
Claims (7)
- 車両に搭載された位置計測装置であって、
複数の異なる時刻にて、互いに異なる視点から同一の撮影領域を含むように同時に撮影された複数組の画像を取得するように構成された画像取得部(21:S110)と、
前記異なる時刻毎に、各組の画像のそれぞれから、同一の3次元位置を表す画像平面上の点である対応点を検出するように構成された対応検出部(21:S120)と、
前記異なる時刻毎に、各組の画像についての各画像平面とワールド座標系の奥行きが異なる位置に設定される複数の共通平面との全ての組み合わせについて、前記画像平面から前記共通平面への非線形写像を得るための対応関係をカメラパラメータとして、前記異なる時刻毎に前記対応検出部にて検出された前記対応点のそれぞれを、予め設定されたカメラパラメータを用いて、前記複数の共通平面のそれぞれに投影した投影点を求めるように構成された投影点算出部(21:S150)と、
一つの前記画像平面上の前記対応点から求められる前記複数の共通平面上の各投影点を結ぶ線を光線として、前記異なる時刻毎に前記複数の画像平面のそれぞれについて求められる複数の光線に対する距離が最小となる点を、前記対応点の3次元位置を表す復元点として求めるように構成された復元点算出部(21:S160〜S180)と、
を備える位置計測装置(1)。 - 請求項1に記載の位置計測装置であって、
前記カメラパラメータを校正前のカメラパラメータとして、該校正前のカメラパラメータおよび前記復元点算出部にて求められる復元点に対してバンドル調整を行い、前記校正前のカメラパラメータを該バンドル調整によって得られる校正された後のカメラパラメータに更新するように構成された校正部(21:S210)、
をさらに備える位置計測装置。 - 複数の異なる時刻にて、互いに異なる視点から同一の撮影領域を含むように同時に撮影された複数組の画像を取得するように構成された画像取得部(21:S110)と、
前記異なる時刻毎に、各組の画像のそれぞれから、同一の3次元位置を表す画像平面上の点である対応点を検出するように構成された対応検出部(21:S120)と、
前記異なる時刻毎に、各組の画像についての各画像平面とワールド座標系の奥行きが異なる位置に設定される複数の共通平面との全ての組み合わせについて、前記画像平面から前記共通平面への非線形写像を得るための対応関係をカメラパラメータとして、前記異なる時刻毎に前記対応検出部にて検出された前記対応点のそれぞれを、予め設定されたカメラパラメータを用いて、前記複数の共通平面のそれぞれに投影した投影点を求めるように構成された投影点算出部(21:S150)と、
一つの前記画像平面上の前記対応点から求められる前記複数の共通平面上の各投影点を結ぶ線を光線として、前記異なる時刻毎に前記複数の画像平面のそれぞれについて求められる複数の光線に対する距離が最小となる点を、前記対応点の3次元位置を表す復元点として求めるように構成された復元点算出部(21:S160〜S180)と、
前記カメラパラメータを校正前のカメラパラメータとして、該校正前のカメラパラメータおよび前記復元点算出部にて求められる復元点に対してバンドル調整を行い、前記校正前のカメラパラメータを該バンドル調整によって得られる校正された後のカメラパラメータに更新するように構成された校正部(21:S210)、
を備える位置計測装置。 - 請求項2又は請求項3に記載の位置計測装置であって、
前記校正部は、前記バンドル調整に用いる評価関数として、校正前の前記復元点に関する投影点と、該投影点を通る前記光線に沿って、校正後の前記復元点を前記共通平面に投影した再投影点との距離を、前記異なる時刻において得られた全ての投影点について積分した値を用いる
ように構成された位置計測装置。 - 請求項2から請求項4のいずれか1項に記載の位置計測装置であって、
前記校正部は、前記バンドル調整に用いる評価関数として、前記複数の光線に対する距離を示す距離項と、時刻の遷移に伴うカメラパラメータの変動を示すパラメータ項とをコストとして表現したコスト関数を用いる
ように構成された位置計測装置。 - 請求項5に記載の位置計測装置であって、
前記校正部は、前記パラメータ項として、高次の項および低次の項を備え、前記高次の項に予め設定された係数を乗じ、前記提示の項には前記係数よりも重みづけが小さく設定された他の係数を乗じた値を用いる
ように構成された位置計測装置。 - 請求項1〜請求項6のいずれか1項に記載の位置計測装置であって、
前記復元点から前記画像上の各点の3次元距離を求めるように構成された距離算出部(21:S220)、
をさらに備える位置計測装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017075014A JP6989276B2 (ja) | 2017-04-05 | 2017-04-05 | 位置計測装置 |
US15/944,060 US20180295347A1 (en) | 2017-04-05 | 2018-04-03 | Apparatus for measuring three-dimensional position of object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017075014A JP6989276B2 (ja) | 2017-04-05 | 2017-04-05 | 位置計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018179577A JP2018179577A (ja) | 2018-11-15 |
JP6989276B2 true JP6989276B2 (ja) | 2022-01-05 |
Family
ID=63711364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017075014A Active JP6989276B2 (ja) | 2017-04-05 | 2017-04-05 | 位置計測装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180295347A1 (ja) |
JP (1) | JP6989276B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110310371B (zh) * | 2019-05-27 | 2023-04-04 | 太原理工大学 | 一种基于车载单目聚焦序列图像构建对象三维轮廓的方法 |
CN112435300B (zh) * | 2019-08-26 | 2024-06-04 | 华为云计算技术有限公司 | 定位方法及装置 |
CN110599605B (zh) | 2019-09-10 | 2021-07-13 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
DE102021119462A1 (de) | 2021-07-27 | 2023-02-02 | Lavision Gmbh | Verfahren zum Kalibrieren eines optischen Messaufbaus |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0781859B2 (ja) * | 1987-03-27 | 1995-09-06 | 日本アビオニクス株式会社 | 位置測定方法 |
JP2005322128A (ja) * | 2004-05-11 | 2005-11-17 | Rikogaku Shinkokai | ステレオ3次元計測用キャリブレーション方法及び3次元位置算出方法 |
US10664994B2 (en) * | 2013-02-25 | 2020-05-26 | Cognex Corporation | System and method for calibration of machine vision cameras along at least three discrete planes |
JP6446329B2 (ja) * | 2015-06-03 | 2018-12-26 | 株式会社日立製作所 | カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法 |
JP2017037053A (ja) * | 2015-08-14 | 2017-02-16 | 藤垣 元治 | 多数カメラによる高速度計測方法および装置 |
JP6560159B2 (ja) * | 2016-06-01 | 2019-08-14 | 株式会社Soken | 位置計測装置 |
-
2017
- 2017-04-05 JP JP2017075014A patent/JP6989276B2/ja active Active
-
2018
- 2018-04-03 US US15/944,060 patent/US20180295347A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2018179577A (ja) | 2018-11-15 |
US20180295347A1 (en) | 2018-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110447220B (zh) | 校准装置、校准方法、光学装置、摄影装置以及投影装置 | |
JP6989276B2 (ja) | 位置計測装置 | |
US20210041236A1 (en) | Method and system for calibration of structural parameters and construction of affine coordinate system of vision measurement system | |
JP6664000B2 (ja) | 較正装置、較正方法、光学装置、撮影装置、および投影装置 | |
JP5029618B2 (ja) | パターン投影法による3次元形状計測装置、方法およびプログラム | |
CN110099267B (zh) | 梯形校正系统、方法以及投影仪 | |
AU2007258684B2 (en) | Method and apparatus for obtaining photogrammetric data to estimate impact severity | |
JP6079333B2 (ja) | 校正装置、方法及びプログラム | |
US5832106A (en) | Method for camera calibration of range imaging system by use of neural network | |
CN105308627B (zh) | 一种标定相机的方法及其系统 | |
JP6519265B2 (ja) | 画像処理方法 | |
JP2013539147A5 (ja) | ||
CN103366360A (zh) | 信息处理设备和信息处理方法 | |
US7711507B2 (en) | Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium | |
KR102079258B1 (ko) | 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법 | |
CN109697736B (zh) | 测量系统的标定方法、装置、电子设备及可读存储介质 | |
JP2016100698A (ja) | 校正装置、校正方法、プログラム | |
CN105306922A (zh) | 一种深度相机参考图的获取方法和装置 | |
JP6869652B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
CN115775303A (zh) | 一种基于深度学习与光照模型的高反光物体三维重建方法 | |
WO2016135856A1 (ja) | 3次元形状計測システムおよびその計測方法 | |
CN113048938A (zh) | 一种合作目标设计及姿态角测量系统及方法 | |
JP5487946B2 (ja) | カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置 | |
CN113658270A (zh) | 基于工件孔心的多目视觉标定的方法、装置、介质及系统 | |
CN110462688A (zh) | 使用基于模型的峰值选择的三维轮廓确定系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6989276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |