JP7242431B2 - 三次元計測装置、三次元計測方法および三次元計測用プログラム - Google Patents
三次元計測装置、三次元計測方法および三次元計測用プログラム Download PDFInfo
- Publication number
- JP7242431B2 JP7242431B2 JP2019102437A JP2019102437A JP7242431B2 JP 7242431 B2 JP7242431 B2 JP 7242431B2 JP 2019102437 A JP2019102437 A JP 2019102437A JP 2019102437 A JP2019102437 A JP 2019102437A JP 7242431 B2 JP7242431 B2 JP 7242431B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- positions
- stereo image
- images
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
- G01B5/0035—Measuring of dimensions of trees
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/02—Stereoscopic photography by sequential recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Description
図1に本発明の基本的な原理を示す。図1(A)には、固定したカメラに対して回転台を回転させつつ、計測対象物(この場合は花)をカメラで撮影し、ステレオ写真測量の原理で計測対象物の三次元計測を行う場合が示されている。ここで、回転台に固定した座標系で考えると、回転台に対するカメラ位置(視点の位置)は、図1(B)に示すように回転台の回転中心を中心とする円周上に分布する。なお、図1(B)は、回転台の回転軸に沿った上の方向から回転台を見た視点で描かれている。これは、図2~図6も同じである。
図7には、植物120の三次元データを得るための三次元計測システム100が示されている。三次元計測システム100は、土台111、土台上でモータ等の駆動手段により回転する回転台112を備えている。回転台112には、三次元計測の計測対象物である植物122が載せられている。
計測対象物である植物120の三次元モデルの作成は、公知の三次元写真測量の原理に基づき行われる。三次元計測装置200は、汎用のPC(パーソナルコンピュータ)を利用して構成されている。三次元計測装置200は、カメラ131~133が撮影した画像のデータに基づき、植物120の三次元モデルを作成する。また、三次元計測装置200は、モータ駆動装置140に制御信号を送り、回転台112の回転制御を行う。また、三次元計測装置200は、カメラ131~133の撮影タイミングの制御を行う。
以下、回転台112上の植物120の点群位置データを得、更にこの点群位置データに基づき植物120の三次元モデルを作成する処理の一例を説明する。以下の処理は、三次元計測システム100を用いて行われる。以下に説明する処理を実行するプログラムは、記憶部290に記憶され、三次元計測装置200によって実行される。当該プログラムは、適当な記憶媒体や記憶サーバ等に記憶され、そこから提供される形態も可能である。
まず、回転台112とランダムドット柱121~123が写るようにカメラ131~133の位置と姿勢を設定する。その上で撮影を行う。撮影は、計測対象の植物120を載せた回転台112を等速で回転させながら、特定の時間間隔でカメラ131~133により行う。
カメラ位置の特定に係る処理は、カメラ131~133のそれぞれにおいて行われる。まず、図5に示す手法を用いて等角な角度位置にある複数箇所のカメラ位置を算出する(例えば、図5には12箇所のカメラ位置を選択した場合が示されている)。
全ての画像における回転台112に対するカメラ位置を求めたら、今度は隣接するカメラ位置でステレオ画像を構成し、当該ステレオ画像から抽出される特徴点の三次元座標位置を算出する。この際、図10の処理で求めた粗な点群の位置データも利用される。図11は、この処理のフローチャートの一例である。
本実施形態では、最初にすべてのカメラ位置を12方向⇒24方向⇒・・・と徐々にカメラ位置の数を増やしながら、その都度選択される各30°の角度位置にある12箇所のカメラ位置の組を順次求める。この際、選択するカメラ位置が閉ループで閉じており、それを徐々にずらしながら、計算を繰り返し、最終的に全画像に係るカメラ位置を求める。
回転台112の回転を精密に制御し、撮影時に回転を停止し、静止させた状態とする態様も可能である。例えば撮影時に長い露光時間が必要な場合や、対象が振動により生じた揺れが収束するまでに、この手法を利用することができる。また、計測の対象は植物に限定されない。
図10に示すカメラ位置の特定を全てのカメラ位置に対して行わない態様も可能である。例えば、図4に示す計測対象物(回転台)を囲む8箇所のカメラ位置を求めた段階で、図2に示す隣接するカメラ位置を順次求める処理に移行してもよい。この場合、既知なカメラ位置(1),(5),(9),(13),(17),(21),(25),(29)を初期値あるいは拘束点として、未知なカメラ位置の算出および新たに抽出された特徴点の算出が行われる。
各段階でバンドル調整計算を行なわず、全てのカメラ位置の算出の終了後にバンドル調整計算を行なってもよい。
図3の場合において、ステレオ画像として、(1)と(17),(9)と(25)のカメラ位置の組を選択してもよい。つまり、選択された(1),(9),(17),(25)の4箇所のカメラ位置から選択されるステレオ画像として、隣接しないカメラ位置のものを選択してもよい。これは、図4~図6の場合も同じである。
図12の右側に示すようなカメラの配置は、死角がない撮影を行う上で有効である。図12に示す方法では、上下に少なくとも4台のカメラを配置し、下方の2台のカメラは斜め上方向を向き、上方の2台のカメラは斜め下方向を向いている。そして、計測対象物の上側を相対的に上方に配置された斜め下指向のカメラと相対的に上方に配置された斜め上指向のカメラで撮影する。そして、計測対象物の下側を相対的に下方にある斜め下指向のカメラと相対的に下方に配置された斜め上指向のカメラで撮影する。勿論、上下方向における両組の撮影範囲は一部で重複している。こうすることで、上下方向における撮影範囲の死角の発生を抑制できる。
Claims (10)
- 計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付部と、
前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む3箇所以上のカメラ位置を選択するカメラ位置選択部と、
前記カメラ位置選択部が選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択部と、
前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出部と
を有し、
前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測装置。 - 計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付部と、
前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む3箇所以上のカメラ位置を選択するカメラ位置選択部と、
前記カメラ位置選択部が選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択部と、
前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出部と
を有し、
前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択されるカメラ位置が重複しない三次元計測装置。 - 前記カメラ位置選択部では、
前記計測対象物から見た角度位置が360°/N(Nは3以上の自然数)の位置にあるN箇所のカメラ位置を選択する1回目の選択と、
前記1回目に選択されたN箇所のカメラ位置に対して、前記計測対象物から見た角度位置が180°/Nずれた位置から、N箇所のカメラ位置を選択する2回目の選択と
が行なわれる請求項1または2に記載の三次元計測装置。 - 前記ランダムドット模様は、前記計測対象物が載せられた台に固定され、前記台から上方向に延在する長手部材の表面に形成されている請求項1~3のいずれか一項に記載の三次元計測装置。
- 前記長手部材の高さ方向の寸法は、前記台の上に載せられる前記計測対象物の高さ方向の寸法よりも大きい請求項4に記載の三次元計測装置。
- 前記台は、回転可能な請求項4または5に記載の三次元計測装置。
- 前記カメラに対して、前記台を回転させながら、前記カメラによる前記計測対象物の撮影が行われることで、前記計測対象物および前記ランダムドット模様を周囲の複数の視点から撮影した複数の画像データが得られ、
前記計測対象物を囲む3つ以上の位置を頂点とする多角形の中に前記計測対象物の回転中心が位置する請求項6に記載の三次元計測装置。 - 計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付ステップと、
前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む3箇所以上のカメラ位置を選択するカメラ位置選択ステップと、
前記カメラ位置選択ステップで選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択ステップと、
前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出ステップと
を有し、
前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測方法。 - コンピュータに読み取らせて実行させるプログラムであって、
コンピュータに
計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付ステップと、
前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む3箇所以上のカメラ位置を選択するカメラ位置選択ステップと、
前記カメラ位置選択ステップで選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択ステップと、
前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出ステップと
を実行させ、
前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測用プログラム。 - 前記カメラ位置選択部は、前記計測対象物を囲む3箇所以上のカメラ位置の1回目の選択と、前記計測対象物を囲む3箇所以上のカメラ位置の2回目の選択とを行い、
前記カメラの位置算出部は、
前記1回目に選択されたカメラ位置の算出と、
該算出において得られた前記カメラ位置を初期値とした前記2回目に選択されたカメラ位置の算出と
を行う請求項1または2に記載の三次元計測装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019102437A JP7242431B2 (ja) | 2019-05-31 | 2019-05-31 | 三次元計測装置、三次元計測方法および三次元計測用プログラム |
CN202080040427.8A CN113874677A (zh) | 2019-05-31 | 2020-02-25 | 三维测量装置、三维测量方法及三维测量用程序 |
US17/608,957 US11941852B2 (en) | 2019-05-31 | 2020-02-25 | Three-dimensional measurement device, three-dimensional measurement method, and three-dimensional measurement program |
EP20814253.9A EP3978867A4 (en) | 2019-05-31 | 2020-02-25 | Three-dimensional measurement device, three-dimensional measurement method, and three-dimensional measurement program |
PCT/JP2020/007380 WO2020240949A1 (ja) | 2019-05-31 | 2020-02-25 | 三次元計測装置、三次元計測方法および三次元計測用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019102437A JP7242431B2 (ja) | 2019-05-31 | 2019-05-31 | 三次元計測装置、三次元計測方法および三次元計測用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020197407A JP2020197407A (ja) | 2020-12-10 |
JP7242431B2 true JP7242431B2 (ja) | 2023-03-20 |
Family
ID=73553162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019102437A Active JP7242431B2 (ja) | 2019-05-31 | 2019-05-31 | 三次元計測装置、三次元計測方法および三次元計測用プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11941852B2 (ja) |
EP (1) | EP3978867A4 (ja) |
JP (1) | JP7242431B2 (ja) |
CN (1) | CN113874677A (ja) |
WO (1) | WO2020240949A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010113398A (ja) | 2008-11-04 | 2010-05-20 | Omron Corp | 3次元モデルの作成方法および物体認識装置 |
JP2018197685A (ja) | 2017-05-23 | 2018-12-13 | 公益財団法人かずさDna研究所 | 三次元計測装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1097641A (ja) | 1996-09-20 | 1998-04-14 | Sanyo Electric Co Ltd | ランダムドットの動画像の生成方法および生成装置 |
JP3527831B2 (ja) | 1997-07-14 | 2004-05-17 | 三洋電機株式会社 | ランダムドットの動画像の生成方法および生成装置ならびにランダムドット動画像表示処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JPH1196374A (ja) * | 1997-07-23 | 1999-04-09 | Sanyo Electric Co Ltd | 3次元モデリング装置、3次元モデリング方法および3次元モデリングプログラムを記録した媒体 |
JP2002094861A (ja) * | 2000-09-12 | 2002-03-29 | Sony Corp | 画像信号撮影装置および画像信号撮影方法 |
US8433128B2 (en) | 2008-11-04 | 2013-04-30 | Omron Corporation | Method of creating three-dimensional model and object recognizing device |
WO2011070927A1 (ja) | 2009-12-11 | 2011-06-16 | 株式会社トプコン | 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム |
JP5582009B2 (ja) * | 2010-12-10 | 2014-09-03 | 富士通株式会社 | 3次元位置計測システム、3次元位置計測装置および3次元位置計測方法 |
JP5711039B2 (ja) | 2011-04-27 | 2015-04-30 | 株式会社トプコン | 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム |
JP5955028B2 (ja) | 2012-02-28 | 2016-07-20 | 株式会社トプコン | 画像処理装置、画像処理方法および画像処理用のプログラム |
JP5832341B2 (ja) | 2012-03-09 | 2015-12-16 | 株式会社トプコン | 動画処理装置、動画処理方法および動画処理用のプログラム |
JP5963353B2 (ja) | 2012-08-09 | 2016-08-03 | 株式会社トプコン | 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム |
JP2017003525A (ja) * | 2015-06-15 | 2017-01-05 | 株式会社トプコン | 三次元計測装置 |
JP2017003537A (ja) * | 2015-06-16 | 2017-01-05 | 大同特殊鋼株式会社 | 3次元形状測定方法 |
JP6529372B2 (ja) * | 2015-07-27 | 2019-06-12 | 株式会社パスコ | 3次元計測装置、3次元計測方法、及びプログラム |
KR20200088319A (ko) * | 2017-11-17 | 2020-07-22 | 트리나미엑스 게엠베하 | 적어도 하나의 대상체의 위치를 결정하는 검출기 |
JP7438223B2 (ja) * | 2019-01-09 | 2024-02-26 | トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング | 少なくとも1つの物体の位置を決定するための検出器 |
-
2019
- 2019-05-31 JP JP2019102437A patent/JP7242431B2/ja active Active
-
2020
- 2020-02-25 US US17/608,957 patent/US11941852B2/en active Active
- 2020-02-25 WO PCT/JP2020/007380 patent/WO2020240949A1/ja unknown
- 2020-02-25 CN CN202080040427.8A patent/CN113874677A/zh active Pending
- 2020-02-25 EP EP20814253.9A patent/EP3978867A4/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010113398A (ja) | 2008-11-04 | 2010-05-20 | Omron Corp | 3次元モデルの作成方法および物体認識装置 |
JP2018197685A (ja) | 2017-05-23 | 2018-12-13 | 公益財団法人かずさDna研究所 | 三次元計測装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020197407A (ja) | 2020-12-10 |
WO2020240949A1 (ja) | 2020-12-03 |
US11941852B2 (en) | 2024-03-26 |
EP3978867A1 (en) | 2022-04-06 |
EP3978867A4 (en) | 2023-06-28 |
CN113874677A (zh) | 2021-12-31 |
US20220215585A1 (en) | 2022-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6954212B2 (en) | Three-dimensional computer modelling | |
JP4245963B2 (ja) | 較正物体を用いて複数のカメラを較正するための方法およびシステム | |
JP5480914B2 (ja) | 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム | |
US8532340B2 (en) | Projecting patterns for high resolution texture extraction | |
JP5620200B2 (ja) | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム | |
US20020164067A1 (en) | Nearest neighbor edge selection from feature tracking | |
US20130106833A1 (en) | Method and apparatus for optical tracking of 3d pose using complex markers | |
US9182220B2 (en) | Image photographing device and method for three-dimensional measurement | |
WO2021185217A1 (zh) | 一种基于多激光测距和测角的标定方法 | |
CN106530358A (zh) | 仅用两幅场景图像标定ptz摄像机的方法 | |
WO2010004466A1 (en) | Three dimensional mesh modeling | |
JP2005534026A (ja) | 光学式マーカーを用いた三次元測定データ自動整列装置及びその方法 | |
Ahmadabadian et al. | Clustering and selecting vantage images in a low-cost system for 3D reconstruction of texture-less objects | |
JP6898776B2 (ja) | 三次元計測装置 | |
JP2017003525A (ja) | 三次元計測装置 | |
US11222433B2 (en) | 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images | |
JP2003042732A (ja) | 表面形状測定装置及びその方法、表面形状測定プログラム、並びに表面状態図化装置 | |
US6505148B1 (en) | Method for combining the computer models of two surfaces in 3-D space | |
CN112254638B (zh) | 一种可俯仰调节的智能视觉3d信息采集设备 | |
JP7242431B2 (ja) | 三次元計測装置、三次元計測方法および三次元計測用プログラム | |
JPH0766436B2 (ja) | 連続シルエット画像による3次元モデル構成装置 | |
JP7229102B2 (ja) | 画像を用いた三次元計測装置、画像を用いた三次元計測方法および画像を用いた三次元計測用プログラム | |
JP7392101B2 (ja) | 点群データ処理装置、点群データ処理方法及びプログラム | |
CN114494316A (zh) | 角点标记方法、参数标定方法、介质及电子设备 | |
WO2021199822A1 (ja) | 点群データ処理装置、点群データ処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230308 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7242431 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |