JP7242431B2 - 三次元計測装置、三次元計測方法および三次元計測用プログラム - Google Patents

三次元計測装置、三次元計測方法および三次元計測用プログラム Download PDF

Info

Publication number
JP7242431B2
JP7242431B2 JP2019102437A JP2019102437A JP7242431B2 JP 7242431 B2 JP7242431 B2 JP 7242431B2 JP 2019102437 A JP2019102437 A JP 2019102437A JP 2019102437 A JP2019102437 A JP 2019102437A JP 7242431 B2 JP7242431 B2 JP 7242431B2
Authority
JP
Japan
Prior art keywords
camera
positions
stereo image
images
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019102437A
Other languages
English (en)
Other versions
JP2020197407A (ja
Inventor
篤司 林
伸夫 高地
高也 七夕
祥子 磯部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kazusa DNA Research Institute Foundation
Original Assignee
Kazusa DNA Research Institute Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kazusa DNA Research Institute Foundation filed Critical Kazusa DNA Research Institute Foundation
Priority to JP2019102437A priority Critical patent/JP7242431B2/ja
Priority to CN202080040427.8A priority patent/CN113874677A/zh
Priority to US17/608,957 priority patent/US11941852B2/en
Priority to EP20814253.9A priority patent/EP3978867A4/en
Priority to PCT/JP2020/007380 priority patent/WO2020240949A1/ja
Publication of JP2020197407A publication Critical patent/JP2020197407A/ja
Application granted granted Critical
Publication of JP7242431B2 publication Critical patent/JP7242431B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0035Measuring of dimensions of trees
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Description

本発明は、画像を用いた三次元計測の技術に関する。
画像を用いて植物の三次元形状に係るデータを取得し、その成長過程を三次元的に把握する技術が知られている。例えば、特許文献1には、計測対象物である植物を回転させながら植物の写真撮影を行い、得られた複数の撮影画像から被写体(植物)の三次元モデルを得る技術が記載されている。
特開2018-197685号公報
画像を用いた三次元計測においては、異なる視点から得た複数の画像間のマッチング(対応関係の特定)が重要となる。図1(A)には、回転台に載せた計測対象物(この場合は花)を回転させながらカメラで撮影を行い、計測対象物の三次元計測を行う場合が示されている。この場合、回転台(計測対象物)に固定された座標で考えて、計測対象物が周囲の複数の位置から撮影された状態となる。この技術では、後方交会法により、各カメラ位置が計算により特定され、また前方交会法により計測対象物各部の三次元位置が計算される。
理想的には、図1(B)に示すように、回転台に対するおける各カメラの相対位置は、円周上に分布する。しかしながら、実際には図2に示すように計算開始時のカメラ位置(1)と最後に計算されたカメラ位置(16)との間にズレが生じる。これは、カメラ位置の計算が(1)→(2)→(3)→(4)→・・・と順に行なわれる過程で、誤差が徐々に累積するからである。
このズレは、カメラ位置の計算の後にバンドル調整計算を行うことで是正される。しかしながらが、図2に示すような誤差が大きくなった段階でのバンドル調整計算は、プロセッサへの負荷が大きく、また計算が収束しない場合もある。
このような背景において、本発明は、計測対象物を周囲の複数の視点から撮影することで当該計測対象物の三次元写真計測を行う技術において、カメラ位置の算出精度の低下を抑える技術の提供を目的とする。
本発明は、計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付部と、前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む3箇所以上のカメラ位置を選択するカメラ位置選択部と、前記カメラ位置選択部が選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択部と、前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出部とを有し、前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測装置である。
また本発明は、計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付部と、前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む3箇所以上のカメラ位置を選択するカメラ位置選択部と、前記カメラ位置選択部が選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択部と、前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出部とを有し、前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択されるカメラ位置が重複しない三次元計測装置である。
本発明において、前記カメラ位置選択部では、前記計測対象物から見た角度位置が360°/N(Nは3以上の自然数)の位置にあるN箇所のカメラ位置を選択する1回目の選択と、前記1回目に選択されたN箇所のカメラ位置に対して、前記計測対象物から見た角度位置が180°/Nずれた位置から、N箇所のカメラ位置を選択する2回目の選択とが行なわれる態様が挙げられる。
本発明において、前記ランダムドット模様は、前記計測対象物が載せられた台に固定され、前記台から上方向に延在する長手部材の表面に形成されている態様が挙げられる。この態様において、前記長手部材の高さ方向の寸法は、前記台の上に載せられる前記計測対象物の高さ方向の寸法よりも大きいことは好ましい。また、前記台は、回転可能である態様が挙げられる。
本発明において、前記カメラに対して、前記台を回転させながら、前記カメラによる前記計測対象物の撮影が行われることで、前記計測対象物および前記ランダムドット模様を周囲の複数の視点から撮影した複数の画像データが得られ、前記計測対象物を囲む3つ以上の位置を頂点とする多角形の中に前記計測対象物の回転中心が位置する態様が挙げられる。
本発明は、計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付ステップと、前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む3箇所以上のカメラ位置を選択するカメラ位置選択ステップと、前記カメラ位置選択ステップで選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択ステップと、前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出ステップとを有し、前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測方法として把握することもできる。
本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付ステップと、前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む3箇所以上のカメラ位置を選択するカメラ位置選択ステップと、前記カメラ位置選択ステップで選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択ステップと、前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出ステップとを実行させ、前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測用プログラムとして把握することもできる。
本発明によれば、計測対象物を周囲の複数の視点から撮影することで当該計測対象物の三次元写真計測を行う技術において、カメラ位置の算出精度の低下を抑える技術が得られる。
三次元計測の原理を説明する原理図(A)および(B)である。 誤差が生じる原理を説明する原理図である。 発明の一例の原理図である。 発明の一例の原理図である。 発明の一例の原理図である。 発明の一例の原理図である。 実施形態の概念図である。 実施形態の三次元計測装置のブロック図である。 後方交会法の原理を示す原理図(A)と前方交会法の原理を示す原理図(B)である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 上下方向におけるカメラ位置を示す図。
1.原理
図1に本発明の基本的な原理を示す。図1(A)には、固定したカメラに対して回転台を回転させつつ、計測対象物(この場合は花)をカメラで撮影し、ステレオ写真測量の原理で計測対象物の三次元計測を行う場合が示されている。ここで、回転台に固定した座標系で考えると、回転台に対するカメラ位置(視点の位置)は、図1(B)に示すように回転台の回転中心を中心とする円周上に分布する。なお、図1(B)は、回転台の回転軸に沿った上の方向から回転台を見た視点で描かれている。これは、図2~図6も同じである。
ここで、交会法を用いて、(1)→(2)→(3)→・・・とカメラ位置の計算を行なった場合、計算が繰り返されるにつれて、誤差が累積し、図2に示すように算出されるカメラ位置が実際の位置からずれてゆく。
このズレの累積を避けるために、本発明では、図3に一例を示す方法を採用する。この方法では、例えば回転台を囲む90°間隔の等角な4箇所の位置(1),(9),(17),(25)から撮影した4枚の画像を用いて、これら4箇所におけるカメラ位置を算出する。
カメラ位置の算出は、ステレオ画像の選択、ステレオ画像中からの特徴点の抽出およびターゲットの検出、特徴点およびターゲットを用いたカメラ位置(視点の位置)を含めた三次元位置関係(三次元モデル)の作成(相互標定)、既知の寸法や既知のターゲット位置を利用した前記三次元モデルへのスケールの付与(絶対標定)によって行われる。
ステレオ画像は、(1)と(9)、(9)と(17)、(17)と(25)というように隣接する角度位置で90°離れた2点のカメラ位置から撮影した組が選択される。4箇所の位置(1),(9),(17),(25)のカメラ位置の算出後にバンドル調整計算を行ない、誤差を最小化する。
図3に示す4箇所のカメラ位置の算出の後、図4に進む。図4では、その前の図3の段階で位置が求められている(1),(9),(17),(25)のカメラ位置に加えて、これらカメラ位置から45°回転した4箇所のカメラ位置(5),(13),(21),(29)を加えた8点から撮影した8枚の画像を用いて図3の場合と同様の処理を行う。
この際、先に求めた図3の(1),(9),(17),(25)の4箇所のカメラ位置が初期値(拘束点と捉えることもできる)となり、新たなカメラ位置(5),(13),(21),(29)が算出される。この際、図5の(1),(9),(17),(25)のカメラ位置は初期値であるが、決定した値ではなく、これらのカメラ位置は、新たなカメラ位置を含めて全体が最適化されるように再計算される。こうして、回転台を中心とした円周上の等間隔(45°間隔)な8点で回転台に対するカメラ位置を求める。この段階でも再度のバンドル計算を行ない、誤差を最小化する。
図4のカメラ位置を求めた後、(5),(13),(21),(29)のカメラ位置を22.5°回転させ、同様な処理を行う。こうして、12箇所のカメラ位置が求まる。この処理を全てのカメラ位置が求まるまで繰り返す。図3および図4に示す方法では、計算に誤差が生じてもそれが累積されず、あるいは生じても僅かである。よって、図2のように、計算を進めてゆくに従って徐々に誤差が増大する問題が抑制される。
この方法では、最初にすべてのカメラ位置を4方向⇒8方向⇒・・・と徐々に密に求めていく。その際、同時に疎なステレオマッチングによる対応点も求まる。また、このときに誤差最小化(バンドル調整)も行う。
結果的に全画像を使ってカメラ位置を求めてゆくが、初期値に基線の長い画像(この例では、角度位置で90°異なる位置)を使い、かつ全体を閉ループにしているので精度がよい。またそれぞれの段階のバンドル調整を初期値にしてかけているので、収束が遅くなったり破綻したりすることがない(正解している初期値があるので収束が早い)。
計測対象物の点群は、カメラ位置を求めた後で、再度隣接のステレオマッチングにより、密な三次元点群を求める。そのときに、カメラ位置の特定時に求めた疎な点群も利用する。ここではすでにカメラ位置を求めているため、バンドル調整は行わない(勿論、行ってもよい)。なお、バンドル調整のかわりにICP法で位置合わせを行う形態も可能である。
回転台(計測対象物)を囲む複数のカメラ位置の数は、3以上が必要である。回転台を「囲む位置」とは、回転台の回転軸の方向(鉛直上方)から見て、3点以上のカメラ位置(視点の位置)を頂点とする多角形を形成した場合に、回転台の回転中心が当該多角形の内部に位置する状態として定義される。
図3および図4の手法でのM回目におけるずらす角度θは、Nを3カ所以上の等角な角度位置の数とした場合に、θ=(360°/(N×(M+1))で与えられる。例えば、図4の場合は、M=1,N=4であるので、θ=45°となる。なお、θの値は厳格なものではなく、上記の数式で求められる位置にカメラがない場合(撮影タイミングによっては、その可能性が有り得る)は、近くのカメラ位置を選択すればよい。
図3および図4の手法におけるカメラ位置の選択は、回転台の角度位置と撮影タイミングのデータに基づき行われる。回転台の角度位置は、回転台の回転を検出するロータリーエンコーダ等のセンサから得られ、撮影タイミングは、カメラの撮影タイミングを制御する制御信号の出力タイミングを記憶したログデータから得られる。
ステレオ画像を構成する異なるカメラ位置から撮影した画像としては、2つのカメラ位置から撮影した2枚の画像を用いる場合が基本であるが、異なる3以上の視点から撮影した3枚以上の画像を用いることも可能である。要求されるカメラの角度位置と実際のカメラ位置がずれている場合は、要求されるカメラ位置に最も近い実際のカメラ位置が採用される。
2.全体の構成
図7には、植物120の三次元データを得るための三次元計測システム100が示されている。三次元計測システム100は、土台111、土台上でモータ等の駆動手段により回転する回転台112を備えている。回転台112には、三次元計測の計測対象物である植物122が載せられている。
土台111、回転台112および三次元計測システム100の背景は、植物120の色とは異なる色(この例では青)に着色されている。この色は、植物120と色彩が違うモノトーンの色が望ましい。例えば、植物120が緑系の色の場合、青、黄色、黒、白といった植物120と異なるモノトーンの色が選択される。物120は、鉢124に植えられており、鉢124には、識別用の2次元バーコード表示125が表示されている。
土台111および回転台112の各部の寸法は予め既知のデータとして取得されている。回転台112の上面には、基準点となるターゲット113の表示が行なわれている。ターゲット113は、3箇所以上の複数が配置されている。ターゲット113は、2次元コードが付されたコード化ターゲットであり、それぞれが個別に識別可能とされている。また、各ターゲットの回転台112における位置は予め調べられ、既知となっている。
回転台112の上面には、画像マッチング用の識別部材であるランダムドット柱121~123が固定されている。ランダムドット柱121~123は、長手形状を有する板状の部材であり、回転台112から鉛直上方に延在し、表面にランダムドットパターンが表示されている。ランダムドット柱121~123の表面には、ランダムドットパターンの他に、識別コードが表示されており、各識別コードは個別に識別できるようにされている。ランダムドット柱として、円柱や多角柱(例えば、四角柱や五角柱)を用いることもできる。
ランダムドット柱の数を4本以上としてもよい。ただし、ランダムドット柱は、カメラ131~133と計測対象物である植物122との間に位置するので、その数が多すぎると、カメラ131~133による植物122の撮影に支障が生じる。
ランダムドット柱121~123の回転台112に対する位置関係は既知であり、またランダムドット柱121~123の寸法(幅、長さ、厚さ)も既知である。ランダムドット柱121~123の寸法は既知であるので、ランダムドット柱121~123はスケールとしても利用される。回転台112上に定規を配置する方法や回転台112上にスケールを表示する形態も可能である。なお、計測対象物である植物120の上端より上方にランダムドット柱121~123の先端が位置するように、ランダムドット柱121~123の長手方向の寸法が(鉛直方向の寸法)が設定されている。また、上方から見て、ランダムドット柱121~123により計測対象物(植物120)が囲まれるように、ランダムドット柱121~123が配置されている。これは、ランダムドット柱の数を増やした場合も同様である。
ランダムドットパターンは、丸形状のドットが規則性なくランダムに分布しているドットパターンである。ランダムドットパターンに関する技術は、例えば、特開平11-39505号公報、特開平10-97641号公報、電子情報通信学会研究報告.COMP,コンビュテーション112(24),51-58,2012-05-07等に記載されている。ランダムドットパターンの色は、モノトーンであってもよいし、多色であってもよい。この例では、白の下地に黒のランダムドットパターンを表示している。
回転台112の周囲には、カメラ131~133が配置されている。カメラ131~133は、土台111に対して固定されており、回転する回転台112およびその上の植物120を特定の時間間隔で繰り返し撮影する。カメラの数は、少なくとも1台あればよいが、複数を配置し、植物120に対してなるべく死角が生じないようにその数と位置を設定することが望ましい。カメラ131~133は、デジタルカメラであり、撮影した画像のデータ(画像データ)は、三次元計測装置200に送られる。
回転台112を回転させながら、土台111に固定されたカメラ131~133から、植物120を連続して撮影する。これにより、植物120を周囲の多数のカメラ位置(視点)から撮影した多数の画像が得られる。この際、隣接するカメラ位置からの画像で撮影範囲が一部重複するようにする。
上記の撮影を行った場合、計測対象物である植物120を周囲から撮影した複数の撮影画像が得られる。ここで、隣接する視点(カメラ位置)から撮影した画像が一部重複するようにする。例えば、回転台112が1回転する間に植物120に向けた1台のカメラから72枚の撮影を行う場合を考える。この場合、回転台112に固定された座標系で考えると、回転台112の回転中心を中心とする円周上で、360°/72=5°刻みに視点の位置(カメラ位置)を少しずつずらして撮影した72枚の画像が得られる。
3.三次元計測装置
計測対象物である植物120の三次元モデルの作成は、公知の三次元写真測量の原理に基づき行われる。三次元計測装置200は、汎用のPC(パーソナルコンピュータ)を利用して構成されている。三次元計測装置200は、カメラ131~133が撮影した画像のデータに基づき、植物120の三次元モデルを作成する。また、三次元計測装置200は、モータ駆動装置140に制御信号を送り、回転台112の回転制御を行う。また、三次元計測装置200は、カメラ131~133の撮影タイミングの制御を行う。
三次元計測装置200は、CPU、メモリデバイス、各種のインターフェースを備えたコンピュータであり、汎用あるいは専用のハードウェアによって構成することができる。三次元計測装置200を構成する汎用のハードウェアとしては、PC以外にWS(ワークステーション)が挙げられる。これらコンピュータに三次元計測装置200の機能を実現する動作プログラムをインストールし、後述する各機能部の機能をソフトウェア的に実現する。
なお、三次元計測装置200の一部または全部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部を組み合わせてもよい。
例えば、図示する各機能部は、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)に代表されるPLD(Programmable Logic Device)などの電子回路やプロセッサにより構成される。また、一部の機能を専用のハードウェアで構成し、他の一部を汎用のマイコンにより構成することも可能である。
また、三次元計測装置200の機能をサーバで実行し、該サーバにインターネットを介して接続したPC、タブレット、スマートフォン等を操作インターフェース端末として利用する形態も可能である。
三次元計測装置200は、画像データ受付部210、カメラ位置選択部220、ステレオ画像選択部221、ターゲット検出部240、外部標定要素算出部245、特徴点抽出部250、対応点特定部260、三次元座標算出部270、三次元モデル作成部280、記憶部290、回転制御部295、撮影タイミング制御部296、バンドル調整計算部297を備える。また、三次元計測装置200は、外部の機器との間でデータのやり取りを行うインターフェース機能、操作者による操作を受け付けるユーザインターフェース機能を有する。これらは、利用するPCのインターフェースを用いている。
画像データ受付部210は、カメラ131~133が撮影した画像のデータ(画像データ)を受け付け、それを三次元計測装置100の内部に取り込む。
カメラ位置選択部220は、図5に例示するような、交会法により計算されるカメラ位置の候補を選択する。カメラ位置の選択時は、交会法によるカメラ位置の計算前の状態であり、正確なカメラ位置の座標は不明である。しかしながら、回転台112の回転制御とカメラ131~133の撮影タイミングの制御の内容から、回転台112に対するカメラ131~133の大凡の位置が特定でき、またそこで撮影された画像は選択できる。この処理がカメラ位置選択部220で行われる。
例えば、回転台112の回転位置は、ロータリーエンコーダ―等により検出されるので、時間軸上における回転台112の回転位置を知ることができる。この情報と撮影時刻のデータとから、撮影時のカメラ位置を知ることができる。例えば、(1)のカメラ位置と(9)のカメラ位置を特定できる。ただし、このカメラ位置は概略の位置であり、その精度は三次元写真測量に利用できるレベルにはない。
ステレオ画像選択部221は、異なる視点から重複する場所を撮影した2枚以上の画像をステレオ画像として選択する。例えば、図5の(1)と(5)の位置から回転台112を撮影した画像や図6の(1)と(17)とから回転台およびその上の植物120を撮影した画像がステレオ画像として選択される。ステレオ画像は、基本2枚一組であるが、3枚以上を1組としてステレオ画像を構成することもできる。なお、画像には、少なくとも回転台112、計測対象物である植物120およびランダムドット柱121~123の少なくとも1本が写っている必要がある。
ターゲット検出部240は、カメラ131~133が撮影した画像に写ったターゲット113を検出する。予めターゲット113の画像は取得されており、それをリファレンスとして撮影画像中からターゲット113の抽出が行なわれる。ターゲット113は識別でき、また回転台112における位置は既知なので、ターゲット検出部240により、複数あるターゲット113それぞれの位置が検出される。
外部標定要素算出部245は、撮影画像中の特徴点(特徴点抽出部250が抽出した特徴点)を利用して、図7のカメラ131~133の外部標定要素(位置と姿勢)を後方交会法により算出する。図9(A)には、後方交会法の原理が示されている。後方交会法とは、未知点から3つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、DLT法(Direct Liner Transformation Method)が挙げられる。交会法については、基礎測量学(電気書院:2010/4発行)p 182,p184に記載されている。また、特開2013-186816号公報には交会法に関して具体的な計算方法の例が示されている。
以下、具体的な計算の一例を説明する。ここでは、回転台112を回転させ、30°回転する前と後の異なる2つのタイミングでカメラ132による回転台112の撮影を行うとする。30°の回転の制御は、回転制御部295で行われ、撮影タイミングの制御は、撮影タイミング制御部296で行われる。なお、この例では、定速で回転を継続し、上方から見て30°異なる角度位置で撮影が行われるように、回転台112の回転とカメラ132の撮影のタイミングが制御される。
この場合、回転台112に固定した座標系で考えると、図5の位置(1)と(3)から撮影した撮影画像が得られる。この2枚の撮影画像をステレオ画像とし、そこからの特徴点の抽出、抽出した特徴点の当該ステレオ画像間でのマッチング(対応関係の特定)を行う。特徴点の抽出は、特徴点抽出部250で行われ、対応点の特定は対応点特定部260で行われる。
図5のカメラ位置(1)と(3)から撮影した上記ステレオ画像間での特徴点の対応関係を特定したら、図9(A)の後方交会法を用いてカメラ位置(1)と(3)の位置を算出する。ここでカメラ位置は、回転台112の回転中心を原点とし、回転台112に固定されたローカル座標系で記述される。
例えば、以下のような方法により、図5のカメラ位置(1)と(3)におけるカメラの外部標定要素(姿勢と位置)が求められる。まず、回転台112の上面は平面であり、そこから取得される特徴点は当該平面上に位置している。また、ランダムドット柱121~123表面のランダムドットは鉛直面上に分布している。この拘束条件から、相互標定により、相対三次元モデルにおけるカメラ位置(1)と(3)における位置と姿勢が求まる。
例えば、ステレオ画像で対応するランダムドット柱121~123のドットから得た特徴点の中から、図9(A)のP,P,Pを選択する。ここで、P,P,Pは鉛直面上に分布するという拘束条件が課せられる。そして、P,P,Pの画面中における位置をp,p,pとした場合に、Pとp、Pとp、Pとpを結ぶ3つの方向線を設定する。この場合、この3本の方向線の交点Oが当該画像を撮影したカメラ132の位置(投影中心)となる。また、点Oと画面の中心を結ぶ方向線の延長方向がカメラ132の光軸方向となり、カメラ132の向き(姿勢)が求まる。
この段階でP,P,Pの絶対位置関係は未知なので、この場合における図9(A)の三次元モデルは相対三次元モデルとなる。この相対三次元モデルを得る処理が相互標定である。
ここで、PとPがランダムドット柱121の上辺の端点であれば、回転台112に固定されたローカル座標系におけるそれら端点の座標は既知であるので、上記相対三次元モデルにスケールが与えられる。こうして絶対標定が行なわれ、当該座標系におけるカメラの外部標定要素が判明する。この方法において、複数あるターゲット113の位置情報を併用することもできる。
また、3つ以上のターゲット113の位置情報から各カメラ位置におけるカメラの外部標定要素を求めることもできる。例えば、図5の(1)位置から3つのターゲット113が見えているとする。この場合、P,P,Pをこれら3つのターゲット113の位置とすると、P,P,Pの位置は既知なので、点Oの座標が求まる。また、点Oと画面の中心を結ぶ方向からカメラの姿勢が判明する。こうして、3つのターゲット113が見えている(1)の位置におけるカメラの外部標定要素が判る。
また、カメラ位置が判れば、図9(B)の前方交会法により、多数存在する位置が既知でない特徴点の当該座標系(回転台112に固定されたローカル座標系)における位置も計算できる。そして、多数の特徴点の位置が判れば、それらの位置に基づく図9(A)の後方交会法によるカメラ位置の算出も行われる。
実際には、上述した一連の方法によるカメラ131~133の外部標定要素の算出のための数式は、多数の特徴点の座標も含めた多数の行列要素を有した計算式となる。この計算式において、未知数が収束するまで繰り返し計算が行なわれることで、カメラ131~133の外部標定要素が求められる。また、適切なタイミングでバンドル調整計算部297によるバンドル調整計算が行なわれ、誤差の最小化が行なわれる。
特徴点抽出部250は、カメラ131~133が撮影した画像の中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分、更には周囲と色彩や明度が異なっている部分等が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。
対応点特定部260は、異なる視点から撮影した2枚以上の画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の画像中で抽出された特徴点と同じ特徴点を他方の画像中で特定する。この特徴点の対応関係を特定する処理は、例えば、Feature-Based(特徴抽出)法としてのSIFTやSURF、Kaze、……や、Area‐Based(面積相関)法としてのテンプレートマッチングを用いて行われる。テンプレートマッチングとしては、残差逐次検定法(SSDA:Sequential Similarity Detection Algorithm)、相互相関係数法などが挙げられる。対応点の特定は、基本2枚の画像や2つの点群位置データを対象に行われるが、3枚以上の画像や3つ以上の点群位置データを対象として行うこともできる。
複数の画像間の対応関係を求める技術については、例えば特開2013-178656号公報や特開2014-35702号公報に記載されている技術を利用することができる。なお、特開2013-178656号公報や特開2014-35702号公報には、特徴点の抽出に係る技術、特徴点の三次元位置を求める技術についても記載されており、これらの技術は、本願明細書中で説明する技術に利用できる。
三次元座標算出部270は、特徴点抽出部150が画像中から抽出した特徴点の三次元位置を前方交会法により算出する。対象物を構成する多数の特徴点の三次元位置を算出することで、当該対象物を三次元座標が特定された点の集合として把握可能な点群位置データが得られる。更には、この点群位置データに基づき三次元モデルを作成することができる。
図9(B)には、前方交会法の原理が示されている。前方交会法では、異なる複数点(図9(B)の場合は、OとOの2点)から未知点Pへ向かう方向を観測して、それらの方向線の交点として未知点Pの位置を求める。
図9(B)には、異なるカメラ位置OとOから外部標定要素が既知のカメラを用いて重複する領域を撮影した場合が示されている。ここで、一方の画像における未知点Pの画面座標がpであり、他方の画像における未知点Pの画面座標がpである。カメラ位置OとOは既知であり、またそれらの位置におけるカメラの姿勢も既知であるので、Oとpを結ぶ方向線とOとpを結ぶ方向線の交点Pの座標が計算できる。
三次元モデル作成部280は、多数の撮影画像を解析することで得られた三次元点群位置データに基づいて三次元モデルを作成する。例えば、得られた多数の特徴点の三次元座標からなる三次元点群位置データを用いてtin(不整三角形網)を作成し、撮影対象物の三次元モデルの作成が行われる。点群位置データに基づいて三次元モデルを作成する技術に関しては、例えば、WO2011/070927号公報、特開2012-230594号公報、特開2014―35702号公報に記載されている。利用する三次元座標系としては、例えば回転台112の回転中心の位置を原点としたローカル座標が用いられる。
記憶部290は、三次元計測装置200で利用される各種のデータ、動作プログラム、動作の結果得られた各種のデータ等を記憶する。記憶部290の他に外部の記憶装置(外付けハードディスク装置やデータ記憶用サーバ等)を用いることも可能である。
回転制御部295は、回転台112を回転させるモータ(図示せず)を駆動するモータ駆動装置140(図7参照)に制御信号を送り、モータの動作制御を行う。回転制御部295の機能により、回転台112の回転のタイミングや回転速度の設定が行われる。回転台112の回転は、ロータリーエンコーダにより検出され、この検出値に基づき回転制御部295は回転台112の回転を制御する。
撮影タイミング制御部296は、カメラ131,132,133に撮影タイミングを決める制御信号を送り、撮影動作の制御を行う。カメラ131,132,133は、撮影タイミング制御部296に制御されて、回転する回転台112およびその上に配置された植物120の撮影を行う。例えば、回転台112を5~10回転/分の回転速度で回転させ、その際にカメラ131,132,133のそれぞれは、0.1~0.5秒間隔で繰り返し静止画像の撮影を行う。
4.処理の一例
以下、回転台112上の植物120の点群位置データを得、更にこの点群位置データに基づき植物120の三次元モデルを作成する処理の一例を説明する。以下の処理は、三次元計測システム100を用いて行われる。以下に説明する処理を実行するプログラムは、記憶部290に記憶され、三次元計測装置200によって実行される。当該プログラムは、適当な記憶媒体や記憶サーバ等に記憶され、そこから提供される形態も可能である。
(撮影)
まず、回転台112とランダムドット柱121~123が写るようにカメラ131~133の位置と姿勢を設定する。その上で撮影を行う。撮影は、計測対象の植物120を載せた回転台112を等速で回転させながら、特定の時間間隔でカメラ131~133により行う。
撮影は、例えば、回転台112が等速で1回転する間に等時間間隔で72枚の静止画像が撮影される条件、すなわち5°異なる角度から72回撮影する条件で行う。この場合、3台のカメラ131~133から72枚×3=216枚の画像が撮影される。この画像データは、三次元計測装置200に送られ、画像データ受付部210で受け付けられる。画像データ受付部210で受け付けられた画像データは、記憶部290に記憶される。回転速度やシャッター間隔は、植物の種類や取得したい点群密度に対応させて任意に設定できる。
植物120を撮影した画像データを得たら、各撮影画像から背景を除去する処理を行う。この処理については、例えば特開2018-197685号公報に記載されている。
こうして、鉛直上方から見て、周囲360°を等間隔に72分割した方向からの3組(72×3=216枚)の撮影画像が得られる。以下、この216枚の画像を基に処理を行う。
(カメラ位置の特定)
カメラ位置の特定に係る処理は、カメラ131~133のそれぞれにおいて行われる。まず、図5に示す手法を用いて等角な角度位置にある複数箇所のカメラ位置を算出する(例えば、図5には12箇所のカメラ位置を選択した場合が示されている)。
ここでは、図5の手法を用いて等角(30°)な12箇所の位置にあるカメラ位置を特定する。図10にこの処理の手順の一例を示す。まず、図5に示す12箇所のカメラ位置を選択する(ステップS101)。例えば、上方から見て角度位置が30°異なる12箇所のカメラ位置が選択される。この段階でのカメラ位置の選択は、回転台112の回転位置とカメラ131~133の撮影タイミングに基づき行われる。この処理は、図8のカメラ位置選択部220で行われる。
次に、ステップS101で選択された位置から撮影した画像の中からステレオ画像を選択する(ステップS102)。この場合、カメラ位置で考えて、(1)と(3)、(3)と(5)、(5)と(7)・・・・と隣接するカメラ位置がステレオ画像のカメラ位置として選択される。すなわち、カメラ位置(1)と(3)から撮影した2つの画像でステレオ画像を構成し、カメラ位置(3)と(5)から撮影した2つの画像でステレオ画像を構成し、カメラ位置(5)と(7)から撮影した2つの画像でステレオ画像を構成し、・・・とした複数の組のステレオ画像が選択される。この処理は、図8のステレオ画像選択部221で行われる。
次に、選択されたステレオ画像からの特徴点の抽出(ステップS103)を行う。この処理は、特徴点抽出部250で行われる。ここで抽出される特徴点には、植物120、回転台112およびランダムドット柱121~123の特徴点が含まれる。次に、ステレオ画像間における特徴点の対応関係の特定(ステレオマッチング)を行う(ステップS104)。また、ステレオ画像間における共通に写っているターゲット113の検出を行う(ステップS105)。
次に、対応関係を特定した特徴点を用いた後方交会法により、ステップS101で選択したカメラと特徴点の相対位置関係を算出する相互標定を行う(S106)。またこの際、同時にステレオ画像に写った対応点とカメラ位置の相対位置関係が前方交会法を用いて特定される。
次に、ステップS106で求められた相対位置関係に特徴点から得られるスケールやターゲット113の位置から実寸法が与えられ、絶対標定が行なわれる(ステップS107)。この処理により、カメラの外部標定要素(位置と姿勢)とステップS104で対応関係が特定された特徴点の位置が求まる。最後にバンドル調整計算を行ない誤差の最小化を行う(ステップS108)。
S106~S108の処理は、図8の外部標定要素算出部245、三次元座標算出部270およびバンドル調整計算部297で行なわれる。以上の処理により、カメラ位置が算出される。例えば、図5の(1),(3),(5),(7)・・・・(23)におけるカメラの位置が算出される。以上の処理は、カメラ131~133のそれぞれにおいて行われる。
以上の処理を繰り返すことで、徐々にカメラ位置を増やしながらのカメラ位置の算出が全ての画像を対象として行われる。
例えば、図5に係るS101~S106の処理が行なった後、図6に示すように、新たな12箇所のカメラ位置に関してS101~106の処理を繰り返す。この場合、新たに求めるカメラ位置が図6に示す(2),(4),(6),(8),(10)・・・・(24)であり、既に求められているカメラ位置が図5に示す(1),(3),(5),(7)・・・(23)である。この場合、図5に示す(1),(3),(5),(7)・・・(23)のカメラ位置を初期値として、新たなカメラ位置(2),(4),(6),(8),(10)・・・・(24)が計算される。この際、初期値として扱われるカメラ位置(1),(3),(5),(7)・・・(23)は再計算される。
上記の処理では、既に求められているカメラ位置を初期値として、その時点で対象となっている全てのカメラ位置の計算を行う。この計算は、カメラ位置を増やしながら最終的に全ての画像が対象となるように、繰り返し行われる。こうして、全ての画像におけるカメラ位置を算出する。
例えば、回転台上に設置された計測対象物を等角な周囲72箇所のカメラ位置から撮影する場合を考える。この場合、図5および図6に示す処理を6回繰り返し、72枚全ての画像のカメラ位置を求める。具体的には、30°間隔の12箇所のカメラ位置を求める処理を1回目から2回目への移行時に15°ずらし、2回目から3回目への移行時に-10°ずらし、3回目から4回目への移行時に 15° ずらし、4回目から5回目への移行時に -10°ずらし、5回目から6回目への移行時に 15° ずらし、と6回に分けて行う。 こうして、12×6=72枚の画像すべてにおけるカメラ位置を求める。なお、計測対象物に対する複数のカメラ位置は必ずしも等角な角度位置である必要はない。
(計測対象物の三次元計測)
全ての画像における回転台112に対するカメラ位置を求めたら、今度は隣接するカメラ位置でステレオ画像を構成し、当該ステレオ画像から抽出される特徴点の三次元座標位置を算出する。この際、図10の処理で求めた粗な点群の位置データも利用される。図11は、この処理のフローチャートの一例である。
処理が開始されると、隣接または近接する視点位置(カメラ位置)から植物120を隣接するカメラ位置から撮影した2枚の画像をステレオ画像として選択する(ステップS201)。選択の候補となる画像は、カメラ131~133が撮影した合計216枚の画像である。この処理は、ステレオ画像選択部221で行われる。選択する2枚の画像は、異なるカメラが撮影したものであってもよい。なお、重複した対象を撮影した3枚状以上の画像をステレオ画像として選択することもできる。
次に、ステップS201で選択したステレオ画像からの特徴点の抽出を行う(ステップS202)。この処理は、図8の特徴点抽出部250で行われる。ステレオ画像からの特徴点の抽出を行ったら、それら特徴点のステレオ画像間での対応関係の特定を行う(ステップS203)。この処理は、図8の対応点特定部260で行われる。また、ステレオ画像中からのターゲット113の検出を行う(ステップS204)。この処理はターゲット検出部240で行われる。ターゲットの検出はステップS202~S205の間で行えばよい。
次に、ステップS203でステレオ画像間での対応関係が特定された特徴点の三次元位置の算出を行う(ステップS205)。この際、図10の処理で位置を特定した特徴点を初期値として用いる。この処理は、三次元座標算出部270で行われる。特徴点の三次元位置は、回転台112に固定された座標系での座標として算出される。この位置が特定された特徴点が三次元点群となり、植物120の点群位置データが得られる。
次に、ステップS201の前段階に戻り、ステップS201以下の処理が繰り返される。
例えば、カメラ位置(1)と(2)が隣接し、(2)と(3)が隣接しているとする。この場合において、前回のステップS201以下の処理において、図6のカメラ位置(1)と(2)から撮影した画像がステレオ画像として選択されたとする(ここで(1)と(2)は隣接しているとする)。この場合、次のフローのステップS201以下の処理では、図4のカメラ位置(2)と(3)が選択される(ここで(2)と(3)は隣接しているとする)。
こうして、新たな組み合わせのステレオ画像が選択されると、その段階で未知の対応点(ステレオ画像を構成する画像の中で共通する対応する未知な特徴点)が抽出され、その位置が算出される。この処理を繰り返すことで、更に利用する全ての画像から順次選択されたステレオ画像中で共通する特徴点の三次元位置の算出が行われる。こうして、三次元計測の対象である植物120を、三次元座標が判明した点の集合として捉えた点群位置データが得られる。
植物120の点群位置データ得たら、それに基づき植物120の三次元モデルを作成する。この処理は、既知の処理であるので説明は省略する。三次元モデルの作成については、例えば、国際公開番号WO2011/070927号公報、特開2012-230594号公報、特開2014-35702号公報等に記載されている。
(むすび)
本実施形態では、最初にすべてのカメラ位置を12方向⇒24方向⇒・・・と徐々にカメラ位置の数を増やしながら、その都度選択される各30°の角度位置にある12箇所のカメラ位置の組を順次求める。この際、選択するカメラ位置が閉ループで閉じており、それを徐々にずらしながら、計算を繰り返し、最終的に全画像に係るカメラ位置を求める。
この方法では、誤差の累積の問題を回避できる。また、初期値に図5のカメラ位置(1)と(2)というような基線の長いステレオ画像を使い、かつ全体を閉ループにしているので精度が良い。また、それぞれの段階でのバンドル調整計算の結果を次の段階における初期値にしているので、収束が遅くなったり破綻したりすることがない。
また、カメラ位置を求める際に疎なステレオマッチングによる対応点も求まり、その誤差もバンドル調整計算により最小化されている。カメラ位置を求めた後で、再度隣接するカメラ位置のステレオマッチングにより、密な三次元点群を求めるが、その際に、カメラ位置を求める際に求めた疎な点群の位置データが利用され、それが拘束点となる。このため、密な三次元点群を求める際の計算も収束は早く、また計算精度も高い。
(その他)
回転台112の回転を精密に制御し、撮影時に回転を停止し、静止させた状態とする態様も可能である。例えば撮影時に長い露光時間が必要な場合や、対象が振動により生じた揺れが収束するまでに、この手法を利用することができる。また、計測の対象は植物に限定されない。
回転台を囲む複数のカメラ位置が等角な位置関係にない場合も可能である。また、回転台を囲む複数箇所のカメラ位置の選択において、N回目とN+1回目でカメラ位置の数が同じ出ない場合も可能である。また、回転台を囲む複数箇所のカメラ位置の選択において、N回目とN+1回目で一部のカメラ位置が重複する形態も可能である。
計測対象を回転させずに固定し、計測対象に向けたカメラを円周上で移動させつつ撮影を行ってもよい。この場合、カメラが移動する円周の中心を基準にカメラの角度位置が把握される。また、計測対象とカメラの位置関係を相対的に固定してもよい。この場合、計測対象を中心とした円周上に多数のカメラを配置した状態とし、各カメラ位置からの撮影を行う。この場合、カメラが配置された円周の中心を基準に角度位置が把握される。
(変形例1)
図10に示すカメラ位置の特定を全てのカメラ位置に対して行わない態様も可能である。例えば、図4に示す計測対象物(回転台)を囲む8箇所のカメラ位置を求めた段階で、図2に示す隣接するカメラ位置を順次求める処理に移行してもよい。この場合、既知なカメラ位置(1),(5),(9),(13),(17),(21),(25),(29)を初期値あるいは拘束点として、未知なカメラ位置の算出および新たに抽出された特徴点の算出が行われる。
(変形例2)
各段階でバンドル調整計算を行なわず、全てのカメラ位置の算出の終了後にバンドル調整計算を行なってもよい。
(変形例3)
図3の場合において、ステレオ画像として、(1)と(17),(9)と(25)のカメラ位置の組を選択してもよい。つまり、選択された(1),(9),(17),(25)の4箇所のカメラ位置から選択されるステレオ画像として、隣接しないカメラ位置のものを選択してもよい。これは、図4~図6の場合も同じである。
(変形例4)
図12の右側に示すようなカメラの配置は、死角がない撮影を行う上で有効である。図12に示す方法では、上下に少なくとも4台のカメラを配置し、下方の2台のカメラは斜め上方向を向き、上方の2台のカメラは斜め下方向を向いている。そして、計測対象物の上側を相対的に上方に配置された斜め下指向のカメラと相対的に上方に配置された斜め上指向のカメラで撮影する。そして、計測対象物の下側を相対的に下方にある斜め下指向のカメラと相対的に下方に配置された斜め上指向のカメラで撮影する。勿論、上下方向における両組の撮影範囲は一部で重複している。こうすることで、上下方向における撮影範囲の死角の発生を抑制できる。
100…3D計測システム、111…土台、112…回転台、113…ターゲット、120…測定対象物である植物、121~123…ランダムドット柱、124…鉢、125…2次元バーコード表示、131~133…カメラ、200…PCを利用した3D計測処理装置。

Claims (10)

  1. 計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付部と、
    前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む3箇所以上のカメラ位置を選択するカメラ位置選択部と、
    前記カメラ位置選択部が選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択部と、
    前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出部と
    を有し、
    前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測装置。
  2. 計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付部と、
    前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む3箇所以上のカメラ位置を選択するカメラ位置選択部と、
    前記カメラ位置選択部が選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択部と、
    前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出部と
    を有し、
    前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択されるカメラ位置が重複しない三次元計測装置。
  3. 前記カメラ位置選択部では、
    前記計測対象物から見た角度位置が360°/N(Nは3以上の自然数)の位置にあるN箇所のカメラ位置を選択する1回目の選択と、
    前記1回目に選択されたN箇所のカメラ位置に対して、前記計測対象物から見た角度位置が180°/Nずれた位置から、N箇所のカメラ位置を選択する2回目の選択と
    が行なわれる請求項1または2に記載の三次元計測装置。
  4. 前記ランダムドット模様は、前記計測対象物が載せられた台に固定され、前記台から上方向に延在する長手部材の表面に形成されている請求項1~3のいずれか一項に記載の三次元計測装置。
  5. 前記長手部材の高さ方向の寸法は、前記台の上に載せられる前記計測対象物の高さ方向の寸法よりも大きい請求項4に記載の三次元計測装置。
  6. 前記台は、回転可能な請求項4または5に記載の三次元計測装置。
  7. 前記カメラに対して、前記台を回転させながら、前記カメラによる前記計測対象物の撮影が行われることで、前記計測対象物および前記ランダムドット模様を周囲の複数の視点から撮影した複数の画像データが得られ、
    前記計測対象物を囲む3つ以上の位置を頂点とする多角形の中に前記計測対象物の回転中心が位置する請求項6に記載の三次元計測装置。
  8. 計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付ステップと、
    前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む3箇所以上のカメラ位置を選択するカメラ位置選択ステップと、
    前記カメラ位置選択ステップで選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択ステップと、
    前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出ステップと
    を有し、
    前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測方法。
  9. コンピュータに読み取らせて実行させるプログラムであって、
    コンピュータに
    計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付ステップと、
    前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む3箇所以上のカメラ位置を選択するカメラ位置選択ステップと、
    前記カメラ位置選択ステップで選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択ステップと、
    前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出ステップと
    を実行させ、
    前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測用プログラム。
  10. 前記カメラ位置選択部は、前記計測対象物を囲む3箇所以上のカメラ位置の1回目の選択と、前記計測対象物を囲む3箇所以上のカメラ位置の2回目の選択とを行い、
    前記カメラの位置算出部は、
    前記1回目に選択されたカメラ位置の算出と、
    該算出において得られた前記カメラ位置を初期値とした前記2回目に選択されたカメラ位置の算出と
    を行う請求項1または2に記載の三次元計測装置。
JP2019102437A 2019-05-31 2019-05-31 三次元計測装置、三次元計測方法および三次元計測用プログラム Active JP7242431B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019102437A JP7242431B2 (ja) 2019-05-31 2019-05-31 三次元計測装置、三次元計測方法および三次元計測用プログラム
CN202080040427.8A CN113874677A (zh) 2019-05-31 2020-02-25 三维测量装置、三维测量方法及三维测量用程序
US17/608,957 US11941852B2 (en) 2019-05-31 2020-02-25 Three-dimensional measurement device, three-dimensional measurement method, and three-dimensional measurement program
EP20814253.9A EP3978867A4 (en) 2019-05-31 2020-02-25 Three-dimensional measurement device, three-dimensional measurement method, and three-dimensional measurement program
PCT/JP2020/007380 WO2020240949A1 (ja) 2019-05-31 2020-02-25 三次元計測装置、三次元計測方法および三次元計測用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019102437A JP7242431B2 (ja) 2019-05-31 2019-05-31 三次元計測装置、三次元計測方法および三次元計測用プログラム

Publications (2)

Publication Number Publication Date
JP2020197407A JP2020197407A (ja) 2020-12-10
JP7242431B2 true JP7242431B2 (ja) 2023-03-20

Family

ID=73553162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019102437A Active JP7242431B2 (ja) 2019-05-31 2019-05-31 三次元計測装置、三次元計測方法および三次元計測用プログラム

Country Status (5)

Country Link
US (1) US11941852B2 (ja)
EP (1) EP3978867A4 (ja)
JP (1) JP7242431B2 (ja)
CN (1) CN113874677A (ja)
WO (1) WO2020240949A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113398A (ja) 2008-11-04 2010-05-20 Omron Corp 3次元モデルの作成方法および物体認識装置
JP2018197685A (ja) 2017-05-23 2018-12-13 公益財団法人かずさDna研究所 三次元計測装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097641A (ja) 1996-09-20 1998-04-14 Sanyo Electric Co Ltd ランダムドットの動画像の生成方法および生成装置
JP3527831B2 (ja) 1997-07-14 2004-05-17 三洋電機株式会社 ランダムドットの動画像の生成方法および生成装置ならびにランダムドット動画像表示処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JPH1196374A (ja) * 1997-07-23 1999-04-09 Sanyo Electric Co Ltd 3次元モデリング装置、3次元モデリング方法および3次元モデリングプログラムを記録した媒体
JP2002094861A (ja) * 2000-09-12 2002-03-29 Sony Corp 画像信号撮影装置および画像信号撮影方法
US8433128B2 (en) 2008-11-04 2013-04-30 Omron Corporation Method of creating three-dimensional model and object recognizing device
WO2011070927A1 (ja) 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
JP5582009B2 (ja) * 2010-12-10 2014-09-03 富士通株式会社 3次元位置計測システム、3次元位置計測装置および3次元位置計測方法
JP5711039B2 (ja) 2011-04-27 2015-04-30 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム
JP5955028B2 (ja) 2012-02-28 2016-07-20 株式会社トプコン 画像処理装置、画像処理方法および画像処理用のプログラム
JP5832341B2 (ja) 2012-03-09 2015-12-16 株式会社トプコン 動画処理装置、動画処理方法および動画処理用のプログラム
JP5963353B2 (ja) 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
JP2017003525A (ja) * 2015-06-15 2017-01-05 株式会社トプコン 三次元計測装置
JP2017003537A (ja) * 2015-06-16 2017-01-05 大同特殊鋼株式会社 3次元形状測定方法
JP6529372B2 (ja) * 2015-07-27 2019-06-12 株式会社パスコ 3次元計測装置、3次元計測方法、及びプログラム
KR20200088319A (ko) * 2017-11-17 2020-07-22 트리나미엑스 게엠베하 적어도 하나의 대상체의 위치를 결정하는 검출기
JP7438223B2 (ja) * 2019-01-09 2024-02-26 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも1つの物体の位置を決定するための検出器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113398A (ja) 2008-11-04 2010-05-20 Omron Corp 3次元モデルの作成方法および物体認識装置
JP2018197685A (ja) 2017-05-23 2018-12-13 公益財団法人かずさDna研究所 三次元計測装置

Also Published As

Publication number Publication date
JP2020197407A (ja) 2020-12-10
WO2020240949A1 (ja) 2020-12-03
US11941852B2 (en) 2024-03-26
EP3978867A1 (en) 2022-04-06
EP3978867A4 (en) 2023-06-28
CN113874677A (zh) 2021-12-31
US20220215585A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
US6954212B2 (en) Three-dimensional computer modelling
JP4245963B2 (ja) 較正物体を用いて複数のカメラを較正するための方法およびシステム
JP5480914B2 (ja) 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
US8532340B2 (en) Projecting patterns for high resolution texture extraction
JP5620200B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
US20020164067A1 (en) Nearest neighbor edge selection from feature tracking
US20130106833A1 (en) Method and apparatus for optical tracking of 3d pose using complex markers
US9182220B2 (en) Image photographing device and method for three-dimensional measurement
WO2021185217A1 (zh) 一种基于多激光测距和测角的标定方法
CN106530358A (zh) 仅用两幅场景图像标定ptz摄像机的方法
WO2010004466A1 (en) Three dimensional mesh modeling
JP2005534026A (ja) 光学式マーカーを用いた三次元測定データ自動整列装置及びその方法
Ahmadabadian et al. Clustering and selecting vantage images in a low-cost system for 3D reconstruction of texture-less objects
JP6898776B2 (ja) 三次元計測装置
JP2017003525A (ja) 三次元計測装置
US11222433B2 (en) 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images
JP2003042732A (ja) 表面形状測定装置及びその方法、表面形状測定プログラム、並びに表面状態図化装置
US6505148B1 (en) Method for combining the computer models of two surfaces in 3-D space
CN112254638B (zh) 一种可俯仰调节的智能视觉3d信息采集设备
JP7242431B2 (ja) 三次元計測装置、三次元計測方法および三次元計測用プログラム
JPH0766436B2 (ja) 連続シルエット画像による3次元モデル構成装置
JP7229102B2 (ja) 画像を用いた三次元計測装置、画像を用いた三次元計測方法および画像を用いた三次元計測用プログラム
JP7392101B2 (ja) 点群データ処理装置、点群データ処理方法及びプログラム
CN114494316A (zh) 角点标记方法、参数标定方法、介质及电子设备
WO2021199822A1 (ja) 点群データ処理装置、点群データ処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230308

R150 Certificate of patent or registration of utility model

Ref document number: 7242431

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150