JP6388806B2 - 射影画像生成装置と射影画像生成プログラムと射影画像生成方法 - Google Patents

射影画像生成装置と射影画像生成プログラムと射影画像生成方法 Download PDF

Info

Publication number
JP6388806B2
JP6388806B2 JP2014160453A JP2014160453A JP6388806B2 JP 6388806 B2 JP6388806 B2 JP 6388806B2 JP 2014160453 A JP2014160453 A JP 2014160453A JP 2014160453 A JP2014160453 A JP 2014160453A JP 6388806 B2 JP6388806 B2 JP 6388806B2
Authority
JP
Japan
Prior art keywords
cross
coordinate data
dimensional coordinate
section
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014160453A
Other languages
English (en)
Other versions
JP2016038669A (ja
Inventor
吉見 隆
隆 吉見
卓郎 西
卓郎 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2014160453A priority Critical patent/JP6388806B2/ja
Publication of JP2016038669A publication Critical patent/JP2016038669A/ja
Application granted granted Critical
Publication of JP6388806B2 publication Critical patent/JP6388806B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Description

本発明は、物体の3次元形状を表す3次元座標データから、物体の表面を2次元平面上に射影した射影画像の2次元座標データを生成する射影画像生成装置と射影画像生成プログラムと射影画像生成方法に関するものである。
様々な産業において、物体の3次元形状を計測することが行われている。3次元形状を計測するための3次元計測装置には種々あり、各装置の特性は計測の用途により異なるが、多くの装置はいわゆる三角測量の原理で計測の対象物である物体の表面上の各点までの距離を計測して点群の計測データを収集する。代表的な計測方法には、レーザ光を使った光切断法やステレオカメラによる相関法などがある。
これらの3次元計測装置は、投影中心から放射状に広がる視野内における格子状に分割された測定点群の計測データを得るが、視野の広さや測定点の密度は3次元計測装置の性能に依存する。
計測の対象面が3次元計測装置の視野内に収まり、かつ、測定点の密度が十分で計測密度も高ければ、1回の計測で3次元形状の計測に必要な測定点が得られる。このように計測された測定点は、3次元座標、あるいは、距離と共に2次元の格子状のインデックスを持つ。こういったインデックスは、2次元座標データと等価である。2次元座標データを持つことにより、局所的な幾何学的な特性を計算する場合に、2次元座標を参照することで計測点の近傍の点を容易に探索することができるという利便性が生じる。
ただし、上記の条件が満たされない場合、例えば、計測の対象面が3次元計測装置の視野に収まらない場合や、遮蔽によって一箇所からでは計測できない場合には、1回の計測では物体の全体の3次元形状を計測することが不可能になる。また、計測不能ではなくても、計測条件が悪化して計測結果の精度が低下する場合もある。このような場合には、1回の計測ではなく、1台の3次元計測装置を複数の視点に移動して各視点から計測をする、あるいは、複数台の3次元計測装置で別々の視点から計測をすることで、物体の全体の3次元形状を計測することができる。
このように複数の独立した3次元座標データがあると、単一の3次元座標データと異なり全体を一つの2次元座標で表現することができなくなり、2次元座標による近傍探索の利便性が失われる。そのため、複数の3次元座標データを対象にして2次元座標データを再構成することで単一の3次元座標データと同様な利便性を得ることができる。
3次元座標データを2次元座標データに変換する場合、例えば、変換の対象となる物体の断面を設定し、最小二乗法を用いて、断面上の複数の点のそれぞれからの距離の2乗の和が最小となるように算出された近似曲線などが用いられる(例えば、特許文献1参照)。
ここで、3次元形状を近似曲線で近似するときの近似の精度を高めるには、物体の形状に合わせた方向に断面を設定する(断面ごとに断面の方向を設定する)、あるいは、物体に設定する断面の数を多くして近似曲線を多数算出することが考えられる。
しかし、物体の形状に合わせて断面ごとに断面の向きを設定すると、断面ごとに算出された2次元の座標データ同士を、断面ごとの向きを考慮して結合させなければならず、情報処理が煩雑となってしまう。また、物体に設定する断面の数が多くなると、情報量が膨大になり、情報処理が煩雑になってしまう。
特許第4168758号明細書
本発明は、以上のような従来技術の問題点を解消するためになされたもので、物体の広範囲で高密度な3次元形状を射影した射影画像の2次元座標データを簡便に得ることができる、射影画像生成装置と射影画像生成プログラムと射影画像生成方法を提供することを目的とする。
本発明は、物体の表面の3次元形状を表す距離画像の3次元座標データから、表面を2次元の平面上に射影した射影画像の2次元座標データを生成する射影画像生成装置であって、3次元座標データを取得する取得部と、物体の特定方向に所定のピッチ離れた互いに平行な複数の断面を設定する断面設定部と、断面に含まれる表面に近似する近似曲線を、表面上の点の3次元座標データに基づいて特定する近似曲線特定部と、断面に含まれる表面上の点ごとに、近似曲線上の基準点からの距離に基づいて点の2次元座標データを算出する2次元座標データ算出部と、2次元座標データを記憶する記憶部と、を有してなることを特徴とする。
本発明によれば、物体の広範囲で高密度な3次元形状を射影した射影画像の2次元座標データを簡便に得ることができる。
本発明にかかる射影画像生成装置の実施の形態を示すブロック図である。 本発明にかかる射影画像生成方法の実施の形態を示すフローチャートである。 物体の距離画像を取得する様子を示す模式図である。 物体の表面上の各点の法線ベクトルの例を示す模式図である。 上記法線ベクトルを単位球上に分布させた様子を示す模式図である。 上記法線ベクトルの終点の点群に対して原点を通る平面をあてはめ、その平面の法線を示す模式図である。 物体の3次元座標の分布に基づいて算出された初期基本軸と、初期基本軸から微小角度偏位させて算出された2本の基本軸候補の例を示す模式図である。 上記一方の基本軸候補に基づいて設定された断面の例を示す模式図である。 上記他方の基本軸候補に基づいて設定された断面の例を示す模式図である。 物体に設定される互いに平行な複数の断面の位置を示す模式図である。 物体の断面が設定される基準方向を示す模式図である。 物体に設定された断面に表れる物体の表面の例を示す模式図である。 上記断面に表れる物体の表面の形状を近似する近似曲線の例を示す模式図である。 上記断面に表れる物体の表面の形状を近似する別の近似曲線の例を示す模式図である。 近似曲線としての円の中心と半径とを示す模式図である。 上記円の中心と上記円上の基準点とを結ぶ線と、上記円の中心と上記物体の表面上の点とを結ぶ線と、がなす角度を示す模式図である。 上記近似曲線が特定される上記物体の表面の範囲(サンプリングウィンドウ)の例を示す模式図である。 隣接する断面ごとに特定された近似曲線の例を示す模式図である。 隣接する断面ごとに特定された近似曲線の別の例を示す模式図である。
以下、本発明にかかる射影画像生成装置と射影画像生成プログラムと射影画像生成方法の実施の形態について、図面を参照しながら説明する。
なお、以下、物体Mの表面の3次元座標データから、物体Mの表面を2次元の平面上に射影した射影画像の2次元座標データを算出する場合を例に説明する。
●射影画像生成装置●
図1は、本発明にかかる射影画像生成装置の実施の形態を示すブロック図である。本発明にかかる射影画像生成装置(以下「本装置」という。)では、本発明にかかる射影画像生成プログラム(以下「本プログラム」という。)が本装置を構成するハードウェアと協働して、本発明にかかる射影画像生成方法(以下「本方法」という。)が実行される。本装置は、例えば、パーソナルコンピュータにより実現される。
なお、本装置とは別のコンピュータで本プログラムを動作させることで、同コンピュータを本装置と同様に機能させて、本方法を実行させることができる。
本装置1は、3次元座標データ取得部11、基準方向決定部12、断面設定部13、近似曲線特定部14、2次元座標データ算出部15、記憶部16、を有してなる。
3次元座標データ取得部11は、本装置1が物体Mの3次元座標データを取得する手段である。3次元座標データの取得方法は、後述する。
基準方向決定部12は、基準方向を決定する手段である。基準方向とは、物体Mに断面を設定する際に用いられる方向である。基準方向の設定方法は、後述する。
断面設定部13は、物体Mに対して断面を設定する手段である。断面の設定方法は、後述する。
近似曲線特定部14は、設定された断面に含まれる物体Mの表面の形状に近似する近似曲線を特定する手段である。近似曲線の特定方法は、後述する。
2次元座標データ算出部15は、特定された近似曲線を用いて物体Mの表面上の点の2次元座標データを算出する手段である。2次元座標データの算出方法は、後述する。
記憶部16は、本装置1が本方法を実行するために必要な情報が記憶される手段である。記憶部16に記憶される情報には、3次元座標データベースDB1と2次元座標データベースDB2とが含まれる。DB1には、本装置1が取得する物体Mの3次元座標データが記憶される。DB2には、本装置1が算出する物体Mの2次元座標データが記憶される。
●射影画像生成方法●
次に、本方法の実施の形態について説明する。
図2は、本方法の実施の形態を示すフローチャートである。
先ず、本装置1は、物体の3次元座標データを取得する(S1)。
図3は、物体Mの3次元座標データの取得の例を示す模式図であって、異なる位置に配置された3つの撮像装置Cam1,Cam2,Cam3で物体Mの表面(外観)を撮像して、物体Mの距離画像を取得する例を示している。符号A1,A2,A3は、それぞれ撮像装置Cam1,Cam2,Cam3で撮像される物体Mの表面上の撮像領域を示している。
距離画像とは、画像を構成する各画素に奥行きの情報(撮像装置の撮像素子から被写体までの距離の情報)が格納された画像である。撮像装置Cam(Cam1,Cam2,Cam3)は、距離画像を、例えば、物体Mにレーザなどを照射したときの物体Mと撮像装置Camとのレーザの往復時間から距離を取得するタイムオブフライト方式などの公知の方法により取得する。本装置1は、物体Mの3次元座標データを、距離画像から特定することができる。よって、本装置1は、複数の視点(複数の撮像装置)から撮像して得られた物体Mの複数の距離画像を合成して物体M全体の3次元座標データを得ることができる。
なお、同図は、物体Mを3つの撮像装置で撮像しているが、物体Mの距離画像を取得するために用いる撮像装置の数は3に限らない。
本装置1は、取得した物体Mの3次元座標データをDB1に記憶する。
図2に戻る。
次いで、本装置1は、基準方向決定部12を用いて、基準方向を決定する(S2)。基準方向の決定方法には種々考えられるが、例えば、以下に説明する(1)物体Mの表面上の法線の分布を利用する方法(以下「決定方法その1」という。)、(2)評価関数を利用する方法(以下「決定方法その2」という。)、の2つの方法がある。ただし、本発明において基準方向の決定方法は、これら2つの方法に限らない。
(1)基準方向の決定方法その1
本装置1が実行する、基準方向の決定方法その1を説明する。
先ず、本装置1は、記憶部16に記憶されている物体Mの表面上の各点の3次元データに基づいて、各点の法線ベクトルの方向を特定する。
図4は、物体Mの表面上の各点の法線ベクトルの方向を示す模式図である。
次いで、本装置1は、特定された物体M上の各点の法線ベクトルを単位球上に分布させる。法線ベクトルを単位球上に分布させるとは、各法線ベクトルの始点が単位球の中心(原点)に位置するように、各法線ベクトルを配置することをいう。
図5は、単位球上に分布された物体M上の各点の法線ベクトルを示す模式図である。
次いで、本装置1は、各法線ベクトルの終点の点群に対して、単位球の原点を通る平面をあてはめ、その平面の法線を基準方向として決定する。
図6は、各法線ベクトルの終点の点群に対して、あてはめられた単位球の原点を通る平面(図中、点線で示す)と、その平面の法線(図中、矢印で示す)とを示す模式図である。
(2)基準方向の決定方法その2
次に、本装置1が実行する、基準方向の決定方法その2を説明する。
先ず、本装置1は、記憶部16に記憶されている物体Mの表面上の各点の3次元データの分布に基づいて、初期基本軸の軸方向を算出(特定)する。ここで、初期基本軸の軸方向の算出には、例えば、前述の基準方向の決定方法その1を用いてもよい。すなわち、物体Mの表面上の各点の法線ベクトルを単位球上に分布させ、各法線ベクトルの終点の点群に対して単位球の原点を通る平面をあてはめ、その平面の法線を初期基本軸の軸方向とする。その上で、本装置1は、初期基本軸の軸方向を微小角度ほど偏位させた基本軸候補の軸方向を算出する。この微小角度や基本軸候補の数は、あらかじめ記憶部16に記憶されている。
図7は、本装置1により算出された、初期基本軸の軸方向SPと、1つ目の基本軸候補の軸方向SAと、2つ目の基本軸候補の軸方向SBと、を示す模式図である。
次いで、本装置1は、基本軸候補ごとに物体Mに互いに平行な複数の断面を設定する。断面の設定方法は、後述する。
図8は、基本軸候補SAの軸方向に設定された物体Mの断面の位置を示す模式図である。一方、図9は、基本軸候補SBの軸方向に設定された物体Mの断面の位置を示す模式図である。
次いで、本装置1は、基本軸候補ごとに、DB1に記憶されている3次元座標データを用いて、設定された断面ごとに、断面に含まれる物体Mの表面の形状の近似曲線を特定して、近似曲線群を得る。近似曲線の特定方法は、後述する。
次いで、本装置1は、基本軸候補ごとに特定された近似曲線群を評価関数で評価し、最も高い評価関数値を得た基本軸候補の軸方向を基準方向として決定する。
ここで、評価関数の評価基準の例としては、例えば、点群と近似曲線との距離、つまり、「近似曲線が設定された断面に含まれる物体Mの表面上の点」と「この点に対応する近似曲線上の点」との距離や、近似曲線同士のパラメータの差(例えば、近似曲線としての円の半径の差)、などがある。
以上説明した決定方法その1やその2その他の方法により、本装置1は、物体Mに対して断面を設定する際に用いる基準方向を決定する。
なお、以下の説明では、説明の便宜上、図11に示すように、基準方向はX軸方向とする。
図2に戻る。
次いで、本装置1は、先に決定された基準方向に所定のピッチ離れた互いに平行な複数の断面を設定する(S3)。つまり、本装置1が設定する断面に含まれる物体Mの表面の形状は、YZ平面上に表れる。
図10は、本装置1により設定される断面の位置を示す模式図である。同図は、物体Mに対して、X軸方向に6つの断面CS1、CS2、・・・、CS6が設定されていること、各断面のX座標がX1、X2、・・・、X6であること、各断面は互いに平行であること、を示している。また、同図は、断面同士の間隔(ピッチ)がPであることを示している。この断面同士の間隔Pは、あらかじめ記憶部16に記憶されている。
次いで、本装置1は、設定された断面ごとに、断面に含まれる物体Mの表面の形状(YZ平面上の形状)に近似する近似曲線を特定する(S4)。
図12は、物体Mに設定された断面と、断面に含まれる物体Mの表面の形状、との関係を示す模式図である。同図は、X座標Xiに設定された断面に含まれる物体Mの表面の形状と、X座標Xjに設定された断面に含まれる物体Mの表面の形状とを示している。
ここで、本装置1は、DB1に記憶されている3次元座標データを用いて、断面に含まれる物体Mの表面に近似する近似曲線を特定する。本装置1が近似曲線を特定する方法としては、最小二乗法その他公知の方法が用いられる。すなわち、例えば、最小二乗法を用いる場合、断面に含まれる物体Mの表面上の各点からの距離(偏差)の2乗の和が最小となるように算出された曲線を近似曲線として特定する。
図13は、本装置1が特定した、X座標Xiに設定された断面に含まれる物体Mの表面に近似する近似曲線の例を示す模式図である。同図は、中心Ci、半径riの円(の円弧)が近似曲線として特定されていることを示している。
図14は、本装置1が特定した、X座標Xjに設定された断面に含まれる物体Mの表面に近似する近似曲線の例を示す模式図である。同図は、近似曲線として、中心Cj、半径
rjの円(の円弧)が近似曲線として特定されていることを示している。
このように、本装置1は、断面ごとに近似曲線を特定する。そのため、例えば、近似曲線の形状が円の場合、断面ごとに特定された近似曲線としての円それぞれの中心を結ぶ線は非直線となり、また、各円の半径の長さも異なる。
図2に戻る。
次いで、本装置1は、断面に含まれる物体Mの表面上の点ごとに、この断面に対して設定された近似曲線上の基準点からの距離に基づいて、物体Mの表面上の点ごとの2次元座標データを算出する(S5)。
図15は、本装置1がX座標Xiにおいて特定した近似曲線としての円の例を示す模式図であって、円の中心がCi、円の半径がriであることを示している。
図16は、図15に示した近似曲線としての円において、円の中心Ciと円上の基準点(不図示)とを結ぶ線t0と、円の中心Ciと物体Mの表面上の点Pとを結ぶ線tと、がなす角度を示す模式図である。
本装置1は、2次元座標データ(u,v)を、以下の数1で定義されるように、断面が設定されたX座標値をu座標値とし、断面に含まれる物体Mの表面上の点群を近似曲線に射影したときの近似曲線上の測地距離をv座標値として算出する。すなわち、本装置1は、近似曲線が円の円弧のとき、断面に含まれる表面上の点ごとの2次元座標データを、円の半径と、「円の中心と前記基準点とを結ぶ線」と「円の中心と点とを結ぶ線」とがなす角度と、に基づいて算出する、
●まとめ
以上説明した実施の形態によれば、断面ごとに近似曲線を特定して2次元座標データを算出するため、物体Mの広範囲で高密度な3次元形状を射影した射影画像の2次元座標データを簡便に得ることができる。また、設定される複数の断面は、物体Mに対して同一の基準方向に設定するため、断面ごとに得られた2次元座標データは、断面ごとの方向を考慮することなく結合(2次元座標データの集合を生成)して用いることができるため、2次元座標データを簡便に得ることができる。
●サンプリングウィンドウ
ここで、断面に含まれる物体Mの表面の形状に近似する近似曲線を、その断面が設定された位置の点の3次元座標データのみでなく、断面が設定された位置の基準方向前後方向に設けたサンプリングウィンドウ内に存在する点の3次元座標データも加えて、断面が設定された位置の物体Mの表面の形状を近似する近似曲線を特定するようにしてもよい。
図17は、断面が設定される位置とサンプリングウィンドウとの関係を示す模式図である。同図は、断面CSn−1、CSn、CSn+1が、X座標Xn−1、Xn、Xn+1に設定されていることを示している。図中では図示を省略してあるが、X<Xn−1およびX>Xn+1の範囲にも平行な断面が間隔pで並んでいる。また、同図は、ハッチがついた矩形で表された幅Wを持つ断面CSnに対するサンプリングウィンドウがXn−W/2からXn+W/2の範囲で設定されていることを示している。同様に、他の断面に対しても同じ長さWを持つサンプリングウィンドウが設定されている。サンプリングウィンドウの長さWは、あらかじめ記憶部16に記憶されている。図中、黒丸で描かれた点はサンプリングウィンドウ内に存在する点、白丸で描かれた点はサンプリングウィンドウ外の点を意味する。例示した図では、サンプリングウィンドウ内に3枚の断面が存在しているが、サンプリングウィンドウの長さWと断面同士の間隔pとは独立に決められており、Wはpの整数倍である必要はない。
本装置1は、断面が設定されるX座標とサンプリングウィンドウの長さWとを用いて、各断面に対して設定されるサンプリングウィンドウのX座標の始点をXn−W/2、X座標の終点をXn+W/2と決定する。すなわち、本装置1は、断面が設定される位置Xnを含むサンプリングウィンドウを、サンプリングウィンドウの基準方向の中間の位置が断面が設定される位置Xnと一致するように設定する。その上で、本装置1は、DB1に記憶されている3次元座標データのうち、X座標がサンプリングウィンドウの始点から終点までの範囲の3次元座標データを用いて、断面CSnに含まれる物体Mの表面を近似する近似曲線を特定する。
以上のとおり、本発明において、断面CSnに含まれる物体Mの表面の形状を近似する近似曲線を特定する際に用いる、断面CSnに含まれる物体Mの表面上の点とは、断面CSnが設定されたX座標Xn上の点のみならず、断面CSnが設定されたX座標Xnに対応するサンプリングウィンドウW内の点も含む。
このように、サンプリングウィンドウを設けて近似曲線を特定する場合、近似曲線を特定するために用いる情報の量(物体Mの表面上の点の数)が、断面が設定されているX座標の3次元座標データのみを用いる場合に比べて増えるため、物体Mの表面の形状をより精度よく近似する近似曲線を得ることができる。その結果、断面ごとに設定される近似曲線の基準方向での変化量(例えば、近似曲線として円を特定する場合、隣接する断面ごとの円の半径の変化量)を小さくすることができる。
図18は、隣接する断面ごとに特定された近似曲線の例を示す模式図である。同図(a)は、4つの撮像装置が物体を撮像して取得した距離画像に基づき算出された、それぞれの撮像領域Ar0,Ar1,Ar2,Ar3の物体の形状を結合させた様子を示している。図中、X0とX0+1は隣接する断面の設定位置を示している(紙面、左右方向が基準方向)。同図は、断面が設定された位置X0と、断面が設定された位置X0+1との間は、撮像領域Ar1とAr3の視野の違いにより、物体の表面の形状が不連続であることを示している。
同図(b)は、図中左が位置X0での近似曲線の例、図中右が位置X0+1での近似曲線の例である。同図は、隣接する断面に含まれる表面上の点の一部が同じような位置であっても、近似曲線としての円の中心位置や半径は異なることを示している。
このように隣接する近似曲線同士が大きく変化するような場合であっても、前述のとおり、サンプリングウィンドウ内の点に基づいて1の近似曲線を特定することで、隣接する断面の近似曲線の変化量を小さくすることができる。その結果、得られる2次元座標データの基準方向と直交する方向の値は、基準方向に沿って滑らかに変位したものとなり、例えば、撮影領域の視野の違いによる物体Mの表面の形状の急峻な変化を、射影画像上では滑らかな変化に変換することができる。
図19は、隣接する断面ごとに特定された近似曲線の別の例を示す模式図である。同図(a)は、図18(a)と同一である。なお、同図中、断面の位置X0とX0+1とを示す線(紙面、上下方向の線)の間の4本の線は、隣接する断面に含まれる物体の表面上の対応点の位置を示している。
同図(b)は、図中左が位置X0での近似曲線の例、図中右が位置X0+1での近似曲線の例である。同図は、隣接する複数の断面の表面上の点に基づいて1の近似曲線を特定することで、隣接する断面同士の近似曲線の変化が緩やかになる、つまり、図中左の近似曲線としての円の半径は大きくなり、図中右の近似曲線としての円の半径が小さくなり、結果として、隣接する断面の近似曲線としての円の半径の差が小さくなることを示している。
その結果、同図(c)に示すように、隣接する断面に含まれる物体の表面上の対応点の位置の変化量が、同図(a)に比べて、小さくなっていることを示している。
ここで、隣接する複数の断面ごとに特定される近似曲線としての各円の中心を結ぶ線は、非直線である。なお、前述のとおり、1の断面ごとに特定される近似曲線としての各円の中心を結ぶ線も非直線である。すなわち、本発明においては、設定された複数の断面に対応して特定される近似曲線(複数の断面ごとに特定される近似曲線や、1の断面ごとに特定される近似曲線)としての各円の中心を結ぶ線は、非直線である。
●ピッチ(P)の変更
なお、物体Mの3次元形状を高精度に近似した2次元座標を得るには、設定される断面間のピッチを短くすることが望ましい。しかし、このピッチが短くなると、設定される断面の数が増加し、情報量が膨大となってしまう。
そこで、本発明においては、ピッチの初期値を決めておき(記憶部16に記憶しておき)、ピッチの初期値で算出された各断面の近似曲線を評価し、その評価結果次第でピッチを再設定(例えば、初期値より短く設定)して、再設定後(変更後)のピッチを用いて断面を設定し直して近似曲線を特定するようにしてもよい。すなわち、例えば、初期値で断面を設定して各断面の近似曲線としての円を特定したとき、隣接する円同士の半径の差が所定の差(閾値:記憶部16にあらかじめ記憶しておく)より大きいときは、その隣接する断面同士が設定されている基準方向の範囲で物体Mの大きさが急激に変化している可能性がある。そこで、このような場合には、初期値より狭いピッチに変更して、断面を設定し直して近似曲線を特定した上で2次元座標を算出することで、3次元座標を高精度に近似した2次元座標を得ることができる。なお、ピッチの変更量(例えば、現在のピッチの60%の長さに変更する、など)は、あらかじめ記憶部16に記憶しておく。
●本装置の特徴のまとめ
以下、これまで説明した本装置の特徴をまとめて記載しておく。
(特徴1)
物体の表面の3次元形状を表す距離画像の3次元座標データから、前記表面を2次元の平面上に射影した射影画像の2次元座標データを生成する射影画像生成装置であって、
前記3次元座標データを取得する取得部と、
前記物体の特定方向に所定のピッチ離れた互いに平行な複数の断面を設定する断面設定部と、
前記断面に含まれる前記表面の形状に近似する近似曲線を、前記3次元座標データを用いて特定する近似曲線特定部と、
前記断面に含まれる前記表面上の点ごとに、前記近似曲線上の基準点からの距離に基づいて前記点の前記2次元座標データを算出する2次元座標データ算出部と、
前記2次元座標データを記憶する記憶部と、
を有してなる、
ことを特徴とする射影画像生成装置。
(特徴2)
前記近似曲線特定部は、前記断面に含まれる前記表面の形状に近似する近似曲線を、前記断面が設定される位置を含むサンプリングウィンドウ内の点の前記3次元座標データを用いて特定する、
特徴1記載の射影画像生成装置。
(特徴3)
前記断面が設定される位置を含むサンプリングウィンドウは、前記サンプリングウィンドウの前記特定方向の中間の位置が前記断面が設定される位置と一致するように設定される、
特徴2記載の射影画像生成装置。
(特徴4)
前記近似曲線は、円の円弧であって、
前記2次元座標データ算出部は、前記断面に含まれる前記表面上の点ごとの2次元座標データを、
前記円の半径と、
前記円の中心と前記基準点とを結ぶ線と、前記円の中心と前記点とを結ぶ線と、がなす角度と、
に基づいて算出する、
特徴1乃至3のいずれかに記載の射影画像生成装置。
(特徴5)
前記設定された複数の断面に対応して特定される前記近似曲線としての各円の中心を結ぶ線は、非直線である、
特徴4記載の射影画像生成装置。
(特徴6)
前記ピッチの長さを、前記近似曲線としての円の半径に基づいて変更するピッチ変更部を備え、
前記断面設定部は、前記変更されたピッチに基づいて、互いに平行な複数の断面を設定し、
前記近似曲線特定部は、前記変更されたピッチに基づいて設定された新たな断面に含まれる前記表面に近似する新たな近似曲線を特定し、
前記2次元座標データ算出部は、前記新たな断面に含まれる前記表面上の点ごとに、前記新たな近似曲線上の基準点からの距離に基づいて前記点の2次元座標データを算出する、
特徴4または5記載の射影画像生成装置。
(特徴7)
前記特定方向を、前記3次元座標データに基づいて決定する特定方向決定部、
を備える、
特徴1乃至6のいずれかに記載の射影画像生成装置。
(特徴8)
前記特定方向決定部は、前記3次元座標データから算出される前記物体の表面上の点群の分布に基づいて、前記特定方向を決定する、
特徴7記載の射影画像生成装置。
(特徴9)
前記特定方向決定部は、前記物体の表面上の各点の法線ベクトルを単位球上に分布させ、前記各点の法線ベクトルの終点の点群に対して単位球の原点を通る平面をあてはめ、前記平面の法線の方向を、前記特定方向として決定する、
特徴8記載の射影画像生成装置。
(特徴10)
前記特定方向決定部は、
前記物体の表面上の各点の法線ベクトルを単位球上に分布させ、前記各点の法線ベクトルの終点の点群に対して単位球の原点を通る平面をあてはめ、前記平面の法線の方向を、初期基本軸の軸方向として特定し、
前記初期基本軸の軸方向を異なる方向に所定角度ほど偏位させた複数の方向のうち、1の方向を前記特定方向として決定する、
特徴8記載の射影画像生成装置。
(特徴11)
前記特定方向決定部は、
前記3次元座標データから算出される前記物体の表面上の点群の分布に基づいて、初期基本軸の軸方向を特定し、
前記初期基本軸の軸方向を異なる方向に所定角度ほど偏位させた複数の方向のうち、1の方向を前記特定方向として決定する、
特徴7記載の射影画像生成装置。
M 物体
Cam 撮像装置
A,Ar 撮像範囲
SP 初期基本軸
SA 基本軸候補その1
SB 基本軸候補その2
p 断面同士の間隔(ピッチ)
CS 断面
C 近似曲線としての円の中心
r 近似曲線としての円の半径
W サンプリングウィンドウ長さ

Claims (13)

  1. 物体の表面の3次元形状を表す距離画像の3次元座標データから、前記表面を2次元の平面上に射影した射影画像の2次元座標データを生成する射影画像生成装置であって、
    前記3次元座標データを取得する取得部と、
    前記物体の特定方向に所定のピッチ離れた互いに平行な複数の断面を設定する断面設定部と、
    前記断面設定部により設定された断面に含まれる前記表面の形状に近似する近似曲線を、前記3次元座標データを用いて断面ごとに特定する近似曲線特定部と、
    前記断面に含まれる前記表面上の点ごとに、前記近似曲線上の基準点からの距離に基づいて前記点の前記2次元座標データを算出する2次元座標データ算出部と、
    前記2次元座標データを記憶する記憶部と、
    を有してな
    前記2次元座標データは、前記点ごとの、前記断面が設定された位置の座標値と、前記断面に含まれる物体の表面上の点を近似曲線に射影したときの近似曲線上の測地距離を座標値とするものである
    ことを特徴とする射影画像生成装置。
  2. 前記近似曲線特定部は、前記断面に含まれる前記表面の形状に近似する近似曲線を、前記断面が設定される位置を含むサンプリングウィンドウ内の点の前記3次元座標データを用いて特定する、
    請求項1記載の射影画像生成装置。
  3. 前記断面が設定される位置を含むサンプリングウィンドウは、前記サンプリングウィンドウの前記特定方向の中間の位置が前記断面が設定される位置と一致するように設定される、
    請求項2記載の射影画像生成装置。
  4. 前記近似曲線は、円の円弧であって、
    前記2次元座標データ算出部は、前記断面に含まれる前記表面上の点ごとの2次元座標データを、
    前記円の半径と、
    前記円の中心と前記基準点とを結ぶ線と、前記円の中心と前記点とを結ぶ線と、がなす角度と、
    に基づいて算出する、
    請求項1乃至3のいずれかに記載の射影画像生成装置。
  5. 前記設定された複数の断面に対応して特定される前記近似曲線としての各円の中心を結ぶ線は、非直線である、
    請求項4記載の射影画像生成装置。
  6. 前記ピッチの長さを、前記近似曲線としての円の半径に基づいて変更するピッチ変更部を備え、
    前記断面設定部は、前記変更されたピッチに基づいて、互いに平行な複数の断面を設定し、
    前記近似曲線特定部は、前記変更されたピッチに基づいて設定された新たな断面に含まれる前記表面に近似する新たな近似曲線を特定し、
    前記2次元座標データ算出部は、前記新たな断面に含まれる前記表面上の点ごとに、前記新たな近似曲線上の基準点からの距離に基づいて前記点の2次元座標データを算出する、
    請求項4または5記載の射影画像生成装置。
  7. 前記特定方向を、前記3次元座標データに基づいて決定する特定方向決定部、
    を備える、
    請求項1乃至6のいずれかに記載の射影画像生成装置。
  8. 前記特定方向決定部は、前記3次元座標データから算出される前記物体の表面上の点群の分布に基づいて、前記特定方向を決定する、
    請求項7記載の射影画像生成装置。
  9. 前記特定方向決定部は、前記物体の表面上の各点の法線ベクトルを単位球上に分布させ、前記各点の法線ベクトルの終点の点群に対して単位球の原点を通る平面をあてはめ、前記平面の法線の方向を、前記特定方向として決定する、
    請求項8記載の射影画像生成装置。
  10. 物体の表面の3次元形状を表す距離画像の3次元座標データから、前記表面を2次元の平面上に射影した射影画像の2次元座標データを生成する射影画像生成装置であって
    前記3次元座標データを取得する取得部と
    前記3次元座標データから算出される前記物体の表面上の点群の分布に基づいて、特定方向を決定する、特定方向決定部と
    前記物体の特定方向に所定のピッチ離れた互いに平行な複数の断面を設定する断面設定部と
    前記断面に含まれる前記表面の形状に近似する近似曲線を、前記3次元座標データを用いて特定する近似曲線特定部と
    前記断面に含まれる前記表面上の点ごとに、前記近似曲線上の基準点からの距離に基づいて前記点の前記2次元座標データを算出する2次元座標データ算出部と
    前記2次元座標データを記憶する記憶部と
    を有し
    前記特定方向決定部は、
    前記物体の表面上の各点の法線ベクトルを単位球上に分布させ、前記各点の法線ベクトルの終点の点群に対して単位球の原点を通る平面をあてはめ、前記平面の法線の方向を、初期基本軸の軸方向として特定し、
    前記初期基本軸の軸方向を異なる方向に所定角度ほど偏位させた複数の方向のうち、1の方向を前記特定方向として決定する、
    ことを特徴とする射影画像生成装置。
  11. 物体の表面の3次元形状を表す距離画像の3次元座標データから、前記表面を2次元の平面上に射影した射影画像の2次元座標データを生成する射影画像生成装置であって
    前記3次元座標データを取得する取得部と
    前記3次元座標データに基づいて特定方向を決定する特定方向決定部と
    前記物体の特定方向に所定のピッチ離れた互いに平行な複数の断面を設定する断面設定部と
    前記断面に含まれる前記表面の形状に近似する近似曲線を、前記3次元座標データを用いて特定する近似曲線特定部と
    前記断面に含まれる前記表面上の点ごとに、前記近似曲線上の基準点からの距離に基づいて前記点の前記2次元座標データを算出する2次元座標データ算出部と
    前記2次元座標データを記憶する記憶部と
    を有し
    前記特定方向決定部は、
    前記3次元座標データから算出される前記物体の表面上の点群の分布に基づいて、初期基本軸の軸方向を特定し、
    前記初期基本軸の軸方向を異なる方向に所定角度ほど偏位させた複数の方向のうち、1の方向を前記特定方向として決定する、
    ことを特徴とする射影画像生成装置。
  12. コンピュータを、請求項1乃至11のいずれかに記載の射影画像生成装置として機能させることを特徴とする射影画像生成プログラム。
  13. 物体の表面の3次元形状を表す距離画像の3次元座標データから、前記表面を2次元の平面上に射影した射影画像の2次元座標データを生成する装置により実行される射影画像生成方法であって、
    前記装置が、
    前記3次元座標データを取得するステップと、
    前記物体の特定方向に所定のピッチ離れた互いに平行な複数の断面を設定するステップと、
    前記断面を設定するステップにより設定された断面に含まれる前記表面の形状に近似する近似曲線を、前記3次元座標データを用いて断面ごとに特定するステップと、
    前記断面に含まれる前記表面上の点ごとに、前記近似曲線上の基準点からの距離に基づいて前記点の前記2次元座標データを算出するステップであり、前記2次元座標データは、前記点ごとの、前記断面が設定された位置の座標値と、前記断面に含まれる物体の表面上の点を近似曲線に射影したときの近似曲線上の測地距離を座標値とするものであるステップと、
    前記2次元座標データを記憶するステップと、
    を有してなる、
    ことを特徴とする射影画像生成方法。
JP2014160453A 2014-08-06 2014-08-06 射影画像生成装置と射影画像生成プログラムと射影画像生成方法 Active JP6388806B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014160453A JP6388806B2 (ja) 2014-08-06 2014-08-06 射影画像生成装置と射影画像生成プログラムと射影画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014160453A JP6388806B2 (ja) 2014-08-06 2014-08-06 射影画像生成装置と射影画像生成プログラムと射影画像生成方法

Publications (2)

Publication Number Publication Date
JP2016038669A JP2016038669A (ja) 2016-03-22
JP6388806B2 true JP6388806B2 (ja) 2018-09-12

Family

ID=55529711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014160453A Active JP6388806B2 (ja) 2014-08-06 2014-08-06 射影画像生成装置と射影画像生成プログラムと射影画像生成方法

Country Status (1)

Country Link
JP (1) JP6388806B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102269532B1 (ko) * 2019-04-19 2021-06-25 주식회사 일루베이션 3차원 이미지를 활용한 가축 무게 측정 시스템 및 이를 이용한 가축 무게 측정 방법
CN110781746B (zh) * 2019-09-23 2023-03-10 安徽农业大学 一种枸杞识别与定位方法
CN116681871B (zh) * 2023-07-31 2023-10-31 山东捷瑞数字科技股份有限公司 一种面向数字孪生的模型视觉辅助定位方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090125A (ja) * 2000-09-13 2002-03-27 Kawaso Electric Industrial Co Ltd 柱状物体の観測方法
JP2006139713A (ja) * 2004-11-15 2006-06-01 Fuji Electric Systems Co Ltd 3次元物体位置検出装置、プログラム
JP6083638B2 (ja) * 2012-08-24 2017-02-22 国立大学法人 宮崎大学 動物体の体重推定装置、及び体重推定方法
JP2014109555A (ja) * 2012-12-04 2014-06-12 Nippon Telegr & Teleph Corp <Ntt> 点群解析処理装置、点群解析処理方法及びプログラム

Also Published As

Publication number Publication date
JP2016038669A (ja) 2016-03-22

Similar Documents

Publication Publication Date Title
JP7282317B2 (ja) 3次元計測システム及び3次元計測方法
EP2568253B1 (en) Structured-light measuring method and system
JP5631025B2 (ja) 情報処理装置、その処理方法及びプログラム
JP2016075637A (ja) 情報処理装置およびその方法
Jia et al. Depth measurement based on infrared coded structured light
JP2012181142A (ja) ステレオ画像処理装置及びステレオ画像処理方法
CN108362228B (zh) 一种基于双光机的光刀光栅混合式三维测量装置及测量方法
WO2011145285A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP4701848B2 (ja) 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
JP2019120591A (ja) 視差値算出装置、視差値算出方法及びプログラム
JP6388806B2 (ja) 射影画像生成装置と射影画像生成プログラムと射影画像生成方法
JP6668594B2 (ja) 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP2019220099A (ja) ステレオマッチング処理装置、ステレオマッチング処理方法、及びプログラム
JP6285686B2 (ja) 視差画像生成装置
CN108898629B (zh) 用于三维建模中航空行李表面纹理增强的投影编码方法
JP2016099318A (ja) ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法
JP5656018B2 (ja) 球体の検出方法
JP6456084B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017045124A (ja) 視差検出装置
CN112258635B (zh) 基于改进双目匹配sad算法的三维重建方法及装置
Bräuer-Burchardt et al. Phase unwrapping in fringe projection systems using epipolar geometry
Bräuer-Burchardt et al. Comparison and evaluation of correspondence finding methods in 3D measurement systems using fringe projection
Zhang et al. Passive 3D reconstruction based on binocular vision
Recker et al. Hybrid Photogrammetry Structure-from-Motion Systems for Scene Measurement and Analysis
US10480934B2 (en) Effective search for a silhouette cone to reconstruct a three dimensional shape of an object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180815

R150 Certificate of patent or registration of utility model

Ref document number: 6388806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250