JP7287877B2 - 3次元部品データ作成方法および該装置 - Google Patents

3次元部品データ作成方法および該装置 Download PDF

Info

Publication number
JP7287877B2
JP7287877B2 JP2019193204A JP2019193204A JP7287877B2 JP 7287877 B2 JP7287877 B2 JP 7287877B2 JP 2019193204 A JP2019193204 A JP 2019193204A JP 2019193204 A JP2019193204 A JP 2019193204A JP 7287877 B2 JP7287877 B2 JP 7287877B2
Authority
JP
Japan
Prior art keywords
image
marks
mark
unit
part data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019193204A
Other languages
English (en)
Other versions
JP2021067555A (ja
Inventor
誠司 仲村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Priority to JP2019193204A priority Critical patent/JP7287877B2/ja
Publication of JP2021067555A publication Critical patent/JP2021067555A/ja
Application granted granted Critical
Publication of JP7287877B2 publication Critical patent/JP7287877B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、3次元の部品データを作成する3次元部品データ作成方法および3次元部品データ作成装置に関する。
例えば、集積回路、コンデンサおよび抵抗素子等の部品を機械によって自動的に実装するために、部品の形状を表す部品データ(部品認識データ)が重要となる。このような部品データを手動で部品実装装置に入力すると、工数がかかってしまう。このため、部品データを自動的に部品実装装置に入力する技術が望まれる。このような技術として、例えば、特許文献1に、部品認識データ作成装置が開示されている。
この特許文献1に開示された部品認識データ作成装置は、電子部品を撮像装置により撮像することによって画像データを得て、この得られた画像データから、前記電子部品のボディや電極のエッジを抽出することによって、前記電子部品のボディや電極における形状や中心位置等の部品認識データを抽出する([0098]段落ないし[0100]段落参照)。
特許第3877501号公報(特開2002-24804号公報)
前記特許文献1に開示された部品認識データ作成装置は、上述のように、電子部品のボディや電極における形状や中心位置等の部品認識データを抽出しているが、この部品認識データは、2次元データであるため、高さ(厚さ)のデータを抽出できていない。
本発明は、上述の事情に鑑みて為された発明であり、その目的は、3次元の部品データを作成できる3次元部品データ作成方法および3次元部品データ作成装置を提供することである。
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる3次元部品データ作成方法は、計測対象の部品と、目印となる1または複数のマークとを1個の撮像装置で撮像した画像を、前記部品と前記撮像装置とを相対的に移動させた複数の移動箇所それぞれで生成する画像生成工程と、前記画像生成工程で生成した複数の画像および実際の長さに関する所定の実長情報に基づいて、前記部品の形状に関する所定の3次元データである3次元部品データを求める部品データ処理工程とを備え、前記マークの位置は、前記複数の移動箇所それぞれで前記撮像装置によって撮像される間、前記部品に対して不変である。
このような3次元部品データ作成方法では、マークの位置は、複数の移動箇所それぞれで撮像装置によって撮像される間、部品に対して不変である。このため、移動前後の各画像における前記マークの位置に基づいて前記相対的な移動の移動量が求められるから、上記3次元部品データ作成方法は、いわゆる三角測量の原理から、前記移動前後の各画像および実際の長さに関する所定の実長情報に基づいて、前記部品の形状に関する所定の3次元データを求めることができ、したがって、3次元の部品データを作成できる。一般に、3次元データを求める場合に、2個の撮像装置を用いたいわゆるステレオカメラが用いられるが、上記3次元部品データ作成方法は、1個の撮像装置で良いので、ステレオカメラに較べて安価な機器構成で3次元の部品データを作成できる。
他の一態様では、上述の3次元部品データ作成方法において、前記マークは、複数であり、前記複数の移動箇所それぞれで前記撮像装置によって撮像される間、前記部品に対して位置が不変である前記マークは、前記複数のマークのうちの少なくとも1個であり、前記複数のマークのうちの少なくとも2個は、マーク間距離が既知であり、前記実長情報は、前記マーク間距離である。好ましくは、上述の3次元部品データ作成方法において、前記マーク間距離は、前記画像生成工程を実施する前に、あるいは、前記画像生成工程における移動中に、あるいは、前記画像生成工程を実施した後に、実測され、前記部品データ処理工程を実施する前に、既知とされる。
このような3次元部品データ作成方法では、前記マークは、複数であり、前記複数のマークのうちの少なくとも2個は、実長情報としてのマーク間距離が既知であるので、上記3次元部品データ作成方法は、この既知なマーク間距離を用いて実寸法で3次元の部品データを作成できる。マークが複数であることで、上記3次元部品データ作成方法は、複数のマークに対する撮像装置との相対的な角度の変化も考慮できる。
他の一態様では、上述の3次元部品データ作成方法において、前記実長情報は、既知な、前記撮像装置の1画素に写り込む被写体の実長である。
これによれば、既知な、撮像装置の1画素に写り込む被写体の実長(実際の長さ、実寸法)を実長情報として用いた3次元部品データ作成方法が提供できる。
他の一態様では、これら上述の3次元部品データ作成方法において、前記画像生成工程における移動は、水平方向の移動であり、前記複数のマークは、少なくとも2個以上である。
一般に、計測対象の部品や複数のマークに対する撮像装置の姿勢(光軸の向き)の特定には、3次元空間では、少なくとも3個以上のマークが必要である。上記3次元データ作成方法は、撮像装置の相対的な移動が水平方向に規制されるので、少なくとも2個以上のマークで良く、より少ないマークで3次元の部品データを作成できる。マークが3個以上である場合には、上記3次元データ作成方法は、冗長なマーク数により、より高精度に3次元の部品データを作成できる。
他の一態様では、これら上述の3次元部品データ作成方法において、前記複数のマークのうち少なくとも3個のマークは、前記複数の移動箇所それぞれで前記撮像装置によって撮像される間、線形独立な各位置にあり、前記複数のマークは、少なくとも3個以上である。
このような3次元データ作成方法は、少なくとも3個以上のマークを用いるので、撮像装置の移動に制約が無くなるから、撮像装置を手で持って撮像することが可能となる。マークが4個以上である場合には、上記3次元データ作成方法は、冗長なマーク数により、より高精度に3次元の部品データを作成できる。
他の一態様では、上述の3次元部品データ作成方法において、前記画像生成工程は、複数の移動箇所それぞれについて、画像表示工程と生成工程とを備え、前記画像表示工程は、当該移動箇所において、前記撮像装置で仮に撮像した仮画像を表示装置に表示すると共に、当該移動箇所に応じた画像上でのマークの適正位置を案内するガイド表示を前記仮画像に重畳するように前記表示装置に表示し、前記生成工程は、当該移動箇所において、前記部品データ処理工程で用いられる前記画像を生成する。
このような3次元部品データ作成方法は、ガイド表示を仮画像と共に表示装置に表示するので、マークとガイド表示とを参照することで、各移動箇所それぞれで部品に対し撮像装置を容易に移動でき、各移動箇所それぞれでの部品に対する撮像装置の位置を容易に適正化できる。上記3次元部品データ作成方法は、線形独立な各位置に位置する少なくとも3個以上のマークと、各マークそれぞれに対応する各ガイド表示とを参照することで、部品に対する撮像装置の姿勢を適正化できる。
他の一態様では、上述の3次元部品データ作成方法において、前記画像生成工程は、前記仮画像において、前記ガイド表示に対し前記マークの位置が適正であるか否かを判定する判定工程と、前記判定工程の判定結果を出力する出力工程とをさらに備える。
このような3次元部品データ作成方法は、判定工程と出力工程とをさらに備えるので、オペレータ(ユーザ)は、判定結果を参酌することで、各移動箇所それぞれでの部品に対する撮像装置の位置を容易に適正化できる。
他の一態様では、上述の3次元部品データ作成方法において、前記画像生成工程は、前記仮画像において、前記ガイド表示に対し前記マークの位置が適正であるか否かを判定する判定工程をさらに備え、前記生成工程は、前記判定工程の判定結果が適正である場合に自動的に実施される。
このような3次元部品データ作成方法は、生成工程を、判定工程の判定結果が適正である場合に自動的に実施するので、オペレータ(ユーザ)によるシャッター押下操作に伴う部品に対する撮像装置の位置ずれや手ぶれを低減できる。
他の一態様では、これら上述の3次元部品データ作成方法において、前記撮像装置は、撮影機能付きモバイル端末装置に実装された撮像装置である。
このような3次元部品データ作成方法は、例えばカメラ付きスマートフォンやカメラ付きタブレット等の撮影機能的付きモバイル端末装置を流用でき、このため、より安価で、かつ、手軽に撮像ができ、3次元の部品データを作成する専用機器が不要となる。
他の一態様では、これら上述の3次元部品データ作成方法において、前記マークは、前記画像に基づいてマークの位置を計測可能な形状である。
このような3次元データ作成方法は、画像処理でマークの位置を計測できる。
本発明の他の一態様にかかる3次元部品データ作成装置は、計測対象の部品と、目印となる1または複数のマークとを、前記部品との間で相対的に移動させた複数の移動箇所それぞれで撮像する1個の撮像部と、前記複数の移動箇所それぞれで前記撮像部によって撮像された複数の画像および実際の長さに関する所定の実長情報に基づいて、前記部品の形状に関する所定の3次元データである3次元部品データを求める部品データ処理部とを備え、前記マークの位置は、前記複数の移動箇所それぞれで前記撮像装置によって撮像される間、前記部品に対して不変である。
このような3次元部品データ作成装置では、マークの位置は、複数の移動箇所それぞれで撮像部によって撮像される間、部品に対して不変である。このため、移動前後の各画像における前記マークの位置に基づいて前記相対的な移動の移動量が求められるから、上記3次元部品データ作成装置は、いわゆる三角測量の原理から、前記移動前後の各画像および実際の長さに関する所定の実長情報に基づいて、前記部品の形状に関する所定の3次元データを求めることができ、したがって、3次元の部品データを作成できる。一般に、3次元データを求める場合に、2個の撮像装置を用いたいわゆるステレオカメラが用いられるが、上記3次元部品データ作成装置は、1個の撮像装置で良いので、ステレオカメラに較べて安価な機器構成で3次元の部品データを作成できる。
本発明にかかる3次元部品データ作成方法および3次元部品データ作成装置は、3次元の部品データを作成できる。
第1実施形態における3次元部品データ作成装置の構成を示すブロック図である。 図1に示す3次元部品データ作成装置の外観構成を示す概略図である。 図1に示す3次元部品データ作成装置に用いられる各態様のマークを説明するための図である。 図1に示す3次元部品データ作成装置における3次元部品データの高さ(厚さ)の算出方法を説明するための図である。 図1に示す3次元部品データ作成装置の動作を示すフローチャートである。 第2実施形態における3次元部品データ作成装置の構成を示すブロック図である。 図6に示す3次元部品データ作成装置の外観構成を示す概略図である。 図6に示す3次元部品データ作成装置の動作を示すフローチャートである。
以下、図面を参照して、本発明の1または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
本実施形態における3次元部品データ作成方法は、計測対象の部品と、目印となる1または複数のマークとを1個の撮像装置で撮像した画像を、前記部品と前記撮像装置とを相対的に移動させた複数の移動箇所それぞれで生成する画像生成工程と、前記画像生成工程で生成した複数の画像および実際の長さに関する所定の実長情報に基づいて、前記部品の形状に関する所定の3次元データである3次元部品データを求める部品データ処理工程とを備える。そして、前記3次元部品データ作成方法では、前記マークの位置は、前記複数の移動箇所それぞれで前記撮像装置によって撮像される間、前記部品に対して不変である。一例では、前記マークは、複数であり、前記複数の移動箇所それぞれで前記撮像装置によって撮像される間、前記部品に対して位置が不変である前記マークは、前記複数のマークのうちの少なくとも1個であり、前記複数のマークのうちの少なくとも2個は、マーク間距離が既知であり、前記実長情報は、前記マーク間距離である。このような3次元部品データ作成方法について、以下、これを実装した第1および第2実施形態における3次元部品データ作成装置を用いることで、より具体的に説明する。
(第1実施形態)
図1は、第1実施形態における3次元部品データ作成装置の構成を示すブロック図である。図2は、図1に示す3次元部品データ作成装置の外観構成を示す概略図である。図2Aは、3次元部品データ作成装置Saの側面図であり、図2Bは、部品PTを載置した載置台STの上面図である。図3は、図1に示す3次元部品データ作成装置に用いられる各態様のマークを説明するための図である。図3Aないし図3Gは、それぞれ、第1ないし第7態様の第1ないし第7マークMKa~MKgを示す。図4は、図1に示す3次元部品データ作成装置における3次元部品データの高さ(厚さ)の算出方法を説明するための図である。図2、図4および後述の図7には、方向関係の明確化のために、XYZ直交座標系が示されている。なお、X方向(X軸)は、例えば水平面と平行な方向であり、Y方向(Y軸)は、前記水平面内でX方向と直交する方向であり、Z方向(Z軸)は、X方向およびY方向にそれぞれ直交する方向(垂直方向、前記水平面の法線方向)である。
実施形態における3次元部品データ作成装置Saは、計測対象の部品PTにおける3次元部品データを作成する装置であり、例えば、図1および図2に示すように、1個の撮像部1と、制御処理部2aと、入力部3と、出力部4aと、インターフェース部5と、記憶部6aと、載置台(ステージ)STとを備える。
部品PTは、任意の部材であって良く、好ましくは、工数低減のために、機械によって自動的に実装される部材である。例えば、3次元部品データが部品実装装置に利用される場合、部品PTは、例えば、集積回路(IC)、コンデンサおよび抵抗素子等の電子部品である。前記3次元部品データは、部品PTの形状に関する所定のデータであり、3次元で表される。部品PTが、部品本体PBと部品本体PBから外部に延びる付属部(例えば電極等)PEとを備える場合、前記3次元部品データは、部品PTの外形(部品本体PBおよび付属部PE全体の外形)における横寸法(X方向の長さ)、縦寸法(Y方向の長さ)および高さ寸法(厚さ寸法、Z方向の長さ)、部品本体PBにおける横寸法、縦寸法および高さ寸法、付属部PEにおける横寸法(長さ)、縦寸法(幅)および高さ寸法、ならびに、付属部PEが複数で有る場合における付属部PEの個数および間隔のうちの少なくとも1つを含む。
載置台STは、計測対象の部品PTを載置するための部材である。載置台STは、例えば、図2に示すように、平面視にて矩形の平板状部材である。
載置台STにおける計測対象の部品PTを載置する一方面(主面)SFには、目印となる複数のマークMKが在り、前記複数のマークMKのうちの少なくとも1個のマークMKにおける位置は、3次元部品データを作成するための複数の画像を生成するために、部品PTと撮像部1とを相対的に移動させた複数の移動箇所MPそれぞれで撮像部1によって撮像される間、定位置に在る。図2に示す例では、複数のマークMKは、矩形の載置台STにおける4個の各コーナ(角部)に在る4個の第1ないし第4マークMK1~MK4を備える。これら4個の第1ないし第4マークMK1~MK4は、そのうちの少なくとも1個が前記複数の移動箇所MPそれぞれで撮像部1によって撮像される間、定位置に在って良いが、本実施形態では、その全てが前記定位置に在る。このような第1ないし第4マークMK1~MK4は、例えば、載置台STの主面SFの色と異なる色であって所定の形状で形成された各部材(小片)であり、載置台STの各コーナに配置される。マークMKは、本実施形態では、後述するように、画像からエッジを抽出することで検出されるので、マークMKとその背景となる載置台STの主面SFとの間のコントラストは、高い方が好ましい。第1ないし第4マークMK1~MK4は、その自重で、前記複数の移動箇所MPそれぞれで撮像部1によって撮像される間、定位置に在って良いが、例えば接着剤や締結具(例えばネジ等)等によって、載置台STの各コーナに固定(または半固定)され配置されて良い。あるいは、例えば、第1ないし第4マークMK1~MK4は、シールで形成され、載置台STの各コーナに貼付されることで載置台STの主面SF上に形成される。あるいは、例えば、第1ないし第4マークMK1~MK4は、載置台STの主面SFに描画されることで載置台STの主面SF上に形成される。
マークMKは、画像に基づいてマークの位置を計測可能な形状であれば、任意の形状であって良い。例えば、マークの形状は、図2や図3Aに示すように平面視にて円形状である(第1態様)。この場合、円形状のマークMKaにおける中心の位置がマークの位置とされる。あるいは、例えば、マークの形状は、図3Bに示すように、平面視にて、例えば正方形等の正多角形である(第2態様)。この場合、正多角形のマークMKbにおける中心の位置(対角線の交点)がマークの位置とされる。あるいは、例えば、マークの形状は、図3Cに示すように、平面視にて、直交した2本の線分から形成される十字形である(第3態様)。この場合、十字状のマークMKcにおける交差の位置がマークの位置とされる。
なお、マークMKは、上述に限らず、次のように構成されても良い。あるいは、例えば、マークMKは、図3Dに示すように、平面視にて、直交した2本の線分MKd1、MKd2の交点から成るマークMKdであり(第4態様)、前記交点の位置がマークの位置とされる。あるいは、例えば、マークMKは、図3Eに示すように、平面視にて、線分MKe1の一方端から成るマークMKeであり(第5態様)、前記一方端の位置がマークの位置とされる。あるいは、例えば、マークMKは、図3Fに示すように、載置台STに所定の形状で形成された凹所または貫通孔から成るマークMKfである(第6態様)。あるいは、例えば、マークMKは、図3Gに示すように、載置台STにおけるコーナの先端から成るマークMKgであり(第7態様)、前記先端の位置がマークの位置とされる。ここで、図3Aないし図3Gの各図には、1個のマークMKa~MKgが図示されている(このため、第5態様のマークMKeの場合、1個の線分で2個のマークMKe、MKeが形成される)。また、3次元部品データ作成装置Saに用いられる複数のマークMKは、同種で構成されて良く、あるいは、異種の複数種で構成されても良い。
このような複数のマークMKの在る載置台STの主面SF上に計測対象の部品PTが載置され、この載置された部品PTが、その自重で、前記複数の移動箇所MPそれぞれで撮像部1によって撮像される間、載置された位置に在って不変とされることで、第1ないし第4マークMK1~MK4の各位置(前記複数のマークのうちの少なくとも1個のマークにおける位置)は、前記複数の移動箇所MPそれぞれで撮像部1によって撮像される間、定位置に在って不動であるから、部品PTに対して不変である。
そして、載置台STの主面SF上に在る複数のマークMKのうちの少なくとも2個は、予め実測され、マーク間距離が既知である。例えば、図2に示す例において、4個の第1ないし第4マークMK1~MK4のうちの任意の2個のマーク間距離が実測され、既知とされる。例えば、第1および第2マークMK1、MK2との間のマーク間距離が実測され、既知とされる。あるいは、例えば、第1および第3マークMK1、MK3との間のマーク間距離が実測され、既知とされる。あるいは、例えば、第1および第4マークMK1、MK4との間のマーク間距離が実測され、既知とされる。1個のマーク間距離が実測され、既知とされて良いが、本実施形態では、第1および第2マークMK1、MK2との間のマーク間距離(縦方向マーク間距離、Y方向マーク間距離)、および、第1および第3マークMK1、MK3との間のマーク間距離(横方向マーク間距離、X方向マーク間距離)それぞれが実測され、既知とされる。これにより、計測対象の縦寸法は、画像(イメージセンサ)での第1および第2マークMK1、MK2との間のマーク間距離(画像上縦方向マーク間距離、第1および第2マークMK1、MK2との間の画素数)に対する、画像での計測対象の縦長(計測対象の縦方向の画素数)の比(縦比)に、実寸法の縦方向マーク間距離を乗算することで、算出される((計測対象の縦寸法)=((画像での計測対象の縦長)/(画像上縦方向マーク間距離))×(実寸法の縦方向マーク間距離))。計測対象の横寸法は、画像での第1および第3マークMK1、MK3との間のマーク間距離(画像上縦方向マーク間距離、第1および第3マークMK1、MK3との間の画素数)に対する、画像での計測対象の横長(計測対象の横方向の画素数)の比(横比)に、実寸法の横方向マーク間距離を乗算することで、算出される((計測対象の横寸法)=((画像での計測対象の横長)/(画像上横方向マーク間距離))×(実寸法の横方向マーク間距離))。このように計測対象の実寸法が求められるので、既知なマーク間距離は、長いほど好ましい(既知なマーク間距離を与える2個の各マークMKは、互いに離れているほど好ましい)。1個のマーク間距離が実測され、既知とされている場合には、この1個の実寸法のマーク間距離に基づいて実寸法の縦方向マーク間距離および実寸法の横方向マーク間距離それぞれが求められることになるが(例えば、実寸法の縦方向マーク間距離が既知の場合、この実寸法の縦方向マーク間距離が実寸法の横方向マーク間距離とされる((実寸法の横方向マーク間距離)=(実寸法の縦方向マーク間距離)))、上述のように、実寸法の縦方向マーク間距離および実寸法の横方向マーク間距離それぞれが既知とされる場合では、例えば製品ばらつき等により収差で撮像部1の結像光学系に歪みが生じている場合でも、1個の実寸法のマーク間距離が既知である場合に較べて、より精度良く部品の実寸法が求められる。このようなマーク間距離は、画像から実寸法を求めるための、実際の長さに関する所定の実長情報の一例に相当する。
撮像部1は、制御処理部2aに接続され、制御処理部2aの制御に従って、所定の被写体を撮像し、前記被写体の画像(画像データ)を生成する装置である。本実施形態では、撮像部1は、計測対象の部品PTと、目印となる複数のマークMKとを、前記部品PTとの間で相対的に移動させた複数の移動箇所MPそれぞれで撮像し、前記複数の移動箇所MPそれぞれでの各画像を制御処理部2aへ出力する。このような撮像部1は、例えば、被写体の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記被写体の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記被写体の画像を表すデータである画像データを生成する画像処理部等を備えるデジタルカメラである。
このような撮像部1は、部品PTと撮像部1とを相対的に移動させるために、例えば、撮像部1を載置台STの上方で保持する保持具(カメラスタンド)(不図示)によって保持される。前記保持具は、例えば、柱状のロッドと、前記ロッドの一方端(下端)に取り付けられ、前記ロッドを載置台STの主面SFにおける法線方向(Z方向)に沿って立設させる板状の支持台と、前記ロッドの他方端(上端)に取り付けられ、載置台STの上方へ向かって延びるアームとを備え、前記アームの先端には、撮像部1が取り付けられる。なお、前記アームが省略され、前記ロッドの他方端に撮像部1が取り付けられても良い。
前記複数の移動箇所それぞれで画像を生成する場合、例えば、図2Aに示すように、マニュアル(手動)で前記保持具を移動することで、撮像部1は、第1移動箇所MP1に移動され、撮像し、第1移動箇所MP1での撮像によって画像を生成すると、撮像部1は、第1移動箇所MP1から適宜な距離だけ横方向(X方向)に沿って移動した第2移動箇所MP2に移動され、撮像する。
なお、上述では、撮像部1が載置台STに対し移動することで、部品PTと撮像部1とが相対的に移動したが、マニュアル(手動)で載置台STが撮像部1に対し移動することで、部品PTと撮像部1とが相対的に移動しても良く、あるいは、撮像部1および載置台STそれぞれが異なる移動量で移動することで、部品PTと撮像部1とが相対的に移動しても良い。
入力部3は、制御処理部2aに接続され、各種コマンドや各種データを3次元部品データ作成装置Saに入力する装置であり、例えば、所定の機能を割り付けられた複数の入力スイッチ等である。前記各種コマンドは、例えば、3次元部品データの作成開始を指示するコマンドや、撮像部1に撮像開始を指示するコマンド等である。前記各種データは、例えば、3次元部品データが作成される部品の識別子(例えば部品の製品名等)や、実長情報、本実施形態では既知な実寸法のマーク間距離等の、前記3次元部品データの作成を行う上で必要なデータである。出力部4aは、制御処理部2aに接続され、制御処理部2aの制御に従って、入力部3から入力されたコマンドやデータ、および、当該3次元部品データ作成装置Saで作成した3次元部品データ等を出力する装置であり、例えばCRTディスプレイ、液晶ディスプレイ(LCD)および有機ELディスプレイ等の表示装置やプリンタ等の印刷装置等である。
なお、入力部3および出力部4aからタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部3は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部4aは、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な1または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として3次元部品データ作成装置Saに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い3次元部品データ作成装置Saが提供される。
IF部5は、制御処理部2aに接続され、制御処理部2aの制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるRS-232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA(Infrared Data Asscoiation)規格等の赤外線通信を行うインターフェース回路、および、USB(Universal Serial Bus)規格を用いたインターフェース回路等である。なお、IF部5は、外部機器との間で通信を行う回路であり、例えば、データ通信カードや、IEEE802.11規格等に従った通信インターフェース回路等であっても良い。
記憶部6aは、制御処理部2aに接続され、制御処理部2aの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、制御処理プログラム等が含まれる。この制御処理プログラムは、制御プログラム、撮像処理プログラムおよび部品データ処理プログラムを含む。前記制御プログラムは、3次元部品データ作成装置Saの各部1、3~6aを当該各部の機能に応じてそれぞれ制御するプログラムである。前記撮像処理プログラムは、計測対象の部品PTと、目印となる複数のマークMKとを撮像した画像を、部品PTと撮像部1とを相対的に移動させた複数の移動箇所MPそれぞれで生成するように、ガイダンスを行い、複数の移動箇所MPそれぞれにおいて、オペレータ(ユーザ)によるシャッター押下操作を入力部3で受け付けた場合、撮像部1に撮像させて画像を生成させ、この生成させた画像を撮像部1から取得するプログラムである。前記部品データ処理プログラムは、前記撮像処理プログラムによって撮像部1で生成した複数の画像および実長情報、本実施形態ではマーク間距離に基づいて3次元部品データを求めるプログラムである。前記各種の所定のデータには、実長情報、本実施形態では予め実測された実寸法のマーク間距離等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部6aは、前記マーク間距離に関するマーク間距離情報を記憶するマーク間距離情報記憶部61を機能的に備える。前記マーク間距離情報は、前記マーク間距離を与える2個のマークと、その実寸法を含む。このような記憶部6aは、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。記憶部6aは、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部2aのワーキングメモリとなるRAM(Random Access Memory)等を含む。なお、記憶部6aは、比較的大きな記憶容量を持つハードディスク装置を備えても良い。
制御処理部2aは、3次元部品データ作成装置Saの各部1、3~6aを当該各部の機能に応じてそれぞれ制御し、3次元部品データを作成するための回路である。制御処理部2aは、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部2aは、前記制御処理プログラムが実行されることによって、制御部41、撮像処理部22aおよび部品データ処理部23を機能的に備える。
制御部21は、3次元部品データ作成装置Saの各部1、3~6aを当該各部の機能に応じてそれぞれ制御し、3次元部品データ作成装置Saの全体制御を司るものである。
撮像処理部22aは、部品PTとマークMKとを撮像した画像を、部品PTと撮像部1とを相対的に移動させた複数の移動箇所MPそれぞれで生成するように、ガイダンスを行い、複数の移動箇所MPそれぞれにおいて、オペレータ(ユーザ)によるシャッター押下操作を入力部3で受け付けた場合、撮像部1に撮像させて画像を生成させ、この生成させた画像を撮像部1から取得するものである。例えば、撮像処理部22aは、3次元部品データの作成開始の指示を入力部3で受け付けると、撮像部1を第1移動箇所MP1に移動させ、移動後に、シャッター押下操作を入力部3で行うように促すメッセージ(第1メッセージ)を出力部4aから出力する。シャッター押下操作を入力部3で受け付けると、撮像処理部22aは、撮像部1に撮像させて画像(第1画像)を生成させ、この生成させた第1画像を撮像部1から取得し、撮像部1を第2移動箇所MP2に移動させ、移動後に、シャッター押下操作を入力部3で行うように促すメッセージ(第2メッセージ)を出力部4aから出力する。シャッター押下操作を入力部3で受け付けると、撮像処理部22aは、撮像部1に撮像させて画像(第2画像)を生成させ、この生成させた第2画像を撮像部1から取得する。なお、この例において、撮像処理部22aは、撮像部1を移動させる代わりに、上述のように、載置台STを移動しても良く、撮像部1および載置台STそれぞれを移動しても良い。
部品データ処理部23は、撮像処理部22aによって撮像部1で生成した複数の画像および実長情報、本実施形態ではマーク間距離に基づいて3次元部品データを求めるものである。
より具体的には、部品データ処理部23は、例えば、第1および第2移動箇所MP1、MP2それぞれで撮像され生成された第1および第2画像に基づいて3次元部品データを求める。
より詳しくは、部品データ処理部23は、まず、第1画像からマークMKおよび部品PTの輪郭を抽出(検出、認識)する。例えば、部品データ処理部23は、第1画像をいわゆるエッジフィルタで画像処理することによって、エッジを抽出し、この抽出したエッジからマークMKおよび部品PTの輪郭を抽出する。次に、部品データ処理部23は、マークMKに起因するエッジをマークMKの形状に見立てることによって第1画像でのマークの位置を求める。例えば、マークMKが円形状である場合、部品データ処理部23は、マークMKに起因するエッジを円形に見立てて円形の中心位置をマークの位置として求める。次に、部品データ処理部23は、この求めた各マークの位置から、本実施形態では、画像上横方向マーク間距離および画像上縦方向マーク間距離それぞれを求める。次に、部品データ処理部23は、部品PTに起因するエッジに基づいて、3次元部品データにかかる、画像での部品PTの各横長および各縦長を求める。例えば、図2Bに示すように、部品PTが部品本体PBおよび14個の第1ないし第14電極PE1~PE14を備え、3次元部品データが部品本体PBにおける横寸法および縦寸法ならびに電極PEにおける横寸法および縦寸法を含む場合、部品データ処理部23は、部品PTに起因するエッジに基づいて、画像での部品本体PBの横長および縦長ならびに電極PEの横長および縦長それぞれを求める。次に、部品データ処理部23は、これら求めた画像上横方向マーク間距離および画像上縦方向マーク間距離、画像での部品PTの各横長および各縦長、ならびに、記憶部6aに記憶されている横方向マーク間距離および縦方向マーク間距離から、部品PTの各横寸法および縦寸法を求める。なお、上述では、第1画像から部品PTの横寸法および縦寸法が求められたが第2画像から部品PTの横寸法および縦寸法が求められて良く、あるいは、第1および第2画像それぞれから部品PTの横寸法および縦寸法が求められ、その各平均値が部品PTの横寸法および縦寸法とされても良い。また、マークMKや部品PTの輪郭等を抽出する際に、例えば直線や曲線のハフ変換(Hough変換)等の画像処理が用いられても良い。
次に、部品データ処理部23は、部品PTの高さ寸法を求めるために、部品データ処理部23は、上述と同様に、第2画像からマークMKおよび部品PTの輪郭を抽出し、第2画像でのマークの位置を求める。3次元部品データにおける部品PTの高さ寸法Ohは、次式1を用いて求めることができる。図4に示すように、部品PTにおける、寸法を求めたい部分、例えば、部品PTそのものの高さ寸法をOhとし、第1移動箇所MP1と第2移動箇所MP2との間の距離をCxとし、撮像部1と載置台STの主面SFとの間の距離(カメラ高さ)をChとし、同一のマークMK(例えば第3マークMK3)に対する、寸法を求めたい前記部分における、第1画像と第2画像との間の変位量をOxとすると、三角形の相似から、式1;Oh=Ox×(Ch/(Cx+Ox))となる。部品PTそのものの高さ寸法Ohは、図2に示すようなZ方向において部品本体PBの底面より電極PEの先端が突出している部品PTの場合、部品本体PBの上面を載置台STの主面SFに当接するように部品PTが載置台STに載置されると、電極PEの先端の高さ寸法となる。式1より高さ寸法Ohを求めるために、次に、部品データ処理部23は、同一のマークMK(例えば第3マークMK3)における第1画像と第2画像との間の変位量を、部品PTと撮像部1との間の相対的な移動の移動量、図2に示す例では、撮像部1の移動量Cx(すなわち、第1移動箇所MP1と第2移動箇所MP2との間の距離Cx)として求める。次に、部品データ処理部23は、同一のマークMK(例えば第3マークMK3)について、前記マークMK(この例では第3マークMK3)と、寸法を求めたい前記部分との間の距離を、第1画像および第2画像それぞれで求め、これら求めた各距離の差を、寸法を求めたい前記部分における第1画像と第2画像との間の変位量Oxとして求める。そして、部品データ処理部23は、これら求めた各値Cx、Oxを前記式1に用いて部品PTの高さ寸法Ohを求める。なお、カメラ高さChは、予め実測され記憶部6aに記憶される。あるいは、撮像部1の焦点距離をfとし、イメージセンサでの、実寸法の縦方向マーク間距離(横方向マーク間距離)を与える2個のマーク間距離をsとし、実寸法の縦方向マーク間距離(横方向マーク間距離)をmとすると、Ch=m×f/s、から、カメラ高さChが求められる。
このように部品データ処理部23は、部品PTの3次元部品データを求める。
これら制御処理部2a、入力部3、出力部4a、IF部5および記憶部6aは、例えば、デスクトップ型やノード型やタブレット型等のコンピュータによって構成可能である。あるいは、これら撮像部1、制御処理部2a、入力部3、出力部4a、IF部5および記憶部6aは、例えばカメラ付きスマートフォンやカメラ付きタブレット等の撮影機能的付きモバイル端末装置が3次元部品データ作成装置Saとして流用され、このようなモバイル端末装置に実装された撮像装置が撮像部1として用いられる。
次に、本実施形態の動作について説明する。図5は、図1に示す3次元部品データ作成装置の動作を示すフローチャートである。
このような構成の3次元部品データ作成装置Saは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部2aには、制御部21、撮像処理部22aおよび部品データ処理部23が機能的に構成される。
図5において、まず、計測の準備が実施される(S11)。より具体的には、オペレータ(ユーザ)は、計測対象の部品PTを載置台STの主面SF上に配置する。図2および図3に示す例では、部品PTの高さ寸法を求めるために、部品本体PBの上面が載置台STの主面SFに当接するように、部品PTが載置台STに配置される。そして、オペレータは、3次元部品データの作成開始の指示を入力部3に入力する。前記作成開始の指示を入力部3で受け付けると、3次元部品データ作成装置Saは、制御処理部2aの撮像処理部22aによって、前記第1メッセージを出力部4aから出力する。この前記第1メッセージを参照することによって、オペレータは、撮像部1を第1移動箇所MP1に移動させ、シャッター押下操作を入力部3に入力する。あるいは、3次元部品データ作成装置Saは、撮像処理部22aによって、撮像部1を第1移動箇所MP1に移動させた後に、前記第3メッセージを出力部4aから出力する。この前記第3メッセージを参照することによって、オペレータは、シャッター押下操作を入力部3に入力する。
シャッター押下操作を入力部3で受け付けると、3次元部品データ作成装置Saは、撮像処理部22aによって、撮像部1に撮像させて第1画像を生成させ、この生成させた第1画像を撮像部1から制御処理部2aに取り込む(S12)。第1移動箇所MP1で第1画像を生成すると、撮像処理部22aは、前記第2メッセージを出力部4aから出力する。この前記第2メッセージを参照することによって、オペレータは、撮像部1を第2移動箇所MP2に移動させ、シャッター押下操作を入力部3に入力する。あるいは、撮像処理部22aは、撮像部1を第2移動箇所MP2に移動させた後に、前記第4メッセージを出力部4aから出力する。この前記第4メッセージを参照することによって、オペレータは、シャッター押下操作を入力部3に入力する。
シャッター押下操作を入力部3で受け付けると、3次元部品データ作成装置Saは、撮像処理部22aによって、撮像部1に撮像させて第2画像を生成させ、この生成させた第2画像を撮像部1から制御処理部2aに取り込む(S13)。
第2移動箇所MP2で第2画像を生成すると、3次元部品データ作成装置Saは、制御処理部2aの部品データ処理部23によって、第1および第2移動箇所MP1、MP2それぞれで撮像され生成された第1および第2画像に基づいて、上述の各処理によって、3次元部品データを求める(S14)。ここで、3次元部品データの作成に必要なマーク間距離は、この処理S14(部品データ処理工程)より前に、既知であれば良い。例えば、処理S12や処理S13の画像生成工程を実施する前に、前記マーク間距離が実測される。より具体的には、載置台STにマークMKが配置された際に、前記マーク間距離が、実測され、マーク間距離情報記憶部61に予め記憶される。あるいは、例えば、処理S11で(処理S12の実施の前に)前記マーク間距離が、実測され、入力部3から入力され、マーク間距離情報記憶部61に記憶される。また例えば、前記画像生成工程における移動中に、この例では処理S12と処理S13との合間に、前記マーク間距離が、実測され、入力部3から入力され、マーク間距離情報記憶部61に記憶される。また例えば、前記画像生成工程を実施した後に、前記マーク間距離が、実測され、入力部3から入力され、マーク間距離情報記憶部61に記憶される。
3次元部品データを求めると、3次元部品データ作成装置Saは、制御処理部2aの制御部21によって、この求めた3次元部品データを出力部4aから出力し(S15)、本処理を終了する。なお、3次元部品データは、記憶部6aに記憶され、保存されても良い。
以上説明したように、第1実施形態における3次元部品データ作成装置Saおよびこれに実装された3次元部品データ作成方法では、4個のマークMK1~MK4のうちの少なくとも1個のマークMKにおける位置(本実施形態では全てのマークMK1~MK4の各位置)は、第1および第2移動箇所MP1、MP2それぞれで撮像部1によって撮像される間、部品PTに対して不変である。このため、移動前後の各画像における前記マークの位置に基づいて前記相対的な移動の移動量が求められるから、上記3次元部品データ作成装置Saおよびその方法は、いわゆる三角測量の原理(図4に示す例では三角形の相似)から、前記移動前後の各画像および実長情報、本実施形態ではマーク間距離に基づいて、部品PTの形状に関する所定の3次元データを求めることができ、したがって、3次元の部品データを作成できる。上記3次元部品データ作成装置Saおよびその方法は、1個の撮像部1で良いので、ステレオカメラに較べて安価な機器構成で3次元の部品データを作成できる。1個の撮像部1を用いる場合であって、前記相対的な移動による撮像部1の移動量を実測する場合、前記撮像部1の移動量を厳密に管理する必要があるが、上記3次元部品データ作成装置Saおよびその方法は、上述のように、移動前後の各画像における前記マークの位置に基づいて前記相対的な移動の移動量が求められるから、前記撮像部1の移動量を厳密に管理する必要が無い。そして、前記4個のマークMK1~MK4のうちの少なくとも2個は、マーク間距離(本実施形態では横方向マーク間距離および縦方向マーク間距離)が既知であるので、上記3次元部品データ作成装置Saおよびその方法は、実寸法で、3次元の部品データを作成できる。マークが複数であることで、上記3次元部品データ作成装置Saおよびその方法は、複数のマークに対する撮像装置との相対的な角度の変化も考慮できる。
一般に、計測対象の部品PTや複数のマークMKに対する撮像部1の姿勢(光軸の向き)の特定には、3次元空間では、少なくとも3個以上のマークMKが必要である。上記3次元部品データ作成装置Saおよびその方法は、前記支持部材によって撮像部1の相対的な移動が水平方向に規制されるので、少なくとも2個以上のマークで良く、より少ないマークで3次元の部品データを作成できる。マークが3個以上である場合には、上記3次元部品データ作成装置Saおよびその方法は、冗長なマーク数により、より高精度に3次元の部品データを作成できる。例えば、上述のように、横方向マーク間距離および縦方向マーク間距離を用いることで、より高精度な3次元部品データの作成が可能となる。あるいは、例えば、複数のマークMKそれぞれについて、寸法を求めたい前記部分における、第1画像と第2画像との間の変位量Oxを複数求めてその平均値を求めることで、より高精度な3次元部品データの作成が可能となる。
上記3次元部品データ作成装置Saおよびその方法は、適宜な形状のマークMKを用いるので、画像処理でマークの位置を計測できる。なお、円形状のマークMKaや正多角形状のマークMKbは、複数点のエッジから中心位置が求めることが可能であるので、より好ましい。
次に、別の実施形態について説明する。
(第2実施形態)
第1実施形態における3次元部品データ作成装置Saは、撮像部1が前記支持部材で支持され、このため、少なくとも2個以上の複数のマークMKを用いたが、第2実施形態における3次元部品データ作成装置Sbは、前記複数の移動箇所MPそれぞれで撮像部1によって撮像される間、線形独立な各位置にある少なくとも3個のマークを含む、3個以上の複数のマークMKを用いる。
図6は、第2実施形態における3次元部品データ作成装置の構成を示すブロック図である。図7は、図6に示す3次元部品データ作成装置の外観構成を示す概略図である。図7Aは、第1移動箇所MP1での仮画像およびガイド表示を表示部に表示した3次元部品データ作成装置Sbを示し、図7Bは、第2移動箇所MP2での仮画像およびガイド表示を表示部に表示した3次元部品データ作成装置Sbを示す。図7Cは、載置台ST上において、線形独立な各位置に在る3個のマークMK1、MK3、MK4を示す。
このような第2実施形態における3次元部品データ作成装置Sbは、例えば、図6および図7に示すように、撮像部1と、制御処理部2bと、入力部3と、出力部4bと、IF部5と、記憶部6bと、移動体通信部7とを備える。これら第2実施形態における3次元部品データ作成装置Sbにおける撮像部1、入力部3およびIF部5は、それぞれ、機能的には、第1実施形態における3次元部品データ作成装置Saにおける撮像部1、入力部3およびIF部5と同様であるので、その説明を省略する。出力部4bは、後述のガイド表示を装置するため、必ず表示装置を含む点を除き、出力部4aと同様である。
載置台STにおける計測対象の部品PTを載置する一方面SFには、第1実施形態と同様に、複数のマークMKが在る。そして、第2実施形態では、前記複数のマークMKのうち少なくとも3個のマークは、複数の移動箇所MPそれぞれで撮像部1によって撮像される間、線形独立な各位置(互いに交差する2直線上の各位置(少なくとも、一方の直線上の2点の第1および第2位置および他方の直線上の1点の第3位置)にある。第2実施形態における複数のマークMKは、このような線形独立な各位置に在る、少なくとも3個のマークを含む、少なくとも3個以上を備える。より具体的には、第2実施形態における複数のマークMKは、第1実施形態と同様に、図7Aおよび図7Bに示すように、矩形の載置台STにおける4個の各コーナに在る4個の第1ないし第4マークMK1~MK4を備える。したがって、本実施形態では、例えば図7Cに示すように、第1、第3および第4マークMK1、MK3、MK4は、互いに直交する各位置にあり、第1および第3マークMK1を通る直線と、第3および第4マークMK3、MK4を通る直線とは、第3マークMK3の位置で直交している。
第2実施形態における3次元部品データ作成装置Sbは、専用機であって良いが、本実施形態では、例えばカメラ付きスマートフォンやカメラ付きタブレット等の撮影機能的付きモバイル端末装置が3次元部品データ作成装置Sbとして流用され、このようなモバイル端末装置に実装された撮像装置および表示装置それぞれが撮像部1および出力部(表示部)4bとして用いられる。図6および図7に示す例では、カメラ付きスマートフォンが3次元部品データ作成装置Sbとして流用されている。このため、第2実施形態における3次元部品データ作成装置Sbは、移動体通信部7を備えている。この移動体通信部7は、制御処理部2bに接続され、制御処理部2bの制御に従って、移動体通信網を介して他の通信装置と通信するための回路である。
記憶部6bは、制御処理部2bに接続され、制御処理部2bの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路であり、例えばROM、EEPROM、RAM等を含む。
前記各種の所定のプログラムには、例えば、制御処理プログラム等が含まれる。この制御処理プログラム(3次元部品データ作成アプリケーション)は、制御プログラム、撮像処理プログラムおよび部品データ処理プログラムを含む。第2実施形態における前記制御プログラムおよび前記部品データ処理プログラムは、それぞれ、第1実施形態における前記制御プログラムおよび前記部品データ処理プログラムと同様であるので、その説明を省略する。前記撮像処理プログラムは、部品PTと複数のマークMKとを撮像した画像を、部品PTと撮像部1とを相対的に移動させた複数の移動箇所MPそれぞれで生成するように、ガイダンスを行い、複数の移動箇所MPそれぞれにおいて、オペレータによるシャッター押下操作を入力部3で受け付けた場合、撮像部1に撮像させて画像を生成させ、この生成させた画像を撮像部1から取得するプログラムである。
本実施形態では、前記撮像処理プログラムは、移動箇所MPに応じた画像上でのマークの適正位置を案内するガイド表示GDを用いることで前記ガイダンスを行い、さらに、本実施形態では、前記ガイド表示GDに対しマークの位置が適正であるか否かを判定し、その判定結果を出力部4bから出力する。前記ガイド表示GDは、複数の移動箇所MPそれぞれに対応して設けられる。前記ガイド表示GDは、前記複数の移動箇所MPそれぞれにおいて、出力部(表示部)4bに表示された場合に、当該移動箇所MPに応じた画像上でのマークの適正位置を案内できれば、任意の表示であって良い。前記ガイド表示GDは、例えば、画像上でのマークの適正位置を指し示す点形状(・)や円形状(●)や矢印(→)等であって良いが、本実施形態では、前記ガイド表示GDは、例えば、図7Aおよび図7Bに示すように、前記マークの適正位置を中央位置に規定した環形状(リング形状)の図形である。このような形状のガイド表示GDでは、画像上のマークMKを、前記ガイド表示GDの中央位置に位置させるように、撮像部1(すなわち、3次元部品データ作成装置Sb)を移動させることで、当該移動箇所MPにおいて、部品PTに対する撮像部1(すなわち、3次元部品データ作成装置Sb)の位置が適正化される。好ましくは、前記ガイド表示GDの環形状は、マークMKより大きな、マークの形状と相似な形状である。このようなガイド表示GDでは、画像上のマークMKを、前記ガイド表示GDの中央位置に位置させても、前記ガイド表示GDが前記マークMKによって遮蔽されることがなく、略常時、前記ガイド表示GDを参照しつつ画像上のマークの位置を移動させることができ、前記位置が適正化し易い。
そして、第2実施形態では、複数のマークMKは、上述のように、複数の移動箇所MPそれぞれで撮像部1によって撮像される間、線形独立な各位置に在る少なくとも3個のマークMKを含む。このため、このような線形独立な各位置に在る3個のマークMKとこれらそれぞれに対応する3個のガイド表示GDとを参照し、前記3個のガイド表示GDそれぞれに対する前記3個のマークMKそれぞれの各位置を全て適正化することで、部品PTに対する撮像部1の姿勢を適正化できる。
前記各種の所定のデータには、実長情報、本実施形態では予め実測された実寸法のマーク間距離や、前記ガイド表示GD等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部6bは、前記マーク間距離に関するマーク間距離情報を記憶するマーク間距離情報記憶部61、および、前記ガイド表示GDに関する表すガイド表示情報を記憶するガイド表示情報記憶部62を機能的に備える。前記ガイド表示情報は、例えば、複数の移動箇所MPそれぞれに対応する複数のガイド表示画像を備え、前記ガイド表示画像は、当該移動箇所MPに対応した位置に表示されたガイド表示GDを備えた画像である。あるいは、例えば、前記ガイド表示情報は、ガイド表示GDを表す画像(ガイド画像)と、複数の移動箇所MPそれぞれに対応する、出力部(表示部)4b上でのガイド表示GD(ガイド画像)を表示すべき各位置とを含む。
制御処理部2bは、3次元部品データ作成装置Sbの各部1、3~6bを当該各部の機能に応じてそれぞれ制御し、3次元部品データを作成するための回路である。制御処理部2bは、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部2bは、前記制御処理プログラムが実行されることによって、制御部21、撮像処理部22bおよび部品データ処理部23を機能的に備える。第2実施形態における制御部21および部品データ処理部23は、それぞれ、第1実施形態における制御部21および部品データ処理部23と同様であるので、その説明を省略する。
撮像処理部22bは、部品PTとマークMKとを撮像した画像を、部品PTと撮像部1とを相対的に移動させた複数の移動箇所MPそれぞれで生成するように、ガイダンスを行い、複数の移動箇所MPそれぞれにおいて、オペレータによるシャッター押下操作を入力部3で受け付けた場合、撮像部1に撮像させて画像を生成させ、この生成させた画像を撮像部1から取得するものである。より具体的には、第2実施形態では、撮像処理部22bは、画像表示処理部221、判定処理部222および生成処理部223を機能的に備える。
画像表示処理部221は、複数の移動箇所MPそれぞれについて、当該移動箇所MPにおいて、撮像部1で仮に撮像した仮画像を出力部(表示部)4bに表示すると共に、当該移動箇所MPに応じたガイド表示GDを前記仮画像に重畳するように出力部(表示部)4bに表示する。例えば、複数の移動箇所MPが2個の第1および第2移動箇所MP1、MP2である場合、まず、第1移動箇所MP1において、画像表示処理部221は、撮像部1に画像を仮画像(第1仮画像)として撮像させ、この撮像させた第1仮画像を撮像部1から取得し、この取得した第1仮画像を表示部4bに表示し、この第1移動箇所MP1に対応するガイド表示GDをガイド表示情報記憶部62から読み込んで前記仮画像に重畳するように表示部4bに表示する。これによって例えば図7Aに示す画像が3次元部品データ作成装置SbとしてのスマートフォンSbの表示部4bに表示される。そして、第2移動箇所MP2において、画像表示処理部221は、撮像部1に画像を仮画像(第2仮画像)として撮像させ、この撮像させた第2仮画像を撮像部1から取得し、この取得した第2仮画像を表示部4bに表示し、この第2移動箇所MP2に対応するガイド表示GDをガイド表示情報記憶部62から読み込んで前記仮画像に重畳するように表示部4bに表示する。これによって例えば図7Bに示す画像が3次元部品データ作成装置SbとしてのスマートフォンSbの表示部4bに表示される。図7Aおよび図7Bに示す例では、第1移動箇所MP1では、図7Aに示すように、4個の第1ないし第4マークMK1~MK4それぞれに対応して4個の第1ないし第4ガイド表示GD1~GD4が表示部4bに表示され、第2移動箇所MP2では、図7Bに示すように、4個の第1ないし第4マークMK1~MK4それぞれに対応して4個の第5ないし第8ガイド表示GD5~GD8が表示部4bに表示される。これら第1ないし第4ガイド表示GD1~GD4の各位置と第5ないし第8ガイド表示GD5~GD8の各位置は、図7Aに示す第1移動箇所MP1の場合と図7Bに示す第2移動箇所MP2の場合とで互いに異なり、図7Bに示す第2移動箇所MP2の場合における第5ないし第8ガイド表示GD5~GD8の各位置は、図7Aに示す第1移動箇所MP1の場合における第1ないし第4ガイド表示GD1~GD4の各位置から、第1移動箇所MP1と第2移動箇所MP2との間の距離Cxに応じた画像での距離だけ、シフトしている(ずれている)。
判定処理部222は、仮画像において、ガイド表示GDに対しマークMKの位置が適正であるか否かを判定し、この判定結果を出力部(表示部)4bから出力する。より具体的には、判定処理部222は、ガイド表示GDに対しマークの位置の適正な程度を表す適正指標を求め、この求めた適正指標と予め設定された閾値(判定閾値)とに基づいて、前記適正であるか否かを判定する。前記適正指標は、例えば、ガイド表示の位置とマークの位置との、画像でのずれ量である。前記判定閾値は、予め複数のサンプルに基づいて適宜に設定される。より詳しくは、判定処理部222は、仮画像でのマークMKの中央位置を求め、前記仮画像でのガイド表示GDの中央位置(ガイド表示GDによって表されるマークの適正位置)を求め、これらの差の絶対値を適性指標として求め、この求めた適正指標(差の絶対値)が判定閾値以下であるか否かを判定する。この判定の結果、前記適正指標(差の絶対値)が判定閾値以下である場合には、判定処理部222は、ガイド表示GDに対しマークの位置が適正であると判定する一方、前記適正指標(差の絶対値)が判定閾値を超える場合には、判定処理部222は、ガイド表示GDに対しマークの位置が適正ではない(不適正である)と判定する。
複数のマークMKそれぞれに対応して複数のガイド表示GDがあるので、判定処理部222は、複数のガイド表示GD(マークMKとガイド表示GDとの各組)それぞれについて、判定処理部222は、ガイド表示GDに対しマークの位置が適正であるか否かを判定する。そして、判定処理部222は、複数のガイド表示GD(マークMKとガイド表示GDとの各組)それぞれについて判定した各判定結果を個別に出力部4bから出力しても良いが、本実施形態では、計測対象の部品PTに対する撮像部1の姿勢の適正性も判定するため、線形独立な複数のマークMKに対応する複数のガイド表示GDに対する各判定結果をまとめて出力部(表示部)4bから出力する。より具体的には、判定処理部222は、線形独立な複数のマークMKに対応する複数のガイド表示GDに対する各判定結果が全て適正である場合には、計測対象の部品PTに対し、撮像部1の位置および姿勢が最終的に適正であることを出力部4bから出力する。例えば、図7Aに示すように、撮像部1の位置および姿勢が最終的に適正であることを表すメッセージ(例えば、「1stPosition OK」MS1等の適正表示)が表示部4bに表示される。一方、判定処理部222は、線形独立な複数のマークMKに対応する複数のガイド表示GDに対する各判定結果のうちのいずれか1つが適正ではない場合には、計測対象の部品PTに対し、撮像部1の位置および姿勢のうちの少なくとも一方が適正ではないこと(不適正であること)を出力部4bから出力する。例えば、図7Bに示すように、撮像部1の位置および姿勢のうちの少なくとも一方が適正ではないことを表すメッセージ(例えば、「2ndPosition NG」MS2等の不適正表示(エラー表示))が表示部4bに表示される。
生成処理部223は、複数の移動箇所MPそれぞれについて、当該移動箇所MPにおいて、部品データ処理部23で用いられる画像を生成する。より具体的には、例えば、生成処理部223は、3次元部品データの作成開始の指示を入力部3で受け付けると、画像表示処理部221に仮画像および第1移動箇所MP1でのガイド表示GD1~GD4を表示部4bに表示させ、判定処理部222に、ガイド表示GDに対するマークの位置の適正性を判定させ、その判定結果(例えば個別の判定結果や全体の判定結果)を表示部4bに表示させる。シャッター押下操作を入力部3で受け付けると、生成処理部223は、撮像部1に撮像させて第1画像を生成させ、この生成させた第1画像を撮像部1から取得する。そして、第1画像を取得すると、生成処理部223は、画像表示処理部221に仮画像および第2移動箇所MP2でのガイド表示GD5~GD8を表示部4bに表示させ、判定処理部222に、ガイド表示GDに対するマークの位置の適正性を判定させ、その判定結果(例えば個別の判定結果や全体の判定結果)を表示部4bに表示させる。シャッター押下操作を入力部3で受け付けると、生成処理部223は、撮像部1に撮像させて第2画像を生成させ、この生成させた第2画像を撮像部1から取得する。
次に、本実施形態の動作について説明する。図8は、図6に示す3次元部品データ作成装置の動作を示すフローチャートである。
このような構成の3次元部品データ作成装置Sbは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラム(3次元部品データ作成アプリケーション)の実行によって、制御処理部2bには、制御部21、撮像処理部22bおよび部品データ処理部23が機能的に構成され、撮像処理部22bには、画像表示処理部221、判定処理部222および生成処理部223が機能的に構成される。
図8において、まず、計測の準備が実施される(S21)。より具体的には、オペレータ(ユーザ)は、第1実施形態と同様に、計測対象の部品PTを載置台STの主面SF上に配置する。そして、オペレータは、3次元部品データの作成開始の指示を入力部3に入力する。
前記作成開始の指示を入力部3で受け付けると、3次元部品データ作成装置Sbは、制御処理部2bの撮像処理部22bによって、撮像部1に画像を第1仮画像として撮像させて生成する(S22)。この第1仮画像は、撮像部1から制御処理部22bへ出力される。
次に、3次元部品データ作成装置Sbは、撮像処理部22bの画像表示処理部221によって、例えば、図7Aに示すように、第1仮画像を表示部4bに表示し、第1移動箇所MP1に対応する第1ないし第4ガイド表示GD1~GD4をガイド表示情報記憶部62から読み込んで前記仮画像に重畳するように表示部4bに表示する(S23)。
次に、3次元部品データ作成装置Sbは、撮像処理部22bの判定処理部222によって、ガイド表示GDに対するマークの位置の適正性を判定させ、その判定結果、例えば、図7Aに示すように、全体の判定結果を表示部4bに表示する(S24)。
次に、3次元部品データ作成装置Sbは、撮像処理部22bによって、シャッター押下操作が入力部3から入力されたか否かを判定する(S25)。この判定の結果、シャッター押下操作を、予め設定された所定の時間内に入力部3で受け付けた場合(Yes)には、撮像処理部22bは、次に、処理S26を実行し、一方、シャッター押下操作を前記時間内に入力部3で受け付けていない場合(No)には、撮像処理部22bは、処理を処理S22に戻す。
この処理S26では、3次元部品データ作成装置Sbは、撮像処理部22bによって、撮像部1に撮像させて第1画像を生成させ、この生成させた第1画像を撮像部1から制御処理部2bに取り込む。
第1移動箇所MP1において、例えば、オペレータは、仮画像、ガイド表示GD1~GD4および判定結果MS1を参照することによって、計測対象の部品PTに対する撮像部1の位置および姿勢の適正性を認識し判断する。オペレータは、不適正と判断すると、仮画像および第1ないし第4ガイド表示GD1~GD4を参照しながら、撮像部1(3次元部品データ作成装置Sb、この例ではスマートフォンSb)を部品PTに対して移動させる。このため、計測対象の部品PTに対する撮像部1の位置および姿勢が適正とされるまで、処理S22ないし処理S25の各処理が繰り返される。一方、オペレータは、適正と判断すると、シャッター押下操作を入力部3から入力し、これによって、処理S26が実行される。
前記処理S26に続いて、第1移動箇所MP1で第1画像を生成すると、3次元部品データ作成装置Sbは、制御処理部2bの撮像処理部22bによって、撮像部1に画像を第2仮画像として撮像させて生成する(S27)。この第2仮画像は、撮像部1から制御処理部22bへ出力される。
次に、3次元部品データ作成装置Sbは、撮像処理部22bの画像表示処理部221によって、例えば、図7Bに示すように、第2仮画像を表示部4bに表示し、第2移動箇所MP2に対応する第5ないし第8ガイド表示GD5~GD8をガイド表示情報記憶部62から読み込んで前記仮画像に重畳するように表示部4bに表示する(S28)。
次に、3次元部品データ作成装置Sbは、撮像処理部22bの判定処理部222によって、ガイド表示GDに対するマークの位置の適正性を判定させ、その判定結果、例えば、図7Bに示すように、全体の判定結果を表示部4bに表示する(S29)。
次に、3次元部品データ作成装置Sbは、撮像処理部22bによって、シャッター押下操作が入力部3から入力されたか否かを判定する(S30)。この判定の結果、シャッター押下操作を、前記時間内に入力部3で受け付けた場合(Yes)には、撮像処理部22bは、次に、処理S31を実行し、一方、シャッター押下操作を前記時間内に入力部3で受け付けていない場合(No)には、撮像処理部22bは、処理を処理S27に戻す。
この処理S31では、3次元部品データ作成装置Sbは、撮像処理部22bによって、撮像部1に撮像させて第2画像を生成させ、この生成させた第2画像を撮像部1から制御処理部2bに取り込む。
第2移動箇所MP2において、例えば、オペレータは、仮画像、ガイド表示GD5~GD8および判定結果を参照することによって、計測対象の部品PTに対する撮像部1の位置および姿勢の適正性を認識し判断する。不適正と判断すると、オペレータは、仮画像およびガイド表示を参照しながら、撮像部1を部品PTに対して移動させる。このため、計測対象の部品PTに対する撮像部1の位置および姿勢が適正とされるまで、処理S27ないし処理S30の各処理が繰り返される。一方、適正と判断すると、オペレータは、シャッター押下操作を入力部3から入力し、これによって、処理S31が実行される。
第2移動箇所MP2で第2画像を生成すると、3次元部品データ作成装置Sbは、制御処理部2bの部品データ処理部23によって、第1および第2移動箇所MP1、MP2それぞれで撮像され生成された第1および第2画像に基づいて、上述の各処理によって、3次元部品データを求める(S32)。
3次元部品データを求めると、3次元部品データ作成装置Sbは、制御処理部2bの制御部21によって、この求めた3次元部品データを出力部4bから出力し(S33)、本処理を終了する。
以上説明したように、第2実施形態における3次元部品データ作成装置Sbおよびこれに実装された3次元部品データ作成方法では、第1実施形態と同様の作用および効果を奏し、3次元の部品データを作成できる。
上記3次元部品データ作成装置Sbよびその方法は、第1および第2移動箇所MP1、MP2それぞれで撮像部1によって撮像される間、線形独立な各位置にある、少なくとも3個のマークMK(例えば第1、第3および第4マークMK1、MK3、MK4や第1ないし第3マークMK1~MK3等)を含む、少なくとも3個以上である4個の第1ないし第4マークMK1~MK4を用いる。このため、上記3次元部品データ作成装置Sbおよびその方法は、撮像部1の移動に例えば第1実施形態のような制約が無くなるから、撮像部1(3次元部品データ作成装置Sb、上述の例ではスマートフォンSb)を手で持って撮像することが可能となる。マークMKが4個以上である場合には、上記3次元部品データ作成装置Sbおよびその方法は、冗長なマーク数により、より高精度に3次元の部品データを作成できる。
上記3次元部品データ作成装置Sbおよびその方法は、ガイド表示GDを仮画像と共に表示部4bに表示するので、マークMKとガイド表示GDとを参照することで、各移動箇所MPそれぞれで部品PTに対し撮像部1を容易に移動でき、各移動箇所MPそれぞれでの部品PTに対する撮像部1の位置を容易に適正化できる。上記3次元部品データ作成装置Sbおよびその方法は、線形独立な各位置に位置する少なくとも3個以上のマークMKと、各マークMKそれぞれに対応する各ガイド表示GDとを参照することで、部品PTに対する撮像部1の姿勢を適正化できる。
上記3次元部品データ作成装置Sbおよびその方法は、ガイド表示GDに対するマークの位置の適正性の判定およびその判定結果の出力を行うので、オペレータは、判定結果を参酌することで、各移動箇所MPそれぞれでの部品PTに対する撮像部1の位置を容易に適正化できる。
上記3次元部品データ作成装置Sbおよびその方法は、例えばカメラ付きスマートフォンやカメラ付きタブレット等の撮影機能的付きモバイル端末装置を流用でき、このため、より安価で、かつ、手軽に撮像ができ、3次元の部品データを作成する専用機器が不要となる。
なお、上述の第2実施形態では、第1および第2画像の各生成は、オペレータによるシャッター下押操作によって実行されたが、判定結果に応じて自動的に実行されても良い。このような場合、上述の3次元部品データ作成装置Sbにおける生成処理部223は、さらに、判定処理部222の判定結果が適正である場合に、撮像部1に撮像させて画像を生成させる。より具体的には、生成処理部223は、上述の処理S25において、シャッター押下操作の入力判定に代え、判定処理部222の判定結果が適正であるか否かを判定する。この判定の結果、前記判定結果が適正である場合(Yes)には、撮像処理部22bは、次に、処理S26を実行し、一方、前記判定結果が適正ではない場合(No)には、撮像処理部22bは、処理を処理S22に戻す。これにより、第1画像を生成する処理S26が自動的に実施される。同様に、生成処理部223は、上述の処理S30において、シャッター押下操作の入力判定に代え、判定処理部222の判定結果が適正であるか否かを判定する。この判定の結果、前記判定結果が適正である場合(Yes)には、撮像処理部22bは、次に、処理S31を実行し、一方、前記判定結果が適正ではない場合(No)には、撮像処理部22bは、処理を処理S27に戻す。これにより、第2画像を生成する処理S31が自動的に実施される。
このような3次元部品データ作成装置Sbおよびその方法は、画像の生成を、判定結果が適正である場合に自動的に実施するので、オペレータによるシャッター押下操作に伴う部品PTに対する撮像部1の位置ずれや手ぶれを低減できる。
また、上述の第2実施形態では、判定処理部222の判定結果は、表示部4bに表示されたが、これに代え、あるいは、これに併せて、音声によって判定処理部222の判定結果を出力しても良い。この場合、出力部4bは、音声を出力するスピーカおよびその周辺回路を含む。
また、第1および第2実施形態では、載置台STが用いられたが、撮像部1を移動することで部品と撮像部1とを相対的に移動させるので、載置台STは、必ずしも必要なく、複数のマークMKおよび部品PTは、例えば作業机等上に直接的に配置されても良い。
また、第1および第2実施形態では、複数の移動箇所MPは、2カ所の第1および第2移動箇所MP1、MP2であったが、3カ所以上であっても良い。複数の移動箇所MPのうちの2カ所の移動箇所での各画像に基づく3次元部品データを複数求めてその平均値を求めることで、より高精度な3次元部品データの作成が可能となる。
また、第1および第2実施形態では、実際の長さに関する所定の実長情報の一例として、マーク間距離が用いられたが、前記実長情報は、これに限定されるものではない。
前記実長情報は、例えば、既知な、前記撮像装置の1画素に写り込む被写体の実長(1画素に写り込む被写体の実際の長さ(実寸法)(例えば縦方向の長さ(実寸法)および横方向の長さ(実寸法))、1画素当たりの実寸法(例えば縦方向の実寸法および横方向の実寸法))であっても良い。前記1画素当たりの実寸法は、予め実測され、この前記1画素当たりの実寸法を用いる、少なくとも前に、記憶部6(6a、6b)に記憶される。このような実長情報を用いる場合、部品データ処理部23は、計測対象に起因するエッジに基づいて、3次元部品データにかかる、画像での前記計測対象の長さ(画素数)を求め、この求めた画素数に、前記1画素当たりの実寸法をそれぞれ乗算することによって、計測対象の実寸法を求める。例えば、計測対象の縦寸法は、画像での計測対象の縦長(縦方向の画素数)に、1画素当たりの縦方向の実寸法を乗算することによって求められる。なお、画素数は、例えば1画素、2画素および3画素等のようにピクセル単位で計数されて良く、あるいは、例えば1.4画素、2.3画素および3.7画素等のようにサブピクセル単位で計数されて良い。
あるいは、例えば、前記実長情報は、マークMK自体の実寸法(マークMKの実際の大きさ)であっても良い。このマークMK自体の実寸法は、予め実測され、このマークMK自体の実寸法を用いる、少なくとも前に、記憶部6(6a、6b)に記憶される。このような実長情報を用いる場合、まず、部品データ処理部23は、画像から画像でのマークMK自体の長さ(画像上マーク長(例えば画像上マーク横長(マークMK自体の横方向の画素数)および画像上マーク縦長(マークMK自体の縦方向の画素数))を求める。次に、部品データ処理部23は、計測対象に起因するエッジに基づいて、3次元部品データにかかる、画像での前記計測対象の長さ(画像上計測対象長(例えば画像上計測対象横長(横方向の画素数)および画像上計測対象縦長(縦方向の画素数))を求める。そして、部品データ処理部23は、この求めた画像上マーク長、画像上計測対象長およびマークMK自体の実寸法から、計測対象の実寸法を求める。例えば、計測対象の横寸法は、画像上マーク横長に対する画像上計測対象横長の比(横比)に、マークMK自体の横方向の実寸法を乗算することによって求められる。前記実長情報は、上述のマークMK自体の実寸法や第1および第2実施形態におけるマーク間距離の実寸法等のように、マークMKに関する所定の実寸法であって良い。
このような前記実長情報が1画素当たりの実寸法やマークMK自体の実寸法である場合では、マークMKは、複数であっても1個であっても良い。なお、このような場合において、高さ寸法は、第1および第2実施形態と同様に求められる。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
Sa、Sb 3次元部品データ生成装置
PT 部品
MK、MK1~MK4、MKa~MKg マーク
MP、MP1、MP2 移動箇所
GD、GD1~GD4、GD5~GD8 ガイド表示
1 撮像部
2a、2b 制御処理部
6a、6b 記憶部
7 移動体通信部
21 制御部
22a、22b 撮像処理部
23 部品データ処理部
221 画像表示処理部
222 判定処理部
223 生成処理部
61 マーク間距離情報記憶部
62 ガイド表示情報記憶部

Claims (10)

  1. 計測対象の部品と、目印となる少なくとも3個以上である複数のマークとを1個の撮像装置で撮像した画像を、前記部品と前記撮像装置とを相対的に移動させた複数の移動箇所それぞれで生成する画像生成工程と、
    前記画像生成工程で生成した複数の画像および実際の長さに関する所定の実長情報に基づいて、前記部品の形状に関する所定の3次元データである3次元部品データを求める部品データ処理工程とを備え、
    前記マークの位置は、前記複数の移動箇所それぞれで前記撮像装置によって撮像される間、前記部品に対して不変であり、
    前記複数の移動箇所それぞれで前記撮像装置によって撮像される間、前記部品に対して位置が不変である前記マークは、前記複数のマークのうちの少なくとも1個であり、
    前記複数のマークのうちの少なくとも2個は、マーク間距離が既知であり、
    前記実長情報は、前記マーク間距離であり、
    前記複数のマークのうち少なくとも3個のマークは、前記複数の移動箇所それぞれで前記撮像装置によって撮像される間、線形独立な各位置にある、
    3次元部品データ作成方法。
  2. 計測対象の部品と、目印となる少なくとも3個以上である複数のマークとを1個の撮像装置で撮像した画像を、前記部品と前記撮像装置とを相対的に移動させた複数の移動箇所それぞれで生成する画像生成工程と、
    前記画像生成工程で生成した複数の画像および実際の長さに関する所定の実長情報に基づいて、前記部品の形状に関する所定の3次元データである3次元部品データを求める部品データ処理工程とを備え、
    前記マークの位置は、前記複数の移動箇所それぞれで前記撮像装置によって撮像される間、前記部品に対して不変であり、
    前記実長情報は、既知な、前記撮像装置の1画素に写り込む被写体の実長であり、
    前記複数のマークのうち少なくとも3個のマークは、前記複数の移動箇所それぞれで前記撮像装置によって撮像される間、線形独立な各位置にある、
    3次元部品データ作成方法。
  3. 前記画像生成工程における移動は、水平方向の移動であ
    請求項1または請求項2に記載の3次元部品データ作成方法。
  4. 前記画像生成工程は、複数の移動箇所それぞれについて、画像表示工程と生成工程とを備え、
    前記画像表示工程は、当該移動箇所において、前記撮像装置で仮に撮像した仮画像を表示装置に表示すると共に、当該移動箇所に応じた画像上でのマークの適正位置を案内するガイド表示を前記仮画像に重畳するように前記表示装置に表示し、
    前記生成工程は、当該移動箇所において、前記部品データ処理工程で用いられる前記画像を生成する、
    請求項1または請求項2に記載の3次元部品データ作成方法。
  5. 前記画像生成工程は、前記仮画像において、前記ガイド表示に対し前記マークの位置が適正であるか否かを判定する判定工程と、前記判定工程の判定結果を出力する出力工程とをさらに備える、
    請求項4に記載の3次元部品データ作成方法。
  6. 前記画像生成工程は、前記仮画像において、前記ガイド表示に対し前記マークの位置が適正であるか否かを判定する判定工程をさらに備え、
    前記生成工程は、前記判定工程の判定結果が適正である場合に自動的に実施される、
    請求項4に記載の3次元部品データ作成方法。
  7. 前記撮像装置は、撮影機能付きモバイル端末装置に実装された撮像装置である、
    請求項1ないし請求項6のいずれか1項に記載の3次元部品データ作成方法。
  8. 前記マークは、前記画像に基づいてマークの位置を計測可能な形状である、
    請求項1ないし請求項7のいずれか1項に記載の3次元部品データ作成方法。
  9. 計測対象の部品と、目印となる少なくとも3個以上である複数のマークとを、前記部品との間で相対的に移動させた複数の移動箇所それぞれで撮像する1個の撮像部と、
    前記複数の移動箇所それぞれで前記撮像部によって撮像された複数の画像および実際の長さに関する所定の実長情報に基づいて、前記部品の形状に関する所定の3次元データである3次元部品データを求める部品データ処理部とを備え、
    前記マークの位置は、前記複数の移動箇所それぞれで前記撮像によって撮像される間、前記部品に対して不変であり、
    前記複数の移動箇所それぞれで前記撮像によって撮像される間、前記部品に対して位置が不変である前記マークは、前記複数のマークのうちの少なくとも1個であり、
    前記複数のマークのうちの少なくとも2個は、マーク間距離が既知であり、
    前記実長情報は、前記マーク間距離であり、
    前記複数のマークのうち少なくとも3個のマークは、前記複数の移動箇所それぞれで前記撮像によって撮像される間、線形独立な各位置にある、
    3次元部品データ作成装置。
  10. 計測対象の部品と、目印となる少なくとも3個以上である複数のマークとを、前記部品との間で相対的に移動させた複数の移動箇所それぞれで撮像する1個の撮像部と、
    前記複数の移動箇所それぞれで前記撮像部によって撮像された複数の画像および実際の長さに関する所定の実長情報に基づいて、前記部品の形状に関する所定の3次元データである3次元部品データを求める部品データ処理部とを備え、
    前記マークの位置は、前記複数の移動箇所それぞれで前記撮像によって撮像される間、前記部品に対して不変であり、
    前記実長情報は、既知な、前記撮像の1画素に写り込む被写体の実長であり、
    前記複数のマークのうち少なくとも3個のマークは、前記複数の移動箇所それぞれで前記撮像によって撮像される間、線形独立な各位置にある、
    3次元部品データ作成装置。
JP2019193204A 2019-10-24 2019-10-24 3次元部品データ作成方法および該装置 Active JP7287877B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019193204A JP7287877B2 (ja) 2019-10-24 2019-10-24 3次元部品データ作成方法および該装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019193204A JP7287877B2 (ja) 2019-10-24 2019-10-24 3次元部品データ作成方法および該装置

Publications (2)

Publication Number Publication Date
JP2021067555A JP2021067555A (ja) 2021-04-30
JP7287877B2 true JP7287877B2 (ja) 2023-06-06

Family

ID=75638390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019193204A Active JP7287877B2 (ja) 2019-10-24 2019-10-24 3次元部品データ作成方法および該装置

Country Status (1)

Country Link
JP (1) JP7287877B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19915052A1 (de) 1999-04-01 2000-10-05 Siemens Ag Einrichtung zur Inspektion einer dreidimensionalen Oberflächenstruktur sowie Verfahren zur Kalibrierung einer derartigen Einrichtung
US20070097381A1 (en) 2005-10-31 2007-05-03 Tobiason Joseph D Hand-size structured-light three-dimensional metrology imaging system and method
JP2007315818A (ja) 2006-05-23 2007-12-06 Taiko Denki Co Ltd 画像処理による微小高さ計測方法
JP2018010021A (ja) 2017-10-24 2018-01-18 株式会社キーエンス 画像検査装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19915052A1 (de) 1999-04-01 2000-10-05 Siemens Ag Einrichtung zur Inspektion einer dreidimensionalen Oberflächenstruktur sowie Verfahren zur Kalibrierung einer derartigen Einrichtung
US20070097381A1 (en) 2005-10-31 2007-05-03 Tobiason Joseph D Hand-size structured-light three-dimensional metrology imaging system and method
JP2007315818A (ja) 2006-05-23 2007-12-06 Taiko Denki Co Ltd 画像処理による微小高さ計測方法
JP2018010021A (ja) 2017-10-24 2018-01-18 株式会社キーエンス 画像検査装置

Also Published As

Publication number Publication date
JP2021067555A (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
JP6892286B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US20100232681A1 (en) Three-dimensional vision sensor
US11015930B2 (en) Method for 2D picture based conglomeration in 3D surveying
TW201520577A (zh) 長度量測方法與長度量測裝置
CN107656609B (zh) 测色系统、图像生成设备和图像生成方法
US20190073839A1 (en) Package management system and method thereof
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
US20150301690A1 (en) Input-operation detection device, image display apparatus, projector apparatus and projector system
JP6662836B2 (ja) 収容領域又は治具にワークを配置するワーク配置システム
US20120296599A1 (en) Temperature sensing system and method
JP6140980B2 (ja) 表示装置、画像表示システム、画像表示方法、及びコンピュータプログラム
JP7287877B2 (ja) 3次元部品データ作成方法および該装置
JP2013170831A (ja) ひずみ計測装置及びひずみ計測方法
JP2014102183A (ja) 画像処理装置および画像処理システム
CN109813283B (zh) 手持装置、利用手持装置进行的基于图像的测量的方法
US11991481B2 (en) Display method, information processing device, and non-transitory computer-readable storage medium storing program
US9268415B2 (en) Touch positioning method utilizing optical identification (OID) technology, OID positioning system and OID reader
KR101724441B1 (ko) 도면 영상 투사 장치
JP6891094B2 (ja) マウススキャナ及びスキャンプログラム
CN114502913A (zh) 修正参数计算方法及装置、位移量计算方法及装置
JP6653539B2 (ja) 画像測定装置、その制御プログラム及び測定装置
JP2016139396A (ja) ユーザーインターフェイス装置、方法およびプログラム
JP6342832B2 (ja) 入力装置
KR102243884B1 (ko) 벡터 모델링 기반 제품 검수 방법 및 그 장치
JP7057732B2 (ja) 三次元測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230525

R150 Certificate of patent or registration of utility model

Ref document number: 7287877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150