JP7279469B2 - 三次元計測装置およびロボットシステム - Google Patents

三次元計測装置およびロボットシステム Download PDF

Info

Publication number
JP7279469B2
JP7279469B2 JP2019064851A JP2019064851A JP7279469B2 JP 7279469 B2 JP7279469 B2 JP 7279469B2 JP 2019064851 A JP2019064851 A JP 2019064851A JP 2019064851 A JP2019064851 A JP 2019064851A JP 7279469 B2 JP7279469 B2 JP 7279469B2
Authority
JP
Japan
Prior art keywords
line
mirror
luminance
laser beam
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019064851A
Other languages
English (en)
Other versions
JP2020165718A (ja
Inventor
修一 若林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2019064851A priority Critical patent/JP7279469B2/ja
Priority to US16/831,918 priority patent/US11131543B2/en
Priority to CN202010231339.8A priority patent/CN111750800B/zh
Publication of JP2020165718A publication Critical patent/JP2020165718A/ja
Application granted granted Critical
Publication of JP7279469B2 publication Critical patent/JP7279469B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/022Optical sensing devices using lasers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Description

本発明は、三次元計測装置およびロボットシステムに関するものである。
ロボットが作業を行う際には、ワーク等の対象物の形状を計測する必要がある。このため、三次元計測装置を備えるロボットが提案されている。
三次元計測装置の測定原理の1つとして、対象物に向けて三次元計測用のパターンを投影するとともに、パターンが投影された対象物の画像を撮像し、得られた画像に基づいて対象物の三次元形状を計測する位相シフト法が知られている。位相シフト法において三次元形状を正確に計測するためには、取得される画像の全面にわたって輝度が均一であるパターンが撮像されていることが求められるが、撮像部のレンズがもつ周辺減光特性により、撮像された画像の周辺部で輝度が低下することが知られている。
そこで、特許文献1のように、先に撮像された第1撮像画像を基に、投影パターンの輝度を補正し、その投影パターン生成する際の投影信号に基づいて、第2撮像画像を補正する画像処理装置が提案されている。
特開2018-190201号公報
しかしながら、特許文献1に記載の画像処理装置では、画質特性を解析し、それに基づいて投影パターンを生成する処理が必要になるが、これらの処理には時間を要するという課題があった。
本発明の三次元計測装置は、
レーザー光を用いて対象物の三次元計測を行う三次元計測装置であって、
前記レーザー光を出射するレーザー光源と、
前記レーザー光を、延在方向の中央部の輝度よりも縁部の輝度が高い第1輝度分布を有するラインレーザー光に拡幅して出射するラインジェネレートレンズと、
揺動軸まわりに揺動し、前記ラインレーザー光を反射して、前記対象物を含む投影面にパターン光を投影するミラーと、
前記パターン光が投影された前記投影面を撮像してパターン画像を取得する撮像部と、
前記パターン画像に基づいて前記対象物の三次元形状を求める計測部と、
を有し、
前記ラインジェネレートレンズは、
稜線、ならびに、前記稜線を介して互いに交わる第1面および第2面、を有する入射面と、
前記入射面の反対側に設けられている出射面と、
を有し、
前記レーザー光が前記入射面に入射され、前記ラインレーザー光が前記出射面から出射するように構成されている。
第1実施形態に係るロボットシステムの全体構成を示す図である。 図1に示すロボットシステムが備える三次元計測装置の全体構成を示す図である。 図2に示す三次元計測装置を示す斜視図である。 図3に示す三次元計測装置の内部を示す斜視図である。 図4に示す投影部により投影されるパターン光の一例を示す平面図である。 図4に示す三次元計測装置が有する光走査部を示す平面図である。 図6に示す光走査部によりレーザー光を走査してパターン光を投影する様子を説明するための概念図である。 レーザー光源から出射するレーザー光、および、ミラーの揺動軸、の双方に直交する方向から見たときの、図7に示すラインジェネレートレンズの平面図である。 レンズの一般的な周辺減光が反映された透過輝度TLの分布の一例を示すグラフである。 ラインジェネレートレンズの透過輝度分布の一例を示すグラフである。 図9に示す透過輝度分布と、図10に示す相殺輝度分布と、を合成してなる合成輝度の分布を表すグラフである。 第1実施形態の変形例に係るラインジェネレートレンズを示す図である。 第2実施形態に係る三次元計測装置の全体構成を示す図である。 第2実施形態に係る三次元計測装置の作用を説明するため、図13を簡略化した図である。 第2実施形態に係る三次元計測装置を用いた三次元計測方法を説明するためのフローチャートである。 レーザー光の走査速度分布の一例を示すグラフである。 図16に示す走査速度分布でレーザー光を走査した際に、投影面上で観測される換算輝度の分布の一例を示すグラフである。 図16に示す走査速度分布でレーザー光を走査した際に、撮像部で撮像されるパターン画像における輝度である合成輝度の分布の一例を示すグラフである。 第3実施形態に係る三次元計測装置の全体構成を示す図である。 第4実施形態に係る三次元計測装置の全体構成を示す図である。 第4実施形態の変形例に係る三次元計測装置の全体構成を示す図である。 第4実施形態の別の変形例に係るロボットシステムの全体構成を示す図である。
以下、本発明の三次元計測装置およびロボットシステムを添付図面に示す実施形態に基づいて詳細に説明する。
1.第1実施形態
1.1 ロボットシステム
まず、第1実施形態について説明する。
図1は、第1実施形態に係るロボットシステムの全体構成を示す図である。図2は、図1に示すロボットシステムが備える三次元計測装置の全体構成を示す図である。図3は、図2に示す三次元計測装置を示す斜視図である。図4は、図3に示す三次元計測装置の内部を示す斜視図である。図5は、図4に示す投影部により投影されるパターン光の一例を示す平面図である。図6は、図4に示す三次元計測装置が有する光走査部を示す平面図である。図7は、図6に示す光走査部によりレーザー光を走査してパターン光を投影する様子を説明するための概念図である。
図1に示すロボットシステム1は、ロボット2と、レーザー光Lを用いて対象物Wの三次元計測を行う三次元計測装置4と、三次元計測装置4の計測結果に基づいてロボット2の駆動を制御するロボット制御装置5と、ロボット制御装置5と通信可能なホストコンピューター6と、を有している。なお、これら各部は、有線または無線により通信可能とされ、その通信は、インターネットのようなネットワークを介してなされてもよい。
1.2 ロボット
ロボット2は、例えば、精密機器やこれを構成する部品の給材、除材、搬送および組立等の作業を行うロボットである。ただし、ロボット2の用途としては、特に限定されない。本実施形態に係るロボット2は、6軸ロボットであり、図1に示すように、床や天井に固定されるベース21と、ベース21に連結されたロボットアーム22と、を有する。
ロボットアーム22は、ベース21に第1軸O1まわりに回動自在に連結された第1アーム221と、第1アーム221に第2軸O2まわりに回動自在に連結された第2アーム222と、第2アーム222に第3軸O3まわりに回動自在に連結された第3アーム223と、第3アーム223に第4軸O4まわりに回動自在に連結された第4アーム224と、第4アーム224に第5軸O5まわりに回動自在に連結された第5アーム225と、第5アーム225に第6軸O6まわりに回動自在に連結された第6アーム226と、を有している。また、第6アーム226には、ロボット2に実行させる作業に応じたエンドエフェクター24が装着される。なお、以下では、第1アーム221から第6アーム226のエンドエフェクター24側を「先端」または「先端側」とも言い、ベース21側を「基端」または「基端側」とも言う。
また、ロボット2は、ベース21に対して第1アーム221を回動させる第1駆動装置251と、第1アーム221に対して第2アーム222を回動させる第2駆動装置252と、第2アーム222に対して第3アーム223を回動させる第3駆動装置253と、第3アーム223に対して第4アーム224を回動させる第4駆動装置254と、第4アーム224に対して第5アーム225を回動させる第5駆動装置255と、第5アーム225に対して第6アーム226を回動させる第6駆動装置256と、を有している。第1駆動装置251から第6駆動装置256は、それぞれ、例えば、駆動源としてのモーターと、モーターの駆動を制御するコントローラーと、モーターの回転量を検出するエンコーダーと、を有している。そして、第1駆動装置251から第6駆動装置256は、それぞれ、ロボット制御装置5によって独立して制御される。
なお、ロボット2としては、本実施形態の構成に限定されず、例えば、ロボットアーム22が有するアームの数が1本~5本であってもよいし、7本以上であってもよい。また、例えば、ロボット2の種類は、スカラロボットや、2つのロボットアーム22を有する双腕ロボットであってもよい。
1.3 ロボット制御装置
ロボット制御装置5は、ホストコンピューター6からロボット2の位置指令を受け、第1アーム221から第6アーム226が受けた位置指令に応じた位置となるように、第1駆動装置251から第6駆動装置256の駆動をそれぞれ独立して制御する。ロボット制御装置5は、例えば、コンピューターから構成され、情報を処理するプロセッサー(CPU)と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有している。メモリーにはプロセッサーにより実行可能な各種プログラムが保存され、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。
1.4 三次元計測装置
次に、第1実施形態に係る三次元計測装置4について説明する。
三次元計測装置4は、位相シフト法を用いて対象物Wの三次元計測を行う。図2に示すように、三次元計測装置4は、投影面Pの対象物Wを含む領域にレーザー光Lによる三次元計測用のパターン光PLを投影する投影部41と、パターン光PLが投影された対象物Wを含む領域を撮像したパターン画像を取得する撮像部47と、投影部41および撮像部47の駆動を制御する制御部48と、パターン画像に基づいて対象物Wの三次元形状を計測する計測部49と、これら各部を収納する筐体40と、を備えている。
本実施形態では、図3に示すように、筐体40が、ロボット2の第5アーム225に固定されている。また、筐体40は、箱状をなし、第5アーム225に固定された底面401と、底面401と対向する頂面402と、第5アーム225の先端側に位置する前面403と、第5アーム225の基端側に位置する背面404と、一対の側面405、406と、を有している。そして、図4に示すように、このような筐体40内に、投影部41、撮像部47、制御部48および計測部49が収納されている。ただし、筐体40の形状としては、特に限定されない。
また、筐体40の構成材料としては、特に限定されず、例えば、各種樹脂、各種金属、各種セラミックスを用いることができる。ただし、放熱性の観点から、例えば、アルミニウム、ステンレス鋼等の熱伝導率の優れた材料を用いることが好ましい。また、筐体40の底面401は、ロボット2の第5アーム225に図示されない接合部を介して固定される構成であってもよい。
投影部41は、第5アーム225の先端側に向けてレーザー光Lを照射するように筐体40内に配置され、撮像部47は、第5アーム225の先端側を向き、レーザー光Lの照射範囲を含む領域を撮像するように筐体40内に配置されている。なお、図3に示すように、筐体40の前面403には、レーザー光Lが出射する窓部403aが設けられている。
なお、三次元計測装置4の配置は、特に限定されず、第1アーム221から第4アーム224のいずれか、または第6アーム226であってもよい。また、投影部41および撮像部47が互いに異なるアームに固定されていてもよい。また、制御部48や計測部49は、筐体40外に配置されていてもよく、例えば、ロボット制御装置5やホストコンピューター6に含まれていてもよい。
投影部41は、対象物Wに向けてレーザー光Lを照射することにより、対象物Wに対して図5に示すようなパターン光PLを投影する機能を有する。このような投影部41は、図2および図4に示すように、レーザー光Lを出射するレーザー光源42と、レーザー光Lが通過する複数のレンズを含む光学系44と、光学系44を通過したレーザー光Lを対象物Wに向けて走査する光走査部45と、を有する。レーザー光源42としては、特に限定されず、例えば、垂直共振器面発光レーザー(VCSEL)、外部共振器型垂直面発光レーザー(VECSEL)等の半導体レーザーを用いることができる。
光学系44は、レーザー光源42から出射されるレーザー光Lを対象物W付近に集光させる集光レンズ441と、集光レンズ441によって集光されたレーザー光Lを後述する揺動軸Jと平行な方向、すなわち図2の紙面奥行き方向に延びるライン状とするラインジェネレートレンズ442と、を有する。
光走査部45は、ラインジェネレートレンズ442によってライン状となったレーザー光Lを走査する機能を有する。光走査部45としては、特に限定されず、例えば、MEMS(Micro Electro Mechanical Systems)、ガルバノミラー、ポリゴンミラー等を用いることができる。
本実施形態に係る光走査部45は、MEMSで構成されている。図6に示すように、光走査部45は、反射面450を有するミラー451と、ミラー451の裏面に配置されている永久磁石455と、ミラー451を支持する支持部452と、ミラー451と支持部452とを接続する軸部453と、永久磁石455と配向配置されている電磁コイル456と、を有する。
このような光走査部45では、揺動軸Jが、ラインジェネレートレンズ442によって拡幅されたレーザー光Lの拡幅方向と一致している。そして、電磁コイル456に駆動信号が印加されると、ミラー451が揺動軸Jまわりに所定の周期で正・逆交互に揺動し、これにより、ライン状に拡幅されたレーザー光L、すなわちライン状をなす光が、その拡幅方向と交差する方向に走査され、面状をなすパターン光PLが得られる。
具体的には、ミラー451は、図7に示すように、揺動軸Jまわりに往復揺動する。このようにして揺動しているミラー451の反射面450に対し、拡幅されたレーザー光Lが照射される。そうすると、レーザー光Lは、走査方向Sに沿って走査されることになる。その結果、投影面Pにパターン光PLが面状に投影される。
以上、投影部41について説明したが、ラインジェネレートレンズ442については、後に詳述する。
撮像部47は、少なくとも1つの対象物Wにパターン光PLが投影されている状態を撮像する。本実施形態では、図2に示すように、ミラー451によってレーザー光Lが走査角αmaxの範囲内で走査される。これにより、この範囲内にパターン光PLが投影される。一方、本実施形態に係る撮像部47は、画角βの範囲内を撮像可能である。このとき、投影面Pにおいて画角βの範囲は、走査角αmaxの範囲に包含されるように設定されている。つまり、投影面Pにおける画角βの範囲は、走査角αmaxに包含される描画角αdispの範囲と同じである。これにより、撮像部47では、撮像範囲全体にパターン光PLを収めることができ、例えば計測精度を一定に維持することができる。
撮像部47は、例えば、CMOSイメージセンサー、CCDイメージセンサー等の撮像素子472と集光レンズ473とを備えたカメラ471で構成されている。カメラ471は、計測部49に接続され、パターン画像を計測部49に送信する。
制御部48は、電磁コイル456に駆動信号を印加することにより、光走査部45の駆動を制御するミラー制御部481と、レーザー光源42に駆動信号を印加することにより、レーザー光源42の駆動を制御する光源制御部482と、を有している。光源制御部482は、光走査部45におけるミラー451の最大振幅を変更可能に設定されている。そして、光源制御部482は、ミラー451の揺動と同期させてレーザー光源42からレーザー光Lを出射し、例えば、図5に示すような、輝度値の明暗で表現した縞模様のパターン光PLを対象物W上に投影する。ただし、パターン光PLとしては、後述するような位相シフト法に用いることができるものであれば、特に限定されない。また、制御部48、撮像部47の駆動を制御する撮像制御部483を有している。撮像制御部483は、カメラ471の駆動を制御し、所定のタイミングで対象物Wを含む領域を撮像する。
例えば、制御部48は、パターン光PLを対象物Wに位相をπ/2ずつずらして4回投影し、その都度、パターン光PLが投影された対象物Wを撮像部47で撮像する。ただし、パターン光PLの投影回数は、特に限定されず、撮影結果から位相が計算できる回数であればよい。また、ピッチの大きなパターンや逆に小さなパターンを用いて同様の投影と撮影を行い、位相接続を行ってもよい。ピッチの種類を増やすほど、計測範囲と分解能を向上させることができるが、撮影回数が増す分、パターン画像を取得するのに要する時間が増えて、ロボット2の稼働効率が低下する。そのため、三次元計測の精度および計測範囲とロボット2の稼働効率との兼ね合いからパターン光PLの投影回数を適宜設定すればよい。
計測部49は、撮像部47が取得した複数のパターン画像に基づいて、対象物Wの三次元計測を行う。具体的には、対象物Wの姿勢、空間座標等を含む三次元情報を算出する。そして、計測部49は、算出した対象物Wの三次元情報をホストコンピューター6に送信する。
このような制御部48および計測部49は、例えば、コンピューターから構成され、情報を処理するプロセッサー(CPU)と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが記憶されており、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。
1.5 ホストコンピューター
ホストコンピューター6は、計測部49が算出した対象物Wの三次元情報からロボット2の位置指令を生成し、生成した位置指令をロボット制御装置5に送信する。ロボット制御装置5は、ホストコンピューター6から受信した位置指令に基づいて第1駆動装置251から第6駆動装置256をそれぞれ独立して駆動し、第1アーム221から第6アーム226を指示された位置に移動させる。なお、本実施形態では、ホストコンピューター6と計測部49とが別体となっているが、これに限定されず、ホストコンピューター6に計測部49としての機能が搭載されていてもよい。
1.6 ラインジェネレートレンズ
本実施形態に係る三次元計測装置4の投影部41は、前述したように、レーザー光源42から出射し、集光レンズ441によって集光されたレーザー光Lをライン状に拡幅するラインジェネレートレンズ442を有している。
図8は、レーザー光源42から出射するレーザー光L、および、ミラー451の揺動軸J、の双方に直交する方向から見たときの、図7に示すラインジェネレートレンズ442の平面図である。なお、図8において、ラインジェネレートレンズ442に入射するレーザー光Lの光軸と平行な方向をX軸方向とし、図7に示すミラー451の揺動軸Jと平行な方向をY軸方向とし、X軸方向およびY軸方向と直交する方向をZ軸方向とする。
ラインジェネレートレンズ442は、パウエルレンズとも呼ばれており、入射光をライン状に拡幅するレンズである。図8に示すラインジェネレートレンズ442は、丸みを帯びたルーフ状に形成された入射面4421と、その反対側に設けられた出射面4422と、を有している。また、入射面4421は、第1面4421aと、第2面4421bと、これらが交わる稜線4423と、を含んでいる。第1面4421aおよび第2面4421bは、Z軸方向に平行な稜線4423において互いに交わっている。第1面4421aと第2面4421bとがなす角度は、特に限定されないが、例えば30°以上80°以下程度に設定される。また、X-Y面による稜線4423の断面の形状は、図8に示すように丸みを帯びているのが好ましい。
このようなラインジェネレートレンズ442は、入射面4421に入射する指向性の高いレーザー光Lを屈折させてY軸方向に拡幅し、ライン状をなすビームに成形して出射する。これにより、指向性の高いレーザー光Lを線状光に変換することができる。
そして、本実施形態に係るラインジェネレートレンズ442では、Y軸方向に拡幅されてライン状をなす出射光の輝度分布が、出射光の延在方向の中央部の輝度よりも縁部の輝度が高くなるような分布を有している。このような輝度分布は、撮像部47で撮像されるパターン画像にも反映されることになるため、最終的に、レーザー光Lの走査方向Sと交差する方向において、パターン画像における周辺減光を相殺または低減させることができる。
以下、このような効果が得られる原理について説明する。
レーザー光Lによって描画されたパターン光PLは、撮像部47によって撮像される。撮像部47は、集光レンズ473を含んでいるが、このような集光レンズ473には、レンズ特有の周辺減光が存在する。一般的なレンズの透過輝度TLの分布は、以下の式(1)で表されることが知られている。
Figure 0007279469000001
上記式(1)では、投影面Pにおいて、集光レンズ473の中心に対応する位置をx=0とし、x=0における輝度を1に規格化している。また、上記式(1)における係数aは、レンズごとの固有値であり、撮像部47に用いている集光レンズ473の周辺減光の実績値からあらかじめ求めておくことができる。上記式(1)における透過輝度TLは、レンズを透過した光の相対輝度である。
そして、位置xおよび上記式(1)で表される透過輝度TLを、横軸に位置xをとり、縦軸に透過輝度TLをとった座標系にプロットすると、図9に示すグラフが得られる。図9は、レンズの一般的な周辺減光が反映された透過輝度TLの分布の一例を示すグラフである。なお、図9では、x=0における輝度を1に規格化している。
図9に示すように、上記式(1)で表される透過輝度分布では、x=0における透過輝度TLが最大値となり、そこから位置xが離れるにつれて、透過輝度TLが徐々に小さくなっている。この透過輝度TLの減少が周辺減光に相当する。
したがって、投影面Pに投影されるレーザー光Lが、仮に、走査方向Sと交差する方向において均一な輝度分布を有している場合には、そのレーザー光Lによって描画されたパターン光PLを撮像したとき、パターン画像では集光レンズ473による周辺減光が発生する。その結果、パターン画像に基づく三次元形状の計測にあたって、精度の低下を招くことになる。
これに対し、本実施形態では、例えば図10に示すような透過輝度分布を示す出射光を出射可能なラインジェネレートレンズ442を用いている。図10は、本実施形態に用いられるラインジェネレートレンズ442の透過輝度分布の一例を示すグラフである。図10に示す透過輝度分布は、図9に示す周辺減光とは逆の傾向の分布になっている。つまり、図9に示す周辺減光は、位置xが中央部から縁部に向かうにつれて、透過輝度TLが徐々に減少している傾向の分布であるのに対し、図10に示す透過輝度分布は、位置xが中央部から縁部に向かうにつれて、輝度が徐々に増加する傾向の、特殊な分布になっている。したがって、このような特殊な透過輝度分布を示すラインジェネレートレンズ442を用いることにより、パターン画像において周辺減光を相殺または低減させることができる。
なお、図10では、ラインジェネレートレンズ442の出射光の全幅をW0とし、全幅W0の中心を挟んで全幅W0の10%の範囲を中央部Cと規定する。また、全幅W0の両端を起点にしてそれぞれ全幅W0の10%の範囲を縁部Eと規定する。
図10に示す透過輝度をラインジェネレートレンズ特性LGLとするとき、ラインジェネレートレンズ特性LGLを表す輝度分布は、例えば、下記式(2)で表すことができる。
Figure 0007279469000002
上記式(2)における係数aも、上記式(1)の係数aと同じ数値が用いられる。そして、前述した図10は、位置xおよび上記式(2)で表されるラインジェネレートレンズ特性LGLを、横軸に位置xをとり、縦軸に透過輝度をとった座標系にプロットして示すグラフである。なお、図10では、x=0における輝度を1に規格化している。
上記式(2)および図10に示すような輝度分布を実現するラインジェネレートレンズ442を用いることにより、最終的に、パターン画像における周辺減光を相殺または低減することができる。
図11は、図9に示す透過輝度分布と、図10に示す相殺輝度分布と、を合成してなる合成輝度の分布を表すグラフである。図11では、x=0における輝度を1に規格化している。
図11に示す合成輝度分布は、フラットな分布を示している。したがって、ラインジェネレートレンズ442を用いることにより、周辺減光の影響を相殺または低減させたパターン画像を取得することが可能になると認められる。
以上のように、本実施形態に係る三次元計測装置4は、レーザー光Lを用いて対象物Wの三次元計測を行う装置であって、レーザー光Lを出射するレーザー光源42と、レーザー光Lを、延在方向の中央部Cの輝度よりも縁部Eの輝度が高いラインジェネレートレンズ特性LGL(第1輝度分布)を有するライン状をなす光(ラインレーザー光)に拡幅して出射するラインジェネレートレンズ442と、揺動軸Jまわりに揺動し、ライン状をなす光を反射して、対象物Wを含む投影面Pにパターン光PLを投影するミラー451と、パターン光PLが投影された投影面Pを撮像してパターン画像を取得する撮像部47と、パターン画像に基づいて対象物Wの三次元形状を求める計測部49と、を有する。
このような三次元計測装置4によれば、撮像部47で撮像されるパターン画像に含まれる周辺減光を、ラインジェネレートレンズ442によって生成される出射光のラインジェネレートレンズ特性LGLによって、相殺または低減させることができる。これにより、投影面Pの三次元形状を高い精度で計測することができる。しかも、本実施形態によれば、このような周辺減光の相殺または低減を、時間を要することなく高速で行うことができる。また、それを実現する三次元計測装置4の構成は、画像処理等を行う必要がないため、簡素であり、小型化を図ることが容易である。このため、三次元計測装置4により計測された対象物Wの三次元情報に基づいてロボット2の駆動を制御する際、その作業効率を高めることができる。
さらに、本実施形態では、1つのラインジェネレートレンズ442で、レーザー光Lの拡幅と、周辺減光の相殺または低減のための輝度差の形成と、を実現している。このため、拡幅されたレーザー光Lの幅が発散しすぎないという利点がある。つまり、補正レンズ等を挿入するための間隔を必要としないため、ラインジェネレートレンズ442とミラー451との距離を近づけることができ、レーザー光Lが発散しすぎる前に、ミラー451の反射面450に照射することができる。これにより、反射面450の大きさを小さくすることができる。反射面450が大きい場合、揺動に際して大きな空気抵抗を受けるため、揺動に大きなトルクが必要になったり、ミラー451が撓みやすくなったりする。これに対し、反射面450を小さくすることができれば、トルクを小さくすることができ、ミラー451も撓みにくくなる。
なお、ラインジェネレートレンズ442の形状は、前述した出射光のラインジェネレートレンズ特性LGLから、光線追跡法等のシミュレーションに基づいて求めることができる。つまり、例えば上記式(2)で表されるようなラインジェネレートレンズ特性LGLの分布が、上記式(1)で表される周辺減光を相殺または低減可能な分布であれば、ラインジェネレートレンズ442の形状は、図8に示す形状に限定されず、いかなる形状であってもよい。
また、ラインジェネレートレンズ特性LGLにおける中央部Cと縁部Eとの輝度差は、集光レンズ473の周辺減光の程度に応じて決めればよく、特に限定されないが、一例として、図10に示すグラフにおいて、x=0におけるラインジェネレートレンズ特性LGLを1としたとき、ラインジェネレートレンズ特性LGLの最大値は1.05以上2.00以下であるのが好ましく、1.10以上1.80以下であるのがより好ましい。このようなラインジェネレートレンズ特性LGLを有するラインジェネレートレンズ442を用いることにより、周辺減光による影響をより確実に相殺または低減させることができる。
なお、周辺減光による輝度分布は、上記式(1)および図9に示す分布に限定されない。また、中央部Cの輝度および縁部Eの輝度とは、それぞれの範囲における輝度の最大値のことをいう。
(変形例)
ここで、第1実施形態の変形例について説明する。この変形例は、以下の相違点以外、第1実施形態と同様である。
図12は、第1実施形態の変形例に係るラインジェネレートレンズ442を示す図である。
以下、変形例について説明するが、以下の説明では、第1実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
図12に示すラインジェネレートレンズ442は、その形状自体は、例えば均一な輝度分布を形成するように設計されている。すなわち、前述した第1実施形態に係るラインジェネレートレンズ442は、その形状の設計により、内部で光が屈折し、幅の中央部Cの輝度よりも縁部Eの輝度が高くなるようなラインジェネレートレンズ特性LGLが得られるが、本変形例では、形状自体の設計は、例えば均一な輝度分布の出射光が得られるようになっている。
一方、図12に示すラインジェネレートレンズ442は、出射面4422のY軸方向における中央部に設けられ、光を減光する減光膜4424を有している。これにより、ラインジェネレートレンズ442は、ラインジェネレートレンズ特性LGL(第1輝度分布)の中央部Cに対応する部分(ラインレーザー光中央部が透過する部分)、すなわち減光膜4424の部分の透過率が、ラインジェネレートレンズ特性LGLの縁部Eに対応する部分(ラインレーザー光縁部が透過する部分)、すなわち減光膜4424が設けられていない出射面4422の部分の透過率よりも低くなるように設定されている。
これにより、ラインジェネレートレンズ特性LGLが均一になるように光学設計された、一般的なラインジェネレートレンズを、本実施形態に係るラインジェネレートレンズ442として用いることができる。その結果、ラインジェネレートレンズ442の設計が容易になるとともに、三次元計測装置4の低コスト化を図ることができる。
なお、減光膜4424は、光を吸収、散乱等によって減衰させ得る膜であれば、いかなる膜であってもよい。また、減光率は、減光膜4424の全体で一定であっても、部分的に異なっていてもよいが、好ましくは、徐々に減光率が変化するように設定されている。これにより、図10に示すような相殺輝度分布を実現することができる。
また、減光膜4424以外の方法で減光するようにしてもよい。例えば、ラインジェネレートレンズ442の構成材料が部分的に異なっており、それに伴って中央部Cに対応する部分の透過率が低くなっていてもよい。
<第2実施形態>
次に、第2実施形態について説明する。
図13は、第2実施形態に係る三次元計測装置の全体構成を示す図である。図14は、第2実施形態に係る三次元計測装置の作用を説明するため、図13を簡略化した図である。
以下、第2実施形態について説明するが、以下の説明では、第1実施形態との相違点を中心に説明し、同様の事項についてはその説明を省略する。なお、図13および図14において、第1実施形態と同様の構成については、同一符号を付している。
第2実施形態に係る三次元計測装置4は、第1実施形態と同様、レーザー光Lの走査方向Sと交差する方向において、パターン画像の周辺減光を相殺または低減させるだけでなく、走査方向Sにおいても、周辺減光を相殺または低減させるように構成されている以外、第1実施形態に係る三次元計測装置4と同様である。
具体的には、図13に示す三次元計測装置4は、さらに、制御部48に接続された受付部462と、受付部462に接続された入力部464と、を備えている。また、制御部48は、光走査部45におけるミラー451の最大振幅を変更可能に設定されている。
図14では、パターン光PLが平面状の投影面Pに投影されるものとする。また、説明の便宜のため、レーザー光Lは、ミラー451の揺動軸Jから投影面Pに下した垂線Nを中心に、前述した走査角αmaxの範囲内に走査されるものとする。なお、投影面P上における位置をxで表し、垂線Nと投影面Pとの交点をx=0とする。また、光走査部45のミラー451の揺動軸Jと投影面Pとの距離をhとする。
本実施形態に係る受付部462は、この距離hの距離情報を受け付ける。受付部462で受け付けた距離hの距離情報は、制御部48に入力される。距離hは、各種距離センサーや撮像部47で撮像された撮像画像に基づいて計測することもできるが、本実施形態は、距離hを入力する入力部464をさらに備えている。三次元計測装置4のユーザーは、入力部464に距離hの距離情報を入力すると、距離hの距離情報が、入力部464から受付部462を経て、制御部48に入力される。
制御部48では、このようにして入力された距離hに基づき、ミラー451の揺動を制御する。なお、制御方法については、後に詳述する。
(三次元計測方法)
次に、第2実施形態に係る三次元計測装置4を用いた三次元計測方法について説明する。
図15は、第2実施形態に係る三次元計測装置4を用いた三次元計測方法を説明するためのフローチャートである。
図15に示す三次元計測方法は、レーザー光Lを出射するステップS1と、ミラー451の揺動軸Jと、ミラー451により対象物Wに向けてレーザー光Lを反射して投影する投影面Pとの距離hを受け付けるステップS2と、距離hに基づいて、ミラー451の揺動の最大振幅θmaxを決定するステップS3と、最大振幅θmaxの範囲内でミラー451を揺動させ、ミラー451によりレーザー光Lを投影面Pに向けて反射し、パターン光PLを投影するステップS4と、パターン光PLが投影された投影面Pを撮像したパターン画像を取得するステップS5と、パターン画像に基づいて対象物Wの三次元形状を求めるステップS6と、を有する。
このような三次元計測方法によれば、後に詳述するが、レーザー光Lの走査方向においても、撮像部47で撮像されるパターン画像に含まれる周辺減光、つまり、パターン画像の縁部に近づくにつれて輝度が低下するという問題を、投影されるレーザー光Lが持つ走査速度分布に基づく輝度分布によって、相殺または低減させることができる。これにより、対象物Wの三次元形状を高い精度で計測することができる。
以下、各ステップについて説明する。
[1]対象物Wの三次元形状を計測する際には、まず、レーザー光源42からレーザー光Lを出射するステップS1を行う。レーザー光Lは、ラインジェネレートレンズ442によってライン状に成形され、ミラー451の反射面450に照射される。
[2]一方、受付部462において、ミラー451の揺動軸Jと、対象物Wを含む投影面Pと、の距離hに関する距離情報を受け付けるステップS2を行う。
図13に示す三次元計測装置4は、装置構成の一例として、距離hを入力する入力部464を有している。三次元計測装置4のユーザーが入力部464から距離hを入力すると、その情報が受付部462に出力される。そして、受付部462は、入力部464に入力された距離hを受け付け、制御部48に入力する。このようにすれば、ユーザーが実測した、より正確な距離hを用いて、より最適な最大振幅θmaxを求めることができるので、より精度の高い三次元計測が可能になる。なお、距離hが所定の範囲内にあるとき、その所定の範囲を代表する値を距離hに関する距離情報としてもよい。
[3]次に、ミラー制御部481により、距離hに基づいて、ミラー451の揺動の最大振幅θmaxを決定するステップS3を行う。最大振幅θmaxは、ミラー451の揺動軸Jまわりの揺動において、図8に示すように、揺動の中心面Mからの最大離角である。
ミラー451は、ミラー451に装着されている永久磁石455と電磁コイル456との間に働くローレンツ力に基づいて揺動する。電磁コイル456には、いわゆる正弦波の波形を持つ交番電圧が印加される。つまり、ミラー451は、正弦波の波形を持つ駆動信号により揺動する非共振駆動可能なミラーであるのが好ましい。このようなミラー451であれば、最大振幅θmaxを比較的自由に変更することができる。このとき、ミラー451の振れ角θは、最大振幅θmaxの範囲内で交番電圧に従って時間とともに変化する。具体的には、交番電圧の周波数、すなわちミラー451の駆動周波数をf、時間をtとすると、ミラー451の振れ角θの時間変化は、下記式(3)で表される。
Figure 0007279469000003
本実施形態に係る三次元計測装置4では、上記式(3)に含まれる最大振幅θmaxを適宜変更できるようになっている。このような最大振幅θmaxは、距離hとともに、撮像部47で撮像されるパターン画像の輝度分布に対して後述するような相関関係を有している。したがって、この相関関係に照らし、距離hに基づいて最適な最大振幅θmaxを選定することにより、後述する原理に基づいて、最終的には周辺減光が抑制されたパターン画像を取得することができる。なお、電磁コイル456に印加される交番電圧は、正弦波の波形を持つものに限定されず、疑似的に正弦波に近づけた波形を持つものであってもよい。
より具体的に説明すると、ステップS3は、ミラー451の揺動に伴うレーザー光Lの走査方向Sにおける、投影面P上の長さXmax(投影面長さ)を受け付けるステップS31と、投影面Pの長さXmaxの範囲内にある前記走査方向Sの位置xと、距離hと、求めようとする最大振幅θmaxと、撮像部47で撮像されるパターン画像において推定される前記位置xにおける推定輝度と、の間に成り立つ関係式に基づき、最大振幅θmaxを求めるステップS32と、を含んでいる。このようなステップS31、S32によれば、周辺減光を抑制可能な最大振幅θmaxを容易に算出することができる。
ステップS31で受け付ける投影面Pの長さXmaxは、距離hと撮像部47の画角βとで決まる長さである。この画角βは、撮像部47の設計、特に集光レンズ473の倍率や撮像素子472と集光レンズ473との距離等に応じて決まるため、既知である。前述したように、投影面Pにおいて画角βの範囲は、レーザー光Lの走査範囲に包含されるように設定されている。したがって、長さXmaxは、少なくとも、撮像部47による撮像範囲の長さよりも長くなるように設定される。
一方、距離hは、前述した受付部462で受け付けられる情報である。よって、ステップS31では、投影面Pの長さXmaxについても、入力部464を介して受付部462に入力するようにしてもよいし、受付部462で受け付けた距離hとあらかじめ入力しておいた画角βとに基づいて受付部462において算出するようにしてもよい。
ステップS32では、投影面Pの長さXmaxの範囲内における位置xと、距離hと、求めようとする最大振幅θmaxと、最終的に撮像部47で撮像されるパターン画像において推定される推定輝度ELと、の間に成り立つ関係式を用いて、最大振幅θmaxを求める。この関係式には、一例として、下記式(4)が挙げられる。
Figure 0007279469000004
[ただし、上記式(4)において、
Figure 0007279469000005
である。]
また、推定輝度ELとは、投影面Pの長さの中心におけるパターン画像の推定輝度を1に規格化したとき、投影面Pの長さXmaxの範囲内における推定輝度の相対値のことである。さらに、投影面Pにおける位置xとは、図14に示すように、揺動軸Jから投影面Pに垂線Nを下したとき、その垂線Nと投影面Pとの交点をx=0とした場合の位置である。また、係数aは、後述するが、レンズごとの固有値であり、既知である。なお、上記式(4)における距離hは、ミラー451の揺動軸Jと対象物Wを含む投影面Pとの距離の実測値であってもよいが、その実測値に基づいて算出された換算値、つまり「距離情報」であってもよい。例えば、実測した距離が300~400mmという範囲内にある場合、上記式(4)における距離hを、300mmという代表値に固定するようにしてもよい。なお、これは、後述する各式においても同様である。
そして、上記式(4)で表される関係式には、撮像部47に含まれる光学系において発生する周辺減光による輝度の低下の推定値が加味されている。このため、本ステップS3において最大振幅θmaxを適宜選定することにより、後述する原理によって、投影面P上の位置xによらず、推定輝度ELを一定値にすることが可能である。その結果、最終的に、周辺減光が相殺または低減されたパターン画像を取得することが可能になる。
以上をまとめると、最大振幅θmaxを求めるステップS3は、投影面Pの長さXmaxの中心、すなわちx=0における推定輝度を1に規格化したとき、レーザー光Lが投影された投影面P上の領域の走査方向Sの中心を中心位置とし、その中心位置の推定輝度である推定中心輝度を1とする規格化を行ったとき、この領域における走査方向Sの位置xの推定輝度に対して前記規格化を行った値が一定値になるように(長さXmaxの範囲内における、規格化された推定輝度に対する相対値である推定輝度ELが一定値になるように)、最大振幅θmaxを求めるステップである。
なお、この推定輝度ELは、具体的には、0.80以上1.20以下であるのが好ましく、0.90以上1.10以下であるのがより好ましく、0.95以上1.05以下であるのがさらに好ましい。このような推定輝度ELは、規格化された推定輝度に十分に近いため、一定値とみなすことができる。したがって、最終的に、周辺減光が十分に抑制され、輝度分布がフラットなパターン画像を取得することが可能になる。したがって、ステップS32では、推定輝度ELがこのような一定値になるように、最大振幅θmaxを選定すればよい。なお、ステップS2からステップS3は、距離hに関する距離情報に変化がない、または変化が少ない場合は一度だけ実行すればよく、次回以降の計測においてステップS2からステップS3までのステップを省略して実行してもよい。
[4]次に、求めた最大振幅θmaxの範囲内で、ミラー制御部481において駆動信号を生成し、ミラー451を揺動させる。これにより、ミラー451でレーザー光Lを投影面Pに向けて反射する。このようにして、パターン光PLを投影するステップS4を行う。
パターン光PLは、前述したように、最大振幅θmaxが最適化されたミラー451の揺動によってレーザー光Lが走査されて形成されているので、周辺減光を相殺または低減させるような走査速度分布を有している。
以下、このような効果が得られる原理について説明する。
まず、走査されるレーザー光Lの走査速度は、投影面P上の位置において異なり、分布を持つことになる。したがって、走査速度分布は、投影面Pにおける位置xとレーザー光Lの走査速度vとの関係である。
具体的には、揺動軸Jと投影面Pとの距離をhとし、投影面Pにおける位置をxとし、投影面Pにおけるレーザー光Lの走査速度をvとし、ミラー451の最大振幅をθmaxとし、ミラー451の揺動の周波数をfとしたとき、走査速度分布は、下記式(6)で表される。
Figure 0007279469000006
このような走査速度分布では、レーザー光Lが搭載される位置xが、投影面Pの長さXmaxの中心から離れるにつれて、走査速度vが小さくなる。
ここで、上記式(6)において、x=0のときの走査速度vを1に規格化した場合、走査速度vは、下記式(7)のようになる。
Figure 0007279469000007
そして、位置xおよび上記式(7)で表される走査速度vを、横軸に位置xをとり、縦軸に走査速度vをとった座標系にプロットすると、図16に示すグラフが得られる。すなわち、図16は、レーザー光Lの走査速度分布の一例を示すグラフである。
図16に示すように、上記式(7)で表される走査速度分布では、投影面Pの長さXmaxの中心、すなわちx=0における走査速度vが最大値となり、そこから位置xが離れるにつれて、走査速度vが徐々に小さくなっている。
ここで、レーザー光Lの走査速度vは、例えば輝度と反比例する。したがって、走査速度vの逆数を取ることにより、上記式(7)から投影面Pの換算輝度CLを算出することができる。その換算輝度CLは、下記式(8)のようになる。
Figure 0007279469000008
そして、位置xおよび上記式(8)で表される換算輝度CLを、横軸に位置xをとり、縦軸に換算輝度CLをとった座標系にプロットすると、図17に示すグラフが得られる。すなわち、図17は、図16に示す走査速度分布でレーザー光Lを走査した際に、投影面P上で観測される換算輝度CLの分布の一例を示すグラフである。
図17に示すように、上記式(8)で表される換算輝度分布では、投影面Pの長さXmaxの中心、すなわちx=0における換算輝度CLが最小値となり、そこから位置xが離れるにつれて、換算輝度CLが徐々に大きくなっている。
一方、撮像部47は、集光レンズ473を含んでいるが、このような集光レンズ473には、前述したように、レンズ特有の周辺減光が存在する。一般的なレンズの透過輝度TLの分布は、前述した式(1)で表されることが知られている。
ここで、上記式(8)で表される換算輝度分布と、上記式(1)で表される透過輝度分布と、を合成すると、撮像部47で撮像されるパターン画像における輝度分布が得られる。
この輝度分布は、周辺減光の影響が抑えられた、フラットな分布になる。具体的には、上記式(8)で表される換算輝度分布と、上記式(1)で表される透過輝度分布と、を合成すると、合成輝度SLは、下記式(9)のようになる。
Figure 0007279469000009
そして、位置xおよび上記式(9)で表される合成輝度SLを、横軸に位置xをとり、縦軸に合成輝度SLをとった座標系にプロットすると、図18に示すグラフが得られる。すなわち、図18は、図16に示す走査速度分布でレーザー光Lを走査した際に、撮像部47で撮像されるパターン画像における輝度、つまり上記の合成輝度SLの分布の一例を示すグラフである。
図18に示すように、上記式(9)で表される合成輝度分布では、ほぼフラットな分布が得られる。したがって、前記ステップS3において最大振幅θmaxを求め、本ステップS4において、その最大振幅θmaxの範囲内でミラー451を揺動させつつ、レーザー光Lを走査することにより、後述するステップS5において、周辺減光の影響を相殺または低減させたパターン画像を取得することが可能になる。換言すれば、ミラー451の揺動の最大振幅θmaxを、距離hに応じて最適化することにより、パターン光PLにおける輝度分布の形状を変えることができるので、周辺減光を低減可能な値を選定することが可能になる。また、最大振幅θmaxは、駆動周波数fや距離hに比べて、ユーザーが任意に選択可能であるという点で、比較的変化させやすいパラメーターでもあることから、制御因子として有用であるという利点もある。
[5]次に、パターン光PLが投影された投影面Pを撮像したパターン画像を取得するステップS5を行う。このパターン画像では、前述したように、集光レンズ473の周辺減光の影響が抑えられている。このため、パターン画像のS/N比の低下が抑えられる。
[6]次に、パターン画像に基づいて投影面Pの三次元形状を求めるステップS6を行う。このパターン画像では、周辺減光に伴うS/N比の低下が抑えられているため、投影面Pの三次元形状をより高い精度で計測することができる。また、本実施形態では、このような周辺減光の相殺または低減を、画像処理等の複雑な演算を要することなく、高速で行うことができる。したがって、対象物Wの三次元形状を迅速に計測することができる。
以上のように、本実施形態に係る三次元計測装置4は、ミラー451の揺動を制御するミラー制御部481を有し、ミラー制御部481は、揺動軸Jと投影面Pとの距離hに関する距離情報に基づき、ミラー451の揺動の最大振幅θmaxを変更することにより、揺動に伴ってライン状をなすレーザー光L(ラインレーザー光)が走査される走査方向Sにおける、パターン光PLの換算輝度分布(第2輝度分布)を制御する。
これにより、撮像部47で撮像されるパターン画像に含まれる周辺減光を、投影されるレーザー光Lが持つ走査速度分布に基づく換算輝度分布によって、相殺または低減させることができる。その結果、ラインジェネレートレンズ442によって、走査方向Sと交差する方向における周辺減光の相殺または低減を実現するだけでなく、ミラー451の揺動によって、走査方向Sにおける周辺減光の相殺または低減も実現することができる。その結果、対象物Wの三次元形状を高い精度で計測することができる。しかも、本実施形態によれば、このような周辺減光の相殺または低減を、時間を要することなく高速で行うことができる。また、それを実現する三次元計測装置4の構成は、画像処理等を行う必要がないため、簡素であり、小型化を図ることが容易である。このため、三次元計測装置4により計測された対象物Wの三次元情報に基づいてロボット2の駆動を制御する際、その作業効率を高めることができる。
また、上記のような三次元計測装置4は、ロボットシステム1に設けられる。ロボットシステム1では、三次元計測装置4が計測した対象物Wの三次元形状に基づき、ロボット2に作業を行わせることができる。これにより、より正確な作業を効率よく行うことができる。
すなわち、本実施形態に係るロボットシステム1は、ロボットアーム22を備えるロボット2と、ロボットアーム22に設置され、レーザー光Lを用いて対象物Wの三次元計測を行う三次元計測装置4と、三次元計測装置4の計測結果に基づいてロボット2の駆動を制御するロボット制御装置5と、を備えるロボットシステムである。そして、三次元計測装置4は、レーザー光Lを出射するレーザー光源42と、レーザー光Lを、延在方向の中央部Cの輝度よりも縁部Eの輝度が高いラインジェネレートレンズ特性LGL(第1輝度分布)を有するライン状をなす光(ラインレーザー光)に拡幅して出射するラインジェネレートレンズ442と、揺動軸Jまわりに揺動し、ライン状をなす光(ラインレーザー光)を反射して、対象物Wを含む投影面Pにパターン光PLを投影するミラー451と、パターン光PLが投影された投影面Pを撮像してパターン画像を取得する撮像部47と、パターン画像に基づいて対象物Wの三次元形状を求める計測部49と、を有する。
このようなロボットシステム1によれば、簡素な構成で小型化が図られているにもかかわらず、三次元形状の計測精度が高い三次元計測装置4を備えていることから、小型化が可能で、設計自由度が高く、作業効率も高いロボットシステム1が得られる。
<第3実施形態>
次に、第3実施形態について説明する。
図19は、第3実施形態に係る三次元計測装置の全体構成を示す図である。
以下、第3実施形態について説明するが、以下の説明では、第2実施形態との相違点を中心に説明し、同様の事項についてはその説明を省略する。なお、図19において、第2実施形態と同様の構成については、同一符号を付している。
第3実施形態に係る三次元計測装置4は、レーザー光源42の出力を制御することにより、周辺減光を相殺または低減させるように構成されている以外、第2実施形態に係る三次元計測装置4と同様である。
すなわち、本実施形態に係る三次元計測装置4は、レーザー光源42の出力を制御する光源制御部482を有し、光源制御部482は、ミラー451の揺動に同期して、レーザー光Lの出力を変更することにより、揺動に伴ってライン状をなす光(ラインレーザー光)が走査される走査方向Sにおいて、パターン光PLの換算輝度分布(第2輝度分布)を制御する。
これにより、撮像部47で撮像されるパターン画像に含まれる周辺減光を、投影されるレーザー光Lの出力変化に基づく換算輝度分布によって、相殺または相殺または低減させることができる。その結果、ラインジェネレートレンズ442によって、走査方向Sと交差する方向における周辺減光の相殺または低減を実現するだけでなく、ミラー451の揺動によって、走査方向Sにおける周辺減光の相殺または低減も実現することができる。
なお、光源制御部482は、ミラー451の揺動に同期して、図17に示すような輝度分布が実現されるように、レーザー光源42の出力を適宜変更する。これにより、第2実施形態と同様の効果が得られる。さらに、光源制御部482は、ミラー制御部481が、揺動軸Jと投影面Pとの距離hに基づき、ミラー451の揺動の最大振幅θmaxを変更することに連動させてレーザー光Lの出力を変更することにより、揺動に伴ってレーザー光Lが走査される走査方向Sにおける、パターン光PLの換算輝度分布(第2輝度分布)を制御してもよい。これにより、レーザー光源42の出力の変動幅を低く抑えつつ、走査方向Sにおける周辺減光の相殺または低減も実現することができる。
<第4実施形態>
次に、第4実施形態について説明する。
図20は、第4実施形態に係る三次元計測装置の全体構成を示す図である。
以下、第4実施形態について説明するが、以下の説明では、第2実施形態との相違点を中心に説明し、同様の事項についてはその説明を省略する。
第4実施形態に係る三次元計測装置4は、入力部464に代えて、距離検出部466を備えている以外、第2実施形態に係る三次元計測装置4と同様である。
具体的には、図20に示す三次元計測装置4は、揺動軸Jと投影面Pとの距離hを検出する距離検出部466を有している。そして、前述した受付部462は、距離検出部466により検出された距離hを受け付け、制御部48に入力する。このようにすれば、ユーザーが入力することなく、三次元計測装置4が距離hを取得することができる。このため、より簡単に高精度な三次元計測を行うことができる。
距離検出部466は、揺動軸Jと投影面Pとの距離hを検出可能なセンサー等であれば、特に限定されないが、例えば、レーザー式距離センサー、赤外線式距離センサー、超音波式距離センサー等が挙げられる。
(変形例)
ここで、第4実施形態の変形例について説明する。この変形例は、以下の相違点以外、第4実施形態と同様である。
図21は、第4実施形態の変形例に係る三次元計測装置の全体構成を示す図である。
本変形例では、図21に示すように、計測部49と受付部462とが接続されている。そして、計測部49は、撮像部47による撮像画像に基づいて距離hを算出する。具体的には、撮像部47が取得した撮像画像は、計測部49に入力される。そして、計測部49において、撮像画像に基づき、対象物Wを含む投影面Pの三次元計測を行う。これにより、投影面Pまでの距離を求めることができるため、あらかじめ記憶させておいた設計データに基づき、揺動軸Jと投影面Pまでの距離hを算出することができる。このようにして算出した距離hを受付部462に出力する。
このような構成によれば、ユーザーが入力したり、距離検出部466を設けたりすることなく、三次元計測装置4が距離hを取得することができる。
図22は、第4実施形態の別の変形例に係るロボットシステムの全体構成を示す図である。
本変形例では、図22に示すように、距離検出部466が省略され、代わりに、受付部462とロボット制御装置5とが接続されている。そして、ロボット制御装置5は、ロボット2の位置情報に基づいて、ミラー451の揺動軸Jと投影面Pとの距離hを求め、三次元計測装置4に入力する。ロボット2の位置情報とは、例えば、ロボットアーム22に設けられている第1駆動装置251から第6駆動装置256までの各エンコーダーから得られる情報である。各エンコーダーは、モーターの回転量の情報等を取得するので、これらの情報に基づけば、ロボット制御装置5において、ロボットアーム22の空間における位置の情報を算出することができる。そして、このような位置情報に基づくことで、ロボットアーム22に装着されている三次元計測装置4のミラー451の揺動軸Jと投影面Pとの距離hを、ロボット制御装置5において算出することが可能である。
このような構成によれば、ユーザーが入力したり、距離検出部466を設けたりすることなく、三次元計測装置4が距離hを取得することができる。
以上のような第4実施形態およびその変形例においても、第2実施形態と同様の効果が得られる。
以上、本発明の三次元計測装置およびロボットシステムを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。さらに、本発明の三次元計測装置を用いた三次元計測方法では、前記各ステップが順次行われてもよく、一部のステップが同時に行われてもよい。
1…ロボットシステム、2…ロボット、4…三次元計測装置、5…ロボット制御装置、6…ホストコンピューター、21…ベース、22…ロボットアーム、24…エンドエフェクター、40…筐体、41…投影部、42…レーザー光源、44…光学系、45…光走査部、47…撮像部、48…制御部、49…計測部、221…第1アーム、222…第2アーム、223…第3アーム、224…第4アーム、225…第5アーム、226…第6アーム、251…第1駆動装置、252…第2駆動装置、253…第3駆動装置、254…第4駆動装置、255…第5駆動装置、256…第6駆動装置、401…底面、402…頂面、403…前面、403a…窓部、404…背面、405…側面、406…側面、441…集光レンズ、442…ラインジェネレートレンズ、450…反射面、451…ミラー、452…支持部、453…軸部、455…永久磁石、456…電磁コイル、462…受付部、464…入力部、466…距離検出部、471…カメラ、472…撮像素子、473…集光レンズ、481…ミラー制御部、482…光源制御部、483…撮像制御部、4421…入射面、4421a…第1面、4421b…第2面、4422…出射面、4423…稜線、4424…減光膜、C…中央部、E…縁部、J…揺動軸、L…レーザー光、LGL…ラインジェネレートレンズ特性、M…中心面、N…垂線、O1…第1軸、O2…第2軸、O3…第3軸、O4…第4軸、O5…第5軸、O6…第6軸、P…投影面、PL…パターン光、S…走査方向、S1…ステップ、S2…ステップ、S3…ステップ、S31…ステップ、S32…ステップ、S4…ステップ、S5…ステップ、S6…ステップ、W…対象物、W0…全幅、h…距離、v…走査速度、Xmax…長さ、αdisp…描画角、αmax…走査角、β…画角、θmax…最大振幅

Claims (8)

  1. レーザー光を用いて対象物の三次元計測を行う三次元計測装置であって、
    前記レーザー光を出射するレーザー光源と、
    前記レーザー光を、延在方向の中央部の輝度よりも縁部の輝度が高い第1輝度分布を有するラインレーザー光に拡幅して出射するラインジェネレートレンズと、
    揺動軸まわりに揺動し、前記ラインレーザー光を反射して、前記対象物を含む投影面にパターン光を投影するミラーと、
    前記パターン光が投影された前記投影面を撮像してパターン画像を取得する撮像部と、
    前記パターン画像に基づいて前記対象物の三次元形状を求める計測部と、
    を有し、
    前記ラインジェネレートレンズは、
    稜線、ならびに、前記稜線を介して互いに交わる第1面および第2面、を有する入射面と、
    前記入射面の反対側に設けられている出射面と、
    を有し、
    前記レーザー光が前記入射面に入射され、前記ラインレーザー光が前記出射面から出射するように構成されていることを特徴とする三次元計測装置。
  2. 前記第1輝度分布の前記中央部における輝度を1としたとき、前記第1輝度分布の前記縁部における輝度の最大値は、1.05以上2.00以下である請求項1に記載の三次元計測装置。
  3. 前記ラインジェネレートレンズの、前記ラインレーザー光の前記第1輝度分布の前記中央部に対応するラインレーザー光中央部が透過する部分の透過率は、前記ラインレーザー光の前記第1輝度分布の前記縁部に対応するラインレーザー光縁部が透過する部分の透過率よりも低い請求項1に記載の三次元計測装置。
  4. 前記ラインジェネレートレンズは、
    出射光の輝度分布が均一になるように形状が設計されているレンズ本体と、
    前記第1輝度分布の前記中央部に対応して、前記レンズ本体に設けられている減光膜と、
    を有する請求項3に記載の三次元計測装置。
  5. 前記ミラーの揺動を制御するミラー制御部と、
    前記揺動軸と前記投影面との距離に関する距離情報を受け付ける受付部と、
    を有し、
    前記ミラー制御部は、前記受付部が受け付けた記距離情報に基づき、前記ミラーの前記揺動の最大振幅を変更することにより、前記揺動に伴って前記ラインレーザー光が走査される方向における、前記パターン光の第2輝度分布を制御する請求項1ないし4のいずれか1項に記載の三次元計測装置。
  6. 前記揺動軸と前記投影面との距離を検出する距離検出部をさらに有する請求項5に記載の三次元計測装置。
  7. 前記レーザー光源の出力を制御する光源制御部を有し、
    前記光源制御部は、前記ミラーの前記揺動に同期して、前記レーザー光の出力を変更することにより、前記揺動に伴って前記ラインレーザー光が走査される方向における、前記パターン光の第2輝度分布を制御する請求項1ないし4のいずれか1項に記載の三次元計測装置。
  8. ロボットアームを備えるロボットと、前記ロボットアームに設置され、レーザー光を用いて対象物の三次元計測を行う請求項1ないし7のいずれか1項に記載の三次元計測装置と、前記三次元計測装置の計測結果に基づいて前記ロボットの駆動を制御するロボット制御装置と、を備えることを特徴とするロボットシステム。
JP2019064851A 2019-03-28 2019-03-28 三次元計測装置およびロボットシステム Active JP7279469B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019064851A JP7279469B2 (ja) 2019-03-28 2019-03-28 三次元計測装置およびロボットシステム
US16/831,918 US11131543B2 (en) 2019-03-28 2020-03-27 Three-dimensional measuring apparatus and robot system
CN202010231339.8A CN111750800B (zh) 2019-03-28 2020-03-27 三维测量装置及机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019064851A JP7279469B2 (ja) 2019-03-28 2019-03-28 三次元計測装置およびロボットシステム

Publications (2)

Publication Number Publication Date
JP2020165718A JP2020165718A (ja) 2020-10-08
JP7279469B2 true JP7279469B2 (ja) 2023-05-23

Family

ID=72605648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019064851A Active JP7279469B2 (ja) 2019-03-28 2019-03-28 三次元計測装置およびロボットシステム

Country Status (3)

Country Link
US (1) US11131543B2 (ja)
JP (1) JP7279469B2 (ja)
CN (1) CN111750800B (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119142A (ja) 2005-10-24 2006-05-11 Hitachi Ltd 欠陥検査装置およびその方法
JP2008309935A (ja) 2007-06-13 2008-12-25 Seiko Epson Corp 画像表示装置及び画像表示方法
JP2011137697A (ja) 2009-12-28 2011-07-14 Canon Inc 照明装置及び該照明装置を用いた計測システム
WO2013133286A1 (ja) 2012-03-06 2013-09-12 株式会社ニコン 形状測定装置、構造物製造システム、走査装置、形状測定方法、構造物製造方法、及び形状測定プログラム
JP2013257199A (ja) 2012-06-12 2013-12-26 Toyota Industries Corp 立体形状推定装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4226536A (en) * 1979-02-23 1980-10-07 Dreyfus Marc G Electro-optical contour measuring system
JPS60200103A (ja) * 1984-03-26 1985-10-09 Hitachi Ltd 光切断線抽出回路
JP2581863B2 (ja) * 1991-12-26 1997-02-12 三菱電機株式会社 立体形状計測装置及び立体形状計測用センサ
JP2680224B2 (ja) * 1992-06-25 1997-11-19 松下電工株式会社 立体形状検出方法およびその装置
DE4242189C1 (de) * 1992-12-15 1994-03-31 Leica Sensortechnik Gmbh Verfahren und Vorrichtung zum Aufnehmen eines Entfernungsbildes
JP2927179B2 (ja) * 1994-06-15 1999-07-28 ミノルタ株式会社 3次元形状入力装置
US6703634B2 (en) * 2000-12-11 2004-03-09 Matsushita Electric Industrial Co., Ltd. 3D-shape measurement apparatus
JP3774225B2 (ja) * 2004-10-15 2006-05-10 独立行政法人科学技術振興機構 三次元計測センサ
US8237085B2 (en) * 2006-11-17 2012-08-07 Semiconductor Energy Laboratory Co., Ltd. Beam homogenizer, laser irradiation apparatus, and laser irradiation method
CN100541114C (zh) * 2007-07-24 2009-09-16 哈尔滨工程大学 双曲面反射镜的多维全场光学校验装置
JP4434283B2 (ja) * 2008-01-31 2010-03-17 セイコーエプソン株式会社 画像形成装置
CN101852594B (zh) * 2010-05-10 2012-05-23 北京理工大学 超分辨激光偏振差动共焦成像方法与装置
CN102564343B (zh) * 2011-12-29 2014-03-12 中国科学院长春光学精密机械与物理研究所 太阳能槽式曲面反光镜面形误差检测装置
JP6028400B2 (ja) * 2012-06-04 2016-11-16 セイコーエプソン株式会社 画像表示装置およびヘッドマウントディスプレイ
CN103578097B (zh) * 2012-07-30 2017-05-10 中国科学院光电研究院 一种双波段高低分辨率协同目标识别装置
CN103018728B (zh) * 2012-11-22 2014-06-18 北京航空航天大学 一种激光雷达实时成像和建筑物特征提取的方法
JP5780659B2 (ja) * 2013-06-13 2015-09-16 ヤマハ発動機株式会社 3次元形状測定装置
JP6520209B2 (ja) * 2015-02-27 2019-05-29 セイコーエプソン株式会社 画像表示装置
CN104776810B (zh) * 2015-03-24 2016-03-30 长安大学 一种基于3d线激光设备的坑槽三维指标提取计算方法
CN104748683B (zh) * 2015-04-10 2017-03-29 四川理工学院 一种数控机床工件在线自动测量装置及测量方法
US10620447B2 (en) * 2017-01-19 2020-04-14 Cognex Corporation System and method for reduced-speckle laser line generation
JP2018190201A (ja) 2017-05-08 2018-11-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2019058993A (ja) * 2017-09-27 2019-04-18 セイコーエプソン株式会社 ロボットシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119142A (ja) 2005-10-24 2006-05-11 Hitachi Ltd 欠陥検査装置およびその方法
JP2008309935A (ja) 2007-06-13 2008-12-25 Seiko Epson Corp 画像表示装置及び画像表示方法
JP2011137697A (ja) 2009-12-28 2011-07-14 Canon Inc 照明装置及び該照明装置を用いた計測システム
WO2013133286A1 (ja) 2012-03-06 2013-09-12 株式会社ニコン 形状測定装置、構造物製造システム、走査装置、形状測定方法、構造物製造方法、及び形状測定プログラム
JP2013257199A (ja) 2012-06-12 2013-12-26 Toyota Industries Corp 立体形状推定装置

Also Published As

Publication number Publication date
CN111750800A (zh) 2020-10-09
JP2020165718A (ja) 2020-10-08
US11131543B2 (en) 2021-09-28
US20200309516A1 (en) 2020-10-01
CN111750800B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
US11105616B2 (en) Intraoral scanner with diagonal focal plane
US20210160471A1 (en) Motion blur compensation
JP5189287B2 (ja) 歯科用レーザデジタイザシステム
EP2564156B1 (en) Profile measuring apparatus
CN110640749B (zh) 机器人控制装置以及机器人系统
US11312029B2 (en) Three-dimensional measuring apparatus, robot, and robot system
CN102074044A (zh) 一种物体表面重建的系统和方法
JP2012202803A (ja) パターン光投影装置及び方法
JP2020003263A (ja) 三次元計測装置、制御装置およびロボットシステム
JP7310218B2 (ja) 三次元計測方法、三次元計測装置およびロボットシステム
CN114415195B (zh) 一种运动成像补偿装置及运动补偿方法
JP7279469B2 (ja) 三次元計測装置およびロボットシステム
JP2019090753A (ja) 三次元測定装置
JP2020159730A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
JP7001947B2 (ja) 表面形状測定方法
US12030243B2 (en) Measuring apparatus, movable apparatus, robot, electronic device, fabricating apparatus, and measuring method
JP6820516B2 (ja) 表面形状測定方法
JP2022021617A (ja) 距離計測装置およびロボット
JP2020159731A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
JP2022184389A (ja) 三次元形状計測方法、三次元形状計測装置およびロボットシステム
JP7310481B2 (ja) 深度センサーの制御方法、深度センサーおよびロボットシステム
JP2010169634A (ja) 作業装置
JP2021152525A (ja) 計測装置、計測方法、移動体、ロボット、電子機器及び造形装置
JP4043900B2 (ja) 画像読取装置の読取位置評価システム
JP2016109591A (ja) 計測機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R150 Certificate of patent or registration of utility model

Ref document number: 7279469

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150