JP7310481B2 - 深度センサーの制御方法、深度センサーおよびロボットシステム - Google Patents

深度センサーの制御方法、深度センサーおよびロボットシステム Download PDF

Info

Publication number
JP7310481B2
JP7310481B2 JP2019170393A JP2019170393A JP7310481B2 JP 7310481 B2 JP7310481 B2 JP 7310481B2 JP 2019170393 A JP2019170393 A JP 2019170393A JP 2019170393 A JP2019170393 A JP 2019170393A JP 7310481 B2 JP7310481 B2 JP 7310481B2
Authority
JP
Japan
Prior art keywords
current
light
control
measurement
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019170393A
Other languages
English (en)
Other versions
JP2021047109A (ja
Inventor
武士 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2019170393A priority Critical patent/JP7310481B2/ja
Publication of JP2021047109A publication Critical patent/JP2021047109A/ja
Application granted granted Critical
Publication of JP7310481B2 publication Critical patent/JP7310481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、深度センサーの制御方法、深度センサーおよびロボットシステムに関するものである。
ロボットが作業を行う際には、ワーク等の対象物の形状を計測する必要がある。このため、深度センサーを備えるロボットが提案されている。
深度センサーの測定原理の1つとして、対象物に向けて深度計測用のパターンを投影するとともに、パターンが投影された対象物の画像を撮像し、得られた画像に基づいて対象物の深度分布を計測する位相シフト法が知られている。位相シフト法において深度分布を正確に計測するためには、撮像範囲の全体において輝度が均一であるパターンを投影することが求められる。そこで、このようなパターンを生成するため、光ビームの光量を補正する技術が検討されている。
例えば、特許文献1には、レーザー光源と集光レンズと光量制御回路とからなる光ビーム放射器と、レーザー光を走査する走査用光学系と、対象物からの反射光を検出するラインセンサーと、ラインセンサーによる反射光を受光するフォトセンサーと、コントローラーと、を備えた光ビーム照射測定装置が開示されている。コントローラーでは、ラインセンサーによるレーザー光の検出信号に基づいて、対象物の表面の3次元形状(深度分布)を計測する。
また、特許文献1に記載の光ビーム照射測定装置では、フォトセンサーで受光した反射光の受光量に基づき、光量を増減させる信号が光量制御回路に出力される。そして、反射光の受光量が、光ビーム放射器から放射されるレーザー光の光量に対してフィードバックされる。
特開2002-139311号公報
前述したようにしてフォトセンサーで受光した反射光の受光量を、光ビーム放射器から放射されるレーザー光の光量に対してフィードバックするためには、レーザー光源に印加される電流とレーザー光の輝度との関係を、短時間に求める必要がある。
本発明の適用例に係る深度センサーの制御方法は、
計測用印加電流により計測用出射光を出射し、制御用印加電流により制御用出射光を出射する光源と、
揺動軸まわりの第1回転方向および前記第1回転方向とは反対の第2回転方向に交互に揺動するミラーを備え、前記光源から出射された前記計測用出射光を対象物に向けて反射して走査する光走査部と、
撮像部と、
前記制御用出射光の輝度を検出する受光部と、
を備える深度センサーを用い、
前記光走査部で走査された前記計測用出射光により形成されるパターン光を前記対象物に投影し、前記パターン光が投影されている前記対象物を前記撮像部により撮像することにより、前記対象物の深度計測を行う深度センサーの制御方法であって、
前記光源および前記光走査部は、前記ミラーが前記第1回転方向にn(nは1以上の整数)回目揺動している第n期間、および、n+1回目揺動している第n+1期間において前記パターン光を前記対象物に投影し、
前記第n期間と前記第n+1期間との間の第m(mは1以上の整数)期間に、前記制御用印加電流により出射された前記制御用出射光の輝度と、前記制御用出射光の出射に用いた前記制御用印加電流と、に基づいて、前記計測用印加電流を決定することを特徴とする。
実施形態に係るロボットシステムの全体構成を示す図である。 深度センサーの全体構成を示す図である。 図2に示す深度センサーが備える光走査部を示す平面図である。 投影部により投影されるパターン光の一例を示す平面図である。 図2に示す制御回路の機能ブロック図である。 図5に示す変換テーブル保持部が保持する変換テーブルTの一例をグラフ化してなる第1グラフ、および、第1グラフを求めるための第2グラフである。 位相シフト法を用いた深度計測動作の手順を示すフローチャートである。 駆動制御部による制御を示すタイミングチャートである。 APC動作の一例を示すフローチャートである。 第1電流決定動作、第2電流決定動作および第3電流決定動作の一例を示すフローチャートである。
以下、本発明の深度センサーの制御方法、深度センサーおよびロボットシステムを添付図面に示す実施形態に基づいて詳細に説明する。
1.ロボットシステム
図1は、実施形態に係るロボットシステムの全体構成を示す図である。図2は、深度センサーの全体構成を示す図である。図3は、図2に示す深度センサーが備える光走査部を示す平面図である。図4は、投影部により投影されるパターン光の一例を示す平面図である。図5は、図2に示す制御回路の機能ブロック図である。
図1に示すロボットシステム1は、ロボット2と、レーザー光Lを用いて対象物Wの深度計測を行う深度センサー4と、深度センサー4の計測結果に基づいてロボット2の駆動を制御するロボット制御装置5と、ロボット制御装置5と通信可能なホストコンピューター6と、を有する。これら各部は、有線または無線により通信可能とされ、該通信は、インターネットのようなネットワークを介してなされてもよい。
1.1 ロボット
ロボット2は、例えば、精密機器やこれを構成する部品の給材、除材、搬送、組立等の作業を行うロボットである。ただし、ロボット2の用途としては、特に限定されない。本実施形態に係るロボット2は、6軸ロボットであり、図1に示すように、床や天井に固定されるベース21と、ベース21に連結されたロボットアーム22と、を有する。
ロボットアーム22は、ベース21に第1軸O1まわりに回動自在に連結された第1アーム221と、第1アーム221に第2軸O2まわりに回動自在に連結された第2アーム222と、第2アーム222に第3軸O3まわりに回動自在に連結された第3アーム223と、第3アーム223に第4軸O4まわりに回動自在に連結された第4アーム224と、第4アーム224に第5軸O5まわりに回動自在に連結された第5アーム225と、第5アーム225に第6軸O6まわりに回動自在に連結された第6アーム226と、を有する。また、ロボットアーム22には、ロボット2に実行させる作業に応じたエンドエフェクター24が装着されている。
また、ロボット2は、ベース21に対して第1アーム221を回動させる第1駆動装置251と、第1アーム221に対して第2アーム222を回動させる第2駆動装置252と、第2アーム222に対して第3アーム223を回動させる第3駆動装置253と、第3アーム223に対して第4アーム224を回動させる第4駆動装置254と、第4アーム224に対して第5アーム225を回動させる第5駆動装置255と、第5アーム225に対して第6アーム226を回動させる第6駆動装置256と、を有する。第1駆動装置251~第6駆動装置256は、それぞれ、例えば、駆動源としてのモーターと、モーターの駆動を制御するコントローラーと、モーターの回転量を検出するエンコーダーと、を有する。第1駆動装置251~第6駆動装置256は、ロボット制御装置5によって互いに独立して制御される。
ロボット2としては、本実施形態の構成に限定されず、例えば、ロボットアーム22が有するアームの数が1本~5本であってもよいし、7本以上であってもよい。また、例えば、ロボット2の種類は、スカラロボットや、2つのロボットアーム22を有する双腕ロボットであってもよい。
1.2 ロボット制御装置
ロボット制御装置5は、ホストコンピューター6からロボット2の位置指令を受け、各アーム221~226が受けた位置指令に応じた位置となるように、第1駆動装置251~第6駆動装置256の駆動を互いに独立して制御する。ロボット制御装置5は、例えば、コンピューターから構成され、情報を処理するプロセッサー(CPU)と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが保存され、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。
1.3 深度センサー
深度センサー4は、位相シフト法を用いて対象物Wの深度計測を行う。図2に示すように、深度センサー4は、対象物Wを含む領域にレーザー光Lにより形成したパターン光PLを投影する投影部40と、パターン光PLが投影された対象物Wを含む領域を撮像した撮像画像を取得する撮像部47と、投影部40および撮像部47の駆動を制御する制御回路48と、を備える。
これら各構成要素のうち、少なくとも投影部40および撮像部47は、それぞれ、ロボット2の第5アーム225に固定されている。そのため、投影部40および撮像部47の相対的な位置関係は、固定されている。また、投影部40は、第5アーム225の先端側すなわちエンドエフェクター24側に向けてレーザー光Lを照射するように配置され、撮像部47は、第5アーム225の先端側を向き、レーザー光Lの照射範囲を含む領域を撮像するように配置されている。
ここで、第5アーム225の先端側にエンドエフェクター24が位置する関係は、第5アーム225以外のアーム221~224、226がどのように動いても維持される。そのため、第5アーム225に投影部40および撮像部47を固定することにより、深度センサー4は、常に、エンドエフェクター24の先端側にレーザー光Lを出射することができると共に、エンドエフェクター24の先端側を撮像することができる。したがって、エンドエフェクター24により対象物Wを把持しようとするときの姿勢、つまり、エンドエフェクター24が対象物Wに対して如何なる姿勢で対向しても、当該姿勢において対象物Wに向けてレーザー光Lを照射することができると共に、対象物Wを撮像することができる。そのため、より確実に対象物Wの深度計測を行うことができる。
ただし、投影部40および撮像部47の配置は、特に限定されず、第1アーム221~第4アーム224や第6アーム226に固定されていてもよい。また、投影部40および撮像部47のいずれか一方は、ベース21、床、天井、壁等の可動しない部位に固定されていてもよい。
投影部40は、レーザー光Lを用いて対象物Wに図4に示す縞状のパターン光PLを投影する機能を有する。投影部40は、図2に示すように、ライン状のレーザー光Lを出射する光出射部41と、レーザー光Lを対象物Wに向けて走査する光走査部44と、レーザー光Lの強度を検出する受光部45と、光走査部44が有するミラー444の揺動角を検出する揺動角検出部46と、を有する。また、光出射部41は、レーザー光Lを出射するレーザー光源42と、レーザー光源42から出射されたレーザー光Lが通過する複数のレンズを含む光学系43と、を有する。
レーザー光源42としては、特に限定されず、例えば、垂直共振器面発光レーザー(VCSEL)、外部共振器型垂直面発光レーザー(VECSEL)等が挙げられる。光学系43は、レーザー光源42から出射されるレーザー光Lを対象物W付近に集光する集光レンズ431と、集光レンズ431によって集光されたレーザー光Lを後述する揺動軸Jと平行な方向すなわち図2の紙面奥行き方向に延びるライン状とするロッドレンズ432と、を有する。このように、本実施形態では、レーザー光源42と光学系43とでライン状のレーザー光Lとしているが、ライン状のレーザー光Lを形成することができれば、光出射部41の構成は、特に限定されない。
受光部45としては、特に限定されず、例えば、フォトダイオードを用いることができる。また、本実施形態では、受光部45は、ミラー444で反射されたレーザー光Lの一部を受光するように、光走査部44の近傍に配置されている。レーザー光Lの一部は、例えば、レーザー光Lがミラー444で正反射されず、散乱等によって発生した迷光である。ただし、受光部45の構成としては、特に限定されず、例えば、レーザー光Lの光路の途中にハーフミラーを配置してレーザー光Lの一部を分岐させ、分岐させたレーザー光を受光部45であるフォトダイオードが受光するような構成であってもよい。
光走査部44は、ライン状のレーザー光Lを走査する。これにより、レーザー光Lを二次元的すなわち面状に拡散させて照射することができる。光走査部44としては、特に限定されず、例えば、MEMS(Micro Electro Mechanical Systems)、ガルバノミラー、ポリゴンミラー等を用いることができる。
本実施形態に係る光走査部44は、MEMSで構成されている。図3に示すように、光走査部44は、可動部441と、可動部441を支持する支持部442と、可動部441と支持部442とを接続し、可動部441を支持部442に対して揺動軸Jまわりに揺動可能とする梁部443と、可動部441の表面に配置され、レーザー光Lを反射するミラー444と、可動部441の裏面に設けられた永久磁石445と、永久磁石445と対向配置されたコイル446と、を有する。このような光走査部44は、揺動軸Jがライン状のレーザー光Lの延在方向とほぼ一致するように配置されている。そして、コイル446に駆動信号が印加されると、可動部441が揺動軸Jまわりに所定の周期で正・逆交互に揺動し、これにより、ライン状のレーザー光Lが面状に走査される。
揺動角検出部46は、図3に示すように、梁部443と支持部442との境界部に設けられたピエゾ抵抗部461を有する。ピエゾ抵抗部461は、可動部441が揺動軸Jまわりに揺動するのに伴って支持部442に発生する応力に応じて抵抗値を変化させる。そのため、ピエゾ抵抗部461の抵抗値変化に基づいて、可動部441の揺動軸Jまわりの傾き、すなわちミラー444の揺動角を検知することができる。ただし、揺動角検出部46の構成は、ミラー444の揺動角を検出することができれば、特に限定されない。
撮像部47は、少なくとも1つの対象物Wにパターン光PLが投影されている状態を撮像する。図2に示すように、撮像部47は、例えば、CMOSイメージセンサー、CCDイメージセンサー等の撮像素子472と集光レンズ473とを備えたカメラ471で構成されている。カメラ471は、計測部486に接続され、撮像した画像データを計測部486に送信する。
図5に示すように、制御部である制御回路48は、描画制御部481と、変換テーブル保持部482と、APC(Auto Power Control)処理部483と、スイッチング部484と、通信制御部485と、計測部486と、を有する。
また、本実施形態に係る深度センサー4は、制御回路48と光走査部44との間に設けられた第1駆動回路440と、制御回路48とレーザー光源42との間に設けられた第2駆動回路420と、を有している。
さらに、本実施形態に係る深度センサー4は、制御回路48と揺動角検出部46との間に設けられた第1検出回路460と、制御回路48と受光部45との間に設けられた第2検出回路450と、を有している。
描画制御部481は、揺動角検出部46から第1検出回路460を介して出力される検出信号、すなわちミラー444の揺動軸Jまわりの傾きに関する角度情報Iθを受け付ける。
また、描画制御部481は、ミラー444が所定周期かつ所定揺動角で揺動するように、光走査部44のコイル446に印加する駆動信号Sd1を出力する。出力された駆動信号Sd1により、第1駆動回路440は、光走査部44のコイル446を駆動し、ミラー444を揺動させる。
さらに、描画制御部481は、後述するスイッチング部484と電気的に接続され、その切り替えを制御する。スイッチング部484により、後述する変換テーブル保持部482と第2駆動回路420とが電気的に接続されると、変換テーブル保持部482から駆動信号Sd2が出力される。一方、スイッチング部484が切り替えられ、APC処理部483と第2駆動回路420とが電気的に接続されると、APC処理部483から駆動信号Sd2が出力される。出力された駆動信号Sd2により、第2駆動回路420は、レーザー光源42を駆動し、レーザー光Lを出射させる。
また、描画制御部481は、後述する変換テーブル保持部482に描画データを出力する。描画データは、角度情報Iθに基づいて、ミラー444の揺動と同期させてレーザー光源42を駆動する情報を含んでいる。具体的には、例えば、図4に示すような、輝度値の大小で表現した縞模様の繰返し周期fを有するパターン光PLを対象物W上に描画するように、レーザー光源42から出力されるレーザー光Lの輝度に関する「目標輝度SV」の情報を含んでいる。このようにしてミラー444の揺動とレーザー光Lの出射とを協調して行うことにより、目的とするパターンを持つパターン光PLを投影することができる。
なお、「目標輝度SV」は、レーザー光Lの輝度に相関を持つ指標であればよく、輝度そのものでなくてもよい。
変換テーブル保持部482は、描画データに含まれた目標輝度SVと、変換テーブル保持部482から第2駆動回路420に出力する駆動信号Sd2に含まれた計測用印加電流Imと、の相関関係を表す変換テーブルTを保持している。
図6は、図5に示す変換テーブル保持部482が保持する変換テーブルTの一例をグラフ化してなる第1グラフ、および、第1グラフを求めるための第2グラフである。なお、図6の第1グラフの横軸は、描画データに含まれた目標輝度SVを表す軸であり、縦軸は、目標輝度SVを実現するためにレーザー光源42に印加するべき計測用印加電流Imを表す軸である。
この変換テーブルTで特定される相関関係は、レーザー光源42の電流-輝度特性が反映されたものである。この電流-輝度特性は、一般的に、外部環境等に応じて随時変化する。このため、相関関係に十分な精度をもたせるためには、変換テーブルTを随時更新する必要がある。そこで、本実施形態に係る深度センサー4は、変換テーブルTを更新する機能を有している。この機能については、後述する。
APC処理部483では、制御用印加電流Icをレーザー光源42に印加するための駆動信号Sd2を、第2駆動回路420に出力する。出力された駆動信号Sd2により、第2駆動回路420は、レーザー光源42を駆動し、制御用出射光であるレーザー光Lを出射する。
また、APC処理部483は、レーザー光Lの一部を受光した受光部45から出力される検出信号、すなわちレーザー光Lの輝度に関する「検出輝度PV」を受け付ける。「検出輝度PV」は、レーザー光Lの輝度に相関を持つ指標であればよく、輝度そのものでなくてもよい。
そして、得られた検出輝度PVを用いて、後述するAPC動作WAPCを実行することにより、目標輝度SVと、それを実現する制御用印加電流Icと、の組み合わせからなる複数のデータDcを取得する。図6の第2グラフは、一例として3つのデータDcをプロットしたものである。なお、図6の第2グラフの横軸は、目標輝度SVを表す軸であり、縦軸は、APC動作WAPCにおいてレーザー光源42に印加される制御用印加電流Icを表す軸である。
APC処理部483では、例えば第2グラフのような3つのデータDcに対し、線形近似を行う。これにより、第1グラフのような近似関数を求めることができる。本明細書では、この近似関数を、変換テーブルTという。なお、変換テーブルTは、図6に示すようなグラフ化が可能な関数であってもよいし、組み合わせを記載した表であってもよい。また、変換テーブルTを生成し、更新する動作を「APC動作WAPC」という。変換テーブルTは、後述するように、対象物Wの深度計測を行う「深度計測動作W」において、レーザー光源42に印加される計測用印加電流Imを求める際に用いられる。このようにして制御用印加電流Icを印加することによって検出された検出輝度PVをフィードバックすることにより、深度計測動作Wにおいて、計測用印加電流Imを印加して得られる計測用出射光の輝度を、目標輝度SVに十分近づけることができる。つまり、フィードバック制御によって、目標輝度SVを実現することができる計測用印加電流Imを探索することが可能になる。このようにして最適化された計測用印加電流Imを用いることにより、深度計測の計測誤差を小さくすることができ、対象物Wの深度計測を精度よく行うことができる。
得られた変換テーブルTは、変換テーブル保持部482に出力され、保持される。
なお、変換テーブルTは、非線形近似であってもよいが、線形近似、すなわち比例関数であるのが好ましい。比例関数であれば、変換テーブルTの単純化が図られるため、変換テーブル保持部482において、より短時間で変換テーブルTの更新が可能になる。
また、描画制御部481は、撮像部47の駆動を制御し、パターン光PLが投影されている状態の対象物Wを含む領域を撮像させる。
計測部486は、上述したような深度計測動作Wにおいて、撮像部47が取得した複数の画像データに基づいて、対象物Wの深度計測のための演算を行う。
このような制御回路48は、例えば、コンピューターから構成され、情報を処理するプロセッサー(CPU:Central Processing Unit)と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが記憶されており、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。
また、本実施形態に係る深度センサー4は、記憶部491と、通信デバイス492と、を有している。
記憶部491は、制御回路48と電気的に接続され、制御回路48から出力されたデータを一時的に記憶する。また、記憶したデータは、制御回路48からの信号に基づいて読み出される。
通信デバイス492は、制御回路48とホストコンピューター6との間に設けられる。通信デバイス492は、制御回路48から出力されたデータ、および、ホストコンピューター6から出力されたデータを、通信方式に応じた形式に変換する。これにより、制御回路48とホストコンピューター6との間でデータの送受信が可能になる。
1.3 位相シフト法
次に、対象物Wの深度計測動作Wに用いる位相シフト法について説明する。
図7は、位相シフト法を用いた深度計測動作Wの手順を示すフローチャートである。
描画制御部481は、位相シフト法により対象物Wの深度計測を行う。そして、描画制御部481が実行する深度計測では、図7に示すように、第1撮像ステップS11、第2撮像ステップS12、第3撮像ステップS13、第4撮像ステップS14の各深度計測動作Wを順次実行する。
第1撮像ステップS11では、第1周期f1をもつ第1パターン光PL1を対象物Wに投影し、第1パターン光PL1が投影された対象物Wを含む領域をカメラ471で撮像するように各部を制御する。
第2撮像ステップS12では、第1周期f1よりも短い第2周期f2をもつ第2パターン光PL2を対象物Wに投影し、第2パターン光PL2が投影された対象物Wを含む領域をカメラ471で撮像するように各部を制御する。
第3撮像ステップS13では、第2周期f2よりも短い第3周期f3をもつ第3パターン光PL3を対象物Wに投影し、第3パターン光PL3が投影された対象物Wを含む領域をカメラ471で撮像するように各部を制御する。
第4撮像ステップS14では、第3周期f3よりも短い第4周期f4をもつ第4パターン光PL4を対象物Wに投影し、第4パターン光PL4が投影された対象物Wを含む領域をカメラ471で撮像するように各部を制御する。
このようにして、描画制御部481は、位相シフト法の中でも、特に、異なる周期fを有する複数のパターン光PLを用いる「複数周期位相シフト法」を用いて対象物Wの深度計測を行う。位相シフト法においては、パターン光PLの周期fが長い程、計測レンジが拡大するが、深度分解能が低下し、パターン光PLの周期fが短い程、計測レンジが縮小する一方、深度分解能が向上する。そこで、複数周期位相シフト法を用いることにより、広い計測レンジと高い深度分解能との両立を図ることができる。ただし、複数周期位相シフト法は、上記に限定されず、例えば、複数周期で周期毎に複数回計測する手法であってもよいし、複数周期で周期毎に異なった回数計測する手法であってもよい。
また、描画制御部481は、第1撮像ステップS11において、対象物Wに第1パターン光PL1をπ/2ずつ位相をずらして4回投影し、その都度、第1パターン光PL1が投影された対象物Wを含む領域をカメラ471で撮像するよう各部を制御する。このことは、第2撮像ステップS12、第3撮像ステップS13および第4撮像ステップS14についても同様である。
計測部486は、上述したような深度計測動作Wにおいて、撮像部47が取得した複数の画像データに基づいて、対象物Wの深度計測のための演算を行う。具体的には、計測部486は、複数の画像データを演算し、対象物Wの姿勢、位置(空間座標)等を含む三次元情報を求める。そして、計測部486は、求めた対象物Wの三次元情報を記憶部491を介してホストコンピューター6に送信する。
以上、位相シフト法の一例について説明したが、位相シフト法はこれに限定されず、例えば、第2撮像ステップS12以降を省略してもよい。また、反対に、第5撮像ステップ、第6撮像ステップまたはそれ以上のステップを有していてもよい。ステップを増やす程、計測レンジの拡大と深度分解能の向上とを図ることができる。また、撮像回数を減らす程、撮像画像を取得する時間が減り、ロボット2の稼働効率が向上する。そのため、深度計測の精度および計測レンジとロボット2の稼働効率との兼ね合いからステップの数を適宜設定すればよい。
また、第1撮像ステップS11において、位相をずらした第1パターン光PL1を投影する回数は、4回に限定されず、撮影結果から位相を計算できる回数であればよい。この回数を増やす程、より精度よく位相を計算することができる。また、カメラ471による撮像回数を減らす程、撮像画像を取得する時間が減り、ロボット2の稼働効率が向上する。そのため、深度計測の精度とロボット2の稼働効率との兼ね合いから第1パターン光PL1の投影回数を適宜設定すればよい。第2撮像ステップS12、第3撮像ステップS13および第4撮像ステップS14についても同様である。
また、パターン光PLとしては、位相シフト法に用いることができるものであれば、特に限定されない。
1.4 ホストコンピューター
ホストコンピューター6は、計測部486が算出した対象物Wの三次元情報からロボット2の位置指令を生成し、生成した位置指令をロボット制御装置5に送信する。ロボット制御装置5は、ホストコンピューター6から受信した位置指令に基づいて第1駆動装置251、第2駆動装置252、第3駆動装置253、第4駆動装置254、第5駆動装置255および第6駆動装置256をそれぞれ独立して制御する。これにより、第1アーム221、第2アーム222、第3アーム223、第4アーム224、第5アーム225および第6アーム226を指示された位置に移動させる。なお、本実施形態では、ホストコンピューター6と計測部486とが別体となっているが、これに限定されず、ホストコンピューター6に計測部486としての機能が搭載されていてもよい。
1.5 深度センサーの制御方法
次に、実施形態に係る深度センサーの制御方法について説明する。
図8は、駆動制御部による制御を示すタイミングチャートである。図8に示すタイミングチャートの横軸は時間を表す軸であり、縦軸はミラー444の揺動角を表す軸である。
本実施形態に係るロボットシステム1では、まず、ロボットアーム22を対象物Wの深度計測を行うための姿勢とし、次に、ロボットアーム22が前記姿勢で停止している状態において光走査部44の駆動を開始して可動部441を揺動軸Jまわりに揺動させる。次に、レーザー光源42から計測用出射光であるレーザー光Lを出射してパターン光PLを対象物Wに投影する。その後、パターン光PLが投影された対象物Wを含む領域をカメラ471で撮像することにより対象物Wの深度計測を行う。
ミラー444の揺動角の時間変化は、図8に示すように、正弦波のような波形の曲線を描く。ミラー444は、揺動軸Jまわりに揺動するため、図8に示すように、ミラー444の揺動には、揺動軸Jまわりの第1回転方向に向かう往路Aと、往路Aとは反対側の第2回転方向に向かう復路Bと、がある。図8では、ミラー444の揺動角が減少する方向が第1回転方向であり、揺動角が増加する方向が第2回転方向である。そして、描画制御部481は、ミラー444の揺動が往路Aであるときにレーザー光源42から計測用出射光であるレーザー光Lを出射させ、ミラー444の揺動が復路Bであるときにはレーザー光源42からレーザー光Lを出射させないように各部を制御する。つまり、描画制御部481は、往路Aだけでレーザー光Lの走査を行う「片側描画」となるように各部の駆動を制御する。
なお、図8では、上から下に向かう方を往路Aとし、下から上に向かう方を復路Bとしているが、これに限定されず、逆であってもよい。
図8に示す曲線の最大揺動角を±θmとする。つまり、図8に示す曲線は、振幅が±θmの略正弦波をなしている。描画制御部481は、往路Aの両端部、すなわち図8中のレーザー光非出射エリアQではレーザー光Lを出射しないように各部を制御する。つまり、図8に示す複数の往路Aのうち、レーザー光非出射エリアQを除いた描画期間でレーザー光Lを出射するように制御する。各往路Aの両端部では、ミラー444の揺動速度が著しく遅く、レーザー光Lの走査に向いていない。このため、このような箇所でレーザー光Lを出射しないことにより、より鮮明なパターン光PLを形成することができる。ただし、これに限定されず、往路Aの両端部においてもレーザー光Lを出射するように各部を制御してもよい。
1.5.1 深度計測動作W
図8では、4回の連続した深度計測動作Wを示している。4回の深度計測動作Wは、前述した第1撮像ステップS11、第2撮像ステップS12、第3撮像ステップS13、第4撮像ステップS14に対応している。図8では、各深度計測動作Wの1つ直前の描画期間から順に、描画期間を、第n期間、第n+1期間、第n+2期間、第n+3期間、第n+4期間としている。nは、1以上の整数である。そうすると、4回の深度計測動作Wは、それぞれ、第n+1期間から第n+4期間までの4回の描画期間を含んでいる。また、図8の各深度計測動作Wに含まれた第n+4期間は、次の深度計測動作Wにおける第n期間と重複している。
ここで、一例として、第2撮像ステップS12に着目して説明する。
第2撮像ステップS12における第n期間は、第1撮像ステップS11における第n+4期間と重複している。第1撮像ステップS11における第n+4期間では、計測用出射光であるレーザー光Lが出射されるように、描画制御部481によって各部が制御される。また、第2撮像ステップS12における第n+1期間、第n+2期間、第n+3期間、第n+4期間の4つの期間でも、それぞれ計測用出射光であるレーザー光Lが出射されるように、描画制御部481によって各部が制御される。4つの期間に投影されるパターン光PLは、第2パターン光PL2をπ/2ずつ位相をずらしたものである。各第2パターン光PL2は、それぞれ対象物Wに投影され、その状態で対象物Wを含む領域がカメラ471で撮像される。そして、その撮像結果に基づいて、対象物Wの深度計測が行われる。
この深度計測を高精度に行うためには、第2撮像ステップS12において用いられる計測用出射光であるレーザー光Lの輝度が、目的とする値に十分近いことが求められる。具体的には、深度計測にあたって描画制御部481が設定する目標輝度SVと、実際に投影されるレーザー光Lの検出輝度PVと、の差が大きい場合には、深度計測の計測誤差が大きくなってしまう。
そこで、第2撮像ステップS12に対応する深度計測動作Wの直前に、APC動作WAPCを実行する。APC動作WAPCは、前述したように、変換テーブルTを生成し、更新する動作であり、この変換テーブルTに基づいて計測用印加電流Imを求めることにより、計測用出射光の輝度を目的とする値に近づけることができる。その結果、深度計測の計測誤差を小さくすることができる。
また、本実施形態では、繰り返し出現する描画期間のうち、第2撮像ステップS12に用いる計測用出射光であるレーザー光Lが出射される第n+1期間と、その直前の第n期間と、の間の第m期間において、APC動作WAPCを実行するように、描画制御部481によって各部が制御される。mは、1以上の整数である。これにより、深度計測動作Wの外側でAPC動作WAPCを実行することができるので、APC動作WAPCを実行することに伴うレーザー光源42の特性変化が、深度計測動作Wの実行に悪影響を及ぼすのを抑制することができる。つまり、APC動作WAPCと深度計測動作Wとを時間的に分離させているため、例えば、後述するように目標輝度SVを変えつつ行うAPC動作WAPCに伴ってレーザー光源42の発熱量が増大した場合でも、その影響が深度計測動作Wに及ぶのを抑制することができる。その結果、深度計測の計測誤差を小さくすることができる。
なお、第m期間は、第n+1期間の半周期前の期間であって、復路Bと、その復路Bに隣接する往路Aのレーザー光非出射エリアQと、で構成されている。このような第m期間は、往路A同士の間に不可避的に生じる期間であるため、その期間でAPC動作WAPCを実行することにより、APC動作WAPCを実行するための期間を別に設ける必要がなくなる。このため、APC動作WAPCに伴う消費電力の増大を防止することができる。
また、第m期間にAPC動作WAPCを実行することにより、深度計測動作Wの直前にAPC動作WAPCを実行することができる。そして、直前に行ったAPC動作WAPCの実行結果に基づいて変換テーブルTを更新し、その更新後の変換テーブルTに基づいて第2撮像ステップS12の深度計測動作Wを実行することができる。このため、APC動作WAPCと深度計測動作Wとのタイムラグを十分に短くすることができる。その結果、外部環境等が短時間で変化するような場合でも、深度計測動作Wを実行するときの外部環境に近い条件が反映された変換テーブルTに基づいて、深度計測動作Wを実行することができる。その結果、深度計測の計測誤差を小さくすることができる。
なお、図8では、第2撮像ステップS12の第n期間は、前述したように第1撮像ステップS11の第n+4期間と重複しているので、計測用出射光であるレーザー光Lが出射されている。そうすると、図8では、ミラー444がn回目揺動している第n期間、n+1回目揺動している第n+1期間、n+2回目揺動している第n+2期間、n+3回目揺動している第n+3期間、および、n+4回目揺動している第n+4期間に、それぞれパターン光PLが対象物Wに投影されることになる。なお、「n回目」とは、任意の時刻から数えた往路Aの回数である。
これと同様に、図8に示す第3撮像ステップS13および第4撮像ステップS14でも、第n期間および第n+1期間の双方でレーザー光Lが出射され、かつ、第n期間と第n+1期間との間の第m期間においてAPC動作WAPCが実行されている。
また、APC動作WAPCは、上述した第m期間ではなく、図示しないものの、第n+1期間と第n+2期間との間の第m+1期間、第n+2期間と第n+3期間との間の第m+2期間、または、第n+3期間と第n+4期間との間の第m+3期間で実行されてもよい。また、これらの第m期間、第m+1期間、第m+2期間および第m+3期間のうちの少なくとも2つ以上で実行されてもよい。ただし、第m+1期間、第m+2期間および第m+3期間は、深度計測動作Wの内側であるため、APC動作WAPCを実行することに伴うレーザー光源42の特性変化が、深度計測動作Wの実行に悪影響を及ぼすことを考慮すると、避けた方が好ましい。
また、第m期間は、前述したように、復路Bの全体と、復路Bの両端にそれぞれ隣接する往路Aのレーザー光非出射エリアQと、で構成されている。往路Aの場合と同様、復路Bにおいても、その両端部では、ミラー444の揺動速度が著しく遅く、レーザー光Lの走査に向いていない。このため、APC動作WAPCは、第m期間のうち、いずれの部分で実行されてもよいが、第m期間の復路Bに含まれたレーザー光非出射エリアQ、および、第m期間の復路Bに隣接する往路Aに含まれたレーザー光非出射エリアQをそれぞれ避けて実行するのが好ましい。これにより、APCの精度を高めることができる。ただし、このような制御は必須ではなく、レーザー光非出射エリアQにおいてAPC動作WAPCが実行されてもよい。
1.5.2 APC動作WAPC
次に、第m期間に実行するAPC動作WAPCについて説明する。
図9は、APC動作WAPCの一例を示すフローチャートである。
図9に示すAPC動作WAPCは、環境光検出工程S21と、第1電流決定工程S22と、第2電流決定工程S23と、第3電流決定工程S24と、変換テーブル生成工程S25と、印加電流決定工程S26と、を有している。
1.5.2.1 環境光検出工程S21
APC処理部483は、まず、第m期間において、レーザー光Lを出射させない時間帯を設け、その時間帯でレーザー光源42に対する制御用印加電流Icの印加を停止し得る。そして、そのタイミングで、環境光検出工程S21として、受光部45に入射する光を検出し、その輝度を環境光の輝度として取得する。このようにして取得した環境光の輝度は、後述する検出輝度PVのオフセット量を決める要素として用いられる。このようにして求めたオフセット量に基づいて検出輝度PVにオフセット処理を施すことにより、検出輝度PVに含まれる環境光の影響を除去することができる。これにより、制御用出射光による輝度をより高精度に検出することが可能になる。その結果、APCの精度をより高めることができる。
1.5.2.2 第1電流決定工程S22
次に、第1電流決定工程S22として、第1目標輝度SV1を輝度25%に設定する。輝度25%とは、例えば、レーザー光源42の定格の最大輝度の25%である。そして、第1目標輝度SV1の制御用出射光を得るための制御用印加電流である第1電流Iを決定する。
この決定には、第1目標輝度SV1を実現する第1電流Iを求めるための「第1電流決定動作」が必要になる。
図10は、第1電流決定動作W1の一例を示すフローチャートである。
APC処理部483は、まず、電流設定工程であるステップS31として、目標輝度SVを設定する。ここでは、前述した第1目標輝度SV1がそれに当たる。
次に、APC処理部483は、ステップS32として、レーザー光源42に印加する電流Iを設定する。ここでは、初期条件の一例として、計測用印加電流Imの最大電流IMAXの半分、つまりIMAX/2を電流Iとして設定する。
次に、描画制御部481からの制御信号により、スイッチング部484の動作を制御し、APC処理部483と第2駆動回路420とを接続する。そして、ステップS33として、第2駆動回路420により、設定された電流Iをレーザー光源42に印加する。これにより、レーザー光源42から制御用出射光であるレーザー光Lが出射される。その直後、輝度検出工程であるステップS34として、出射されたレーザー光Lを受光部45で受光する。そして、APC処理部483は、受光部45が受光したレーザー光Lの輝度を、検出輝度PVとして取得する。
次に、ステップS35として、後述する電流Iの更新回数が最大値に達しているか否かを判断する。電流Iの更新回数は、多くすることによって検出輝度PVを目標輝度SVにより近づけることができる。一方、更新回数を多くしすぎると、第1電流決定動作W1に要する時間が長くなってしまう。そこで、最大値は、例えば、APC処理部483から出力される駆動信号Sd2を電流Iに変換するデジタル-アナログコンバーター(DAC)のビット幅分以下に抑えることが好ましい。具体的には、ビット幅が10ビットの場合、最大値を10回以下に抑えるのが好ましい。
更新回数が最大値に達していない場合には、電流更新工程であるステップS36に移行する。ステップS36では、まず、ステップS361において、取得した検出輝度PVと、あらかじめ設定した目標輝度SVと、を比較する。そして、検出輝度PVが目標輝度SVより大きいか否かを判断する。検出輝度PVが目標輝度SVより大きい場合、ステップS362に移行する。ステップS362では、下記式(1)に基づいて電流Iを更新する。
Figure 0007310481000001
なお、上記式(1)において、「In-1」は更新前の電流Iを表し、「I」は更新後の電流Iを表す。上記式(1)に基づいて電流Iを更新することにより、更新前に比べて電流値を下げることにより、更新後に取得される検出輝度PVを目標輝度SVにより近づけることができる。なお、この式(1)は、一例であり、これ以外の式に基づいて更新するようにしてもよい。
一方、ステップS361における比較の結果、検出輝度PVが目標輝度SVより小さい場合、ステップS363に移行する。ステップS363では、下記式(2)に基づいて電流Iを更新する。
Figure 0007310481000002
なお、上記式(2)において、「In-1」は更新前の電流Iを表し、「I」は更新後の電流Iを表す。上記式(2)に基づいて電流Iを更新することにより、更新前に比べて電流値を上げることにより、更新後に取得される検出輝度PVを目標輝度SVにより近づけることができる。なお、この式(2)は、一例であり、これ以外の式に基づいて更新するようにしてもよい。
以上のようなステップS36の終了後、ステップS33に戻る。ステップS33では、更新後の電流Iをレーザー光源42に印加する。以降、ステップS34、ステップS35およびステップS36を必要に応じて1回以上繰り返す。なお、ステップS34、ステップS35およびステップS36を合計で2回以上ずつ繰り返すのが好ましい。これにより、検出輝度PVを目標輝度SVに十分に近づけることができ、最終的に、第1目標輝度SV1に十分に近い輝度を実現可能な第1電流Iを求めることができる。
一方、ステップS35において、更新回数が最大値に達している場合、ステップS37に移行する。ステップS37では、更新後の電流Iを第1電流Iとする。APC処理部483は、得られた第1電流Iを、第1目標輝度SV1のときの制御用印加電流Icとして変換テーブル保持部482に出力する。
なお、制御用印加電流Icである第1電流Iは、第1電流決定動作W1の過程で増減するが、その際、前述した計測用印加電流Imの最大電流IMAX以下であるのが好ましい。これにより、APCで補正する必要のない電流値の範囲、つまり、最大電流IMAXを超える範囲まで、第1電流Iが高くなるのを防止することができる。その結果、APCの精度をより高めることができる。
1.5.2.3 第2電流決定工程S23
次に、第2電流決定工程S23として、第2目標輝度SV2を輝度75%に設定する。輝度75%とは、例えば、レーザー光源42の定格の最大輝度の75%である。そして、第2目標輝度SV2の制御用出射光を得るための制御用印加電流である第2電流Iを決定する。
この決定には、第2目標輝度SV2を実現する第2電流Iを求めるための「第2電流決定動作W2」が必要になる。
図10は、第2電流決定動作W2の一例を示すフローチャートである。なお、第2電流決定動作W2は、前述した第1電流決定動作W1とほぼ同様であるため、同様の箇所については説明を省略する。
APC処理部483は、まず、電流設定工程であるステップS31として、目標輝度SVを設定する。ここでは、前述した第2目標輝度SV2がそれに当たるが、第2目標輝度SV2は、第1目標輝度SV1よりも大きい値に設定する。
次に、APC処理部483は、ステップS32として、レーザー光源42に印加する電流Iを設定する。ここでは、初期条件の一例として、計測用印加電流Imの最大電流IMAXの半分、つまりIMAX/2を電流Iとして設定する。
次に、描画制御部481からの制御信号により、スイッチング部484の動作を制御し、APC処理部483と第2駆動回路420とを接続する。そして、ステップS33として、第2駆動回路420により、設定された電流Iをレーザー光源42に印加する。これにより、レーザー光源42から制御用出射光であるレーザー光Lが出射される。その直後、輝度検出工程であるステップS34として、出射されたレーザー光Lを受光部45で受光する。そして、APC処理部483は、受光部45が受光したレーザー光Lの輝度を、検出輝度PVとして取得する。
次に、ステップS35として、後述する電流Iの更新回数が最大値に達しているか否かを判断する。更新回数が最大値に達していない場合には、電流更新工程であるステップS36に移行する。ステップS36では、まず、ステップS361において、取得した検出輝度PVと、あらかじめ設定した目標輝度SVと、を比較する。そして、検出輝度PVが目標輝度SVより大きいか否かを判断する。検出輝度PVが目標輝度SVより大きい場合、ステップS362に移行する。ステップS362では、前記式(1)に基づいて電流Iを更新する。
一方、ステップS361における比較の結果、検出輝度PVが目標輝度SVより小さい場合、ステップS363に移行する。ステップS363では、前記式(2)に基づいて電流Iを更新する。
以上のようなステップS36の終了後、ステップS33に戻る。ステップS33では、更新後の電流Iをレーザー光源42に印加する。以降、ステップS34、ステップS35およびステップS36を必要に応じて1回以上ずつ繰り返す。なお、ステップS34、ステップS35およびステップS36を合計で2回以上ずつ繰り返すのが好ましい。これにより、検出輝度PVを目標輝度SVに十分に近づけることができ、最終的に、第2目標輝度SV2に十分に近い輝度を実現可能な第2電流Iを求めることができる。
一方、ステップS35において、更新回数が最大値に達している場合、ステップS37に移行する。ステップS37では、更新後の電流Iを第2電流Iとする。APC処理部483は、得られた第2電流Iを、第2目標輝度SV2のときの制御用印加電流として変換テーブル保持部482に出力する。
1.5.2.4 第3電流決定工程S24
次に、第3電流決定工程S24として、第3目標輝度SV3を輝度50%に設定する。すなわち、第3目標輝度SV3として、第1目標輝度SV1および第2目標輝度SV2とは異なる値を設定する。そして、第3目標輝度SV3の制御用出射光を得るための制御用印加電流である第3電流Iを決定する。
この決定には、第3目標輝度SV3を実現する第3電流Iを求めるための「第3電流決定動作W3」が必要になる。
図10は、第3電流決定動作W3の一例を示すフローチャートである。なお、第3電流決定動作W3は、前述した第1電流決定動作W1および第2電流決定動作W2とほぼ同様であるため、説明を省略する。
更新後の電流Iを第3電流Iとする。APC処理部483は、得られた第3電流Iを、第3目標輝度SV3のときの制御用印加電流Icとして変換テーブル保持部482に出力する。
なお、変換テーブルTは、少なくとも2つのデータDcでも生成することが可能であるため、第3電流決定動作W3が省略されていてもよい。また、4つ以上のデータDcを用いるようにしてもよい。その場合、前述した第1電流決定動作、第2電流決定動作および第3電流決定動作と同様の、第4電流決定動作、第5電流決定動作、・・・が追加されることになる。
また、本実施形態では、第1目標輝度SV1を輝度25%とし、第2目標輝度SV2を輝度75%とし、第3目標輝度SV3を輝度50%としたが、第1目標輝度SV1、第2目標輝度SV2および第3目標輝度SV3は、これに限定されず、これとは別の数値であってもよい。
さらに、本実施形態では、25%、75%、50%の順序で設定しているが、この順序も限定されるものではなく、これ以外の順序で設定されていてもよい。
1.5.2.5 変換テーブル生成工程S25
次に、APC処理部483では、前述した第1目標輝度SV1およびそれを実現する第1電流I、前述した第2目標輝度SV2およびそれを実現する第2電流I、ならびに、前述した第3目標輝度SV3およびそれを実現する第3電流Iに基づき、レーザー光源42の輝度と電流との相関関係、つまり前述した変換テーブルTを求める。
図6に示す第2グラフは、前述したように、取得したデータDcをプロットしたものであり、第1グラフは、第2グラフに線形近似を適用して得られたものである。このような第1グラフが変換テーブルTの一例となる。
生成された変換テーブルTは、変換テーブル保持部482に出力され、保持される。その際、すでに過去に生成された変換テーブルTが変換テーブル保持部482に保持されている場合、新たに生成された変換テーブルTによって更新される。
1.5.2.6 印加電流決定工程S26
第m期間において以上のようにして生成され、更新された変換テーブルTに基づいて、計測用印加電流Imを決定する。本工程の後、描画制御部481からの制御信号により、スイッチング部484の動作を制御し、変換テーブル保持部482と第2駆動回路420とを接続する。その結果、第m期間後の第n+1期間~第n+4期間では、本工程で決定された計測用印加電流Imをレーザー光源42に印加することにより、目標輝度SVを高い精度で満たす計測用出射光の出射が可能になる。
前述したように、第m期間においてAPC動作WAPCが実行されることにより、深度計測動作Wの直前に変換テーブルTが更新されるため、計測誤差が小さく抑えられた状態で深度計測動作Wを実行することができる。つまり、更新された変換テーブルTを用いて、計測用印加電流Imを決定することが可能になる。こうして決定された計測用印加電流Imは、外部環境等に応じて変化するレーザー光源42の電流-輝度特性が反映されたものであるため、目標輝度SVを高い精度で満たす計測用出射光の出射を可能にする。つまり、外部環境等によって変化する計測用出射光の輝度を、高い精度で補正することができる。
なお、変換テーブルTを用いた計測用印加電流Imの決定は、換言すれば、APC動作WAPCにおいて用いた制御用印加電流Icにより出射された制御用出射光の検出輝度PVと、制御用出射光の出射に用いた制御用印加電流Icと、に基づいている。したがって、制御回路48では、制御用印加電流Icおよび検出輝度PVのフィードバック制御により、計測用印加電流Imが決定されている。
以上を踏まえると、本実施形態に係る深度センサー4は、計測用印加電流Imにより計測用出射光を出射し、制御用印加電流Icにより制御用出射光を出射する光源であるレーザー光源42と、揺動軸Jまわりの第1回転方向および第1回転方向とは反対の第2回転方向に交互に揺動するミラー444を備え、レーザー光源42から出射された計測用出射光を対象物Wに向けて反射して走査する光走査部44と、光走査部44で走査された計測用出射光により形成され、対象物Wに投影されたパターン光PLを対象物Wとともに撮像する撮像部47と、制御用出射光の輝度を検出する受光部45と、計測用印加電流Imおよび制御用印加電流Icを制御する制御回路48と、を備えている。そして、レーザー光源42および光走査部44は、ミラー444が第1回転方向にn(nは1以上の整数)回目揺動している第n期間、および、n+1回目揺動している第n+1期間においてパターン光PLを対象物に投影するように制御されている。また、制御回路48は、第n期間と第n+1期間との間の第m(mは1以上の整数)期間に、制御用印加電流Icにより出射された制御用出射光の輝度である検出輝度PVと、制御用出射光の出射に用いた制御用印加電流Icと、に基づいて、計測用印加電流Imを決定する。
以上のような制御方法によれば、パターン光PLを対象物Wに投影する深度計測動作Wの外側で、APC動作WAPCを実行することができる。このため、APC動作WAPCを実行することに伴うレーザー光源42の特性変化が、深度計測動作Wの実行に悪影響を及ぼすのを抑制することができる。その結果、深度計測の計測誤差を小さくすることができる。
また、第m期間は、第n+1期間の半周期前の期間であって、ミラー444の揺動に際して不可避的に生じる期間であるため、その期間でAPC動作WAPCを実行することにより、APC動作WAPCを実行するための期間を別に設ける必要がなくなる。このため、APC動作WAPCに伴う消費電力の増大を防止することができる。
さらに、第m期間にAPC動作WAPCを実行することにより、深度計測動作Wの直前にAPC動作WAPCを実行することができる。これにより、外部環境等が短時間で変化するような場合でも、深度計測動作Wを実行するときの外部環境に近い条件が反映された変換テーブルTに基づいて、深度計測動作Wを実行することができる。その結果、深度計測の計測誤差を小さくすることができる。
また、本実施形態に係る深度センサー4の制御方法は、計測用印加電流Imにより計測用出射光を出射し、制御用印加電流Icにより制御用出射光を出射する光源であるレーザー光源42と、揺動軸Jまわりの第1回転方向および第1回転方向とは反対の第2回転方向に交互に揺動するミラー444を備え、レーザー光源42から出射された計測用出射光を対象物Wに向けて反射して走査する光走査部44と、撮像部47と、制御用出射光の輝度を検出する受光部45と、を備える深度センサー4を用いる。そして、かかる制御方法は、光走査部44で走査された計測用出射光により形成されるパターン光PLを対象物Wに投影し、パターン光PLが投影されている対象物Wを撮像部47により撮像することにより、対象物Wの深度計測を行う制御方法である。
かかる制御方法において、レーザー光源42および光走査部44は、ミラー444が第1回転方向にn(nは1以上の整数)回目揺動している第n期間、および、n+1回目揺動している第n+1期間においてパターン光PLを対象物に投影するように制御されている。また、深度センサー4は、第n期間と第n+1期間との間の第m(mは1以上の整数)期間に、制御用印加電流Icにより出射された制御用出射光の輝度である検出輝度PVと、制御用出射光の出射に用いた制御用印加電流Icと、に基づいて、計測用印加電流Imを決定する。
以上のような制御方法によれば、パターン光PLを対象物Wに投影する深度計測動作Wの外側で、APC動作WAPCを実行することができる。このため、深度計測の計測誤差を小さくすることができる。
また、第m期間は、第n+1期間の半周期前の期間であって、ミラー444の揺動に際して不可避的に生じる期間であるため、その期間でAPC動作WAPCを実行することにより、APC動作WAPCを実行するための期間を別に設ける必要がなくなる。このため、APC動作WAPCに伴う消費電力の増大を防止することができる。
さらに、第m期間にAPC動作WAPCを実行することにより、深度計測動作Wの直前にAPC動作WAPCを実行することができる。外部環境等が短時間で変化するような場合でも、深度計測の計測誤差を小さくすることができる。
本実施形態における計測用印加電流Imの決定は、第1目標輝度SV1に基づいてレーザー光源42に印加すべき制御用印加電流Icである第1電流Iを求める第1電流決定工程S22と、第1目標輝度SV1より大きい第2目標輝度SV2に基づいてレーザー光源42に印加すべき制御用印加電流Icである第2電流Iを求める第2電流決定工程S23と、第1目標輝度SV1および第1電流I、ならびに、第2目標輝度SV2および第2電流Iに基づき、レーザー光源42の輝度と電流との相関関係を表す変換テーブルTを求める変換テーブル生成工程S25と、変換テーブルTに基づいて、計測用印加電流Imを決定する印加電流決定工程S26と、を有する。
このような各工程を有することにより、あらかじめ用意した変換テーブルTに基づいて計測用印加電流Imを決定することができる。このため、計測用印加電流Imに対する制御用印加電流Icおよび検出輝度PVのフィードバック制御を短時間で迅速に行うことができ、精度の高いAPCが可能になる。
また、第1電流決定工程S22は、目標輝度SVに基づいてレーザー光源42に印加すべき電流Iを設定する電流設定工程であるステップS31と、電流Iによりレーザー光源42から出射された出射光の輝度である検出輝度PVを受光部45により検出する輝度検出工程であるステップS34と、目標輝度SVおよび検出輝度PVに基づいて、電流Iを更新する電流更新工程であるステップS36と、を有する。そして、第1電流決定工程S22は、ステップS34とステップS36とを2回以上繰り返した後、更新後の電流Iを第1電流Iとする工程である。
このような各工程を有することにより、比較的少ない試行回数で、第1電流Iを短時間で決定することができる。このため、APC動作WAPCの所要時間の短縮を図ることができ、例えばミラー444の揺動の周波数を高めた場合でも、APC動作WAPCを実行することが可能になる。
同様に、第2電流決定工程S23は、目標輝度SVに基づいてレーザー光源42に印加すべき電流Iを設定する電流設定工程であるステップS31と、電流Iによりレーザー光源42から出射された出射光の輝度である検出輝度PVを受光部45により検出する輝度検出工程であるステップS34と、目標輝度SVおよび検出輝度PVに基づいて、電流Iを更新する電流更新工程であるステップS36と、を有する。そして、第2電流決定工程S23は、ステップS34とステップS36とを2回以上繰り返した後、更新後の電流Iを第2電流Iとする工程である。
このような各工程を有することにより、比較的少ない試行回数で、第2電流Iを短時間で決定することができる。このため、APC動作WAPCの所要時間の短縮を図ることができ、例えばミラー444の揺動の周波数を高めた場合でも、APC動作WAPCを実行することが可能になる。
また、電流更新工程であるステップS36は、検出輝度PVが目標輝度SVより大きい場合、更新前よりも小さい値に電流Iを更新し、検出輝度PVが目標輝度SVより小さい場合、更新前よりも大きい値に電流Iを更新する工程である。
このような電流更新工程を行うことにより、検出輝度PVを目標輝度SVにより近づけるように、電流Iを短時間で効率よく更新することができる。これにより、APC動作WAPCの所要時間の短縮を図ることができる。
また、前述した第2撮像ステップS12における第n期間は、深度センサー4がパターン光PLとして第1パターン光PL1を対象物Wに複数回投影するときの最後の回、つまり、n+4回目に対応する期間である。さらに、前述した第2撮像ステップS12における第n+1期間は、深度センサー4がパターン光PLとして第1パターン光PL1とはパターンが異なる第2パターン光PL2を対象物Wに複数回投影するときの最初の回、つまり、n+1回目に対応する期間である。
このような第n期間と第n+1期間との間の第m期間においてAPC動作WAPCを実行することにより、第2撮像ステップS12では、深度計測動作Wの外側でAPC動作WAPCを実行することができ、かつ、第2パターン光PL2の複数回の投影の際には、同じ変換テーブルTに基づく計測用印加電流Imが用いられることになる。このため、各回の第2パターン光PL2の輝度が不均一になるのを抑制することができ、深度計測の計測誤差をより小さくすることができる。
また、本実施形態に係るロボットシステム1は、前述したように、ロボットアーム22を備えるロボット2と、対象物Wの深度計測を行う深度センサー4と、深度センサー4による計測結果に基づいてロボット2の動作を制御するロボット制御装置5と、を備える。そして、深度センサー4は、計測用印加電流Imにより計測用出射光を出射し、制御用印加電流Icにより制御用出射光を出射する光源であるレーザー光源42と、揺動軸Jまわりの第1回転方向および第1回転方向とは反対の第2回転方向に交互に揺動するミラー444を備え、レーザー光源42から出射された計測用出射光を対象物Wに向けて反射して走査する光走査部44と、光走査部44で走査された計測用出射光により形成され、対象物Wに投影されたパターン光PLを対象物Wとともに撮像する撮像部47と、制御用出射光の輝度を検出する受光部45と、計測用印加電流Imおよび制御用印加電流Icを制御する制御回路48と、を備えている。そして、レーザー光源42および光走査部44は、ミラー444が第1回転方向にn(nは1以上の整数)回目揺動している第n期間、および、n+1回目揺動している第n+1期間においてパターン光PLを対象物に投影するように制御されている。また、制御回路48は、第n期間と第n+1期間との間の第m(mは1以上の整数)期間に、制御用印加電流Icにより出射された制御用出射光の輝度である検出輝度PVと、制御用出射光の出射に用いた制御用印加電流Icと、に基づいて、計測用印加電流Imを決定する。
このような構成によれば、パターン光PLを対象物Wに投影する深度計測動作Wの外側で、APC動作WAPCを実行することができる。このため、深度計測の計測誤差を小さくすることができる。その結果、ロボットシステム1が例えば対象物Wを把持する際、把持を成功させる確率を高めることができる。
また、第m期間は、第n+1期間の半周期前の期間であって、ミラー444の揺動に際して不可避的に生じる期間であるため、その期間でAPC動作WAPCを実行することにより、APC動作WAPCに伴う消費電力の増大を防止することができる。
さらに、第m期間にAPC動作WAPCを実行することにより、深度計測動作Wの直前にAPC動作WAPCを実行することができる。外部環境等が短時間で変化するような場合でも、深度計測の計測誤差を小さくすることができる。このため、様々な環境下でも、対象物Wを的確に把握するロボットシステム1を実現することができる。
以上、本発明の深度センサーの制御方法、深度センサーおよびロボットシステムを図示の実施形態に基づいて説明したが、本発明の深度センサーおよびロボットシステムは、前記実施形態に限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、前記実施形態に係る深度センサーおよびロボットシステムに、他の任意の構成物が付加されていてもよい。
さらに、本発明の深度センサーの制御方法は、前記実施形態に任意の目的の工程が付加されたものであってもよい。
1…ロボットシステム、2…ロボット、4…深度センサー、5…ロボット制御装置、6…ホストコンピューター、21…ベース、22…ロボットアーム、24…エンドエフェクター、40…投影部、41…光出射部、42…レーザー光源、43…光学系、44…光走査部、45…受光部、46…揺動角検出部、47…撮像部、48…制御回路、221…第1アーム、222…第2アーム、223…第3アーム、224…第4アーム、225…第5アーム、226…第6アーム、251…第1駆動装置、252…第2駆動装置、253…第3駆動装置、254…第4駆動装置、255…第5駆動装置、256…第6駆動装置、420…第2駆動回路、431…集光レンズ、432…ロッドレンズ、440…第1駆動回路、441…可動部、442…支持部、443…梁部、444…ミラー、445…永久磁石、446…コイル、450…第2検出回路、460…第1検出回路、461…ピエゾ抵抗部、471…カメラ、472…撮像素子、473…集光レンズ、481…描画制御部、482…変換テーブル保持部、483…APC処理部、484…スイッチング部、485…通信制御部、486…計測部、491…記憶部、492…通信デバイス、A…往路、B…復路、Dc…データ、I…第1電流、I…第2電流、I…第3電流、Ic…制御用印加電流、Im…計測用印加電流、IMAX…最大電流、I…電流、Iθ…角度情報、J…揺動軸、L…レーザー光、O1…第1軸、O2…第2軸、O3…第3軸、O4…第4軸、O5…第5軸、O6…第6軸、PL…パターン光、PL1…第1パターン光、PL2…第2パターン光、PL3…第3パターン光、PL4…第4パターン光、PV…検出輝度、Q…レーザー光非出射エリア、S11…第1撮像ステップ、S12…第2撮像ステップ、S13…第3撮像ステップ、S14…第4撮像ステップ、S21…環境光検出工程、S22…第1電流決定工程、S23…第2電流決定工程、S24…第3電流決定工程、S25…変換テーブル生成工程、S26…印加電流決定工程、S31…ステップ、S32…ステップ、S33…ステップ、S34…ステップ、S35…ステップ、S36…ステップ、S361…ステップ、S362…ステップ、S363…ステップ、S37…ステップ、SV…目標輝度、SV1…第1目標輝度、SV2…第2目標輝度、SV3…第3目標輝度、Sd1…駆動信号、Sd2…駆動信号、T…変換テーブル、W…対象物、WAPC…APC動作、W…深度計測動作、f…周期、f1…第1周期、f2…第2周期、f3…第3周期、f4…第4周期

Claims (9)

  1. 計測用印加電流により計測用出射光を出射し、制御用印加電流により制御用出射光を出射する光源と、
    揺動軸まわりの第1回転方向および前記第1回転方向とは反対の第2回転方向に交互に揺動するミラーを備え、前記光源から出射された前記計測用出射光を対象物に向けて反射して走査する光走査部と、
    撮像部と、
    前記制御用出射光の輝度を検出する受光部と、
    を備える深度センサーを用い、
    前記光走査部で走査された前記計測用出射光により形成されるパターン光を前記対象物に投影し、前記パターン光が投影されている前記対象物を前記撮像部により撮像することにより、前記対象物の深度計測を行う深度センサーの制御方法であって、
    前記光源および前記光走査部は、前記ミラーが前記第1回転方向にn(nは1以上の整数)回目揺動している第n期間、および、n+1回目揺動している第n+1期間において前記パターン光を前記対象物に投影し、
    前記第n期間と前記第n+1期間との間の第m(mは1以上の整数)期間に、前記制御用印加電流により出射された前記制御用出射光の輝度と、前記制御用出射光の出射に用いた前記制御用印加電流と、に基づいて、前記計測用印加電流を決定することを特徴とする深度センサーの制御方法。
  2. 前記計測用印加電流の決定は、
    第1目標輝度SV1に基づいて前記光源に印加すべき前記制御用印加電流である第1電流Iを求める第1電流決定工程と、
    前記第1目標輝度SV1より大きい第2目標輝度SV2に基づいて前記光源に印加すべき前記制御用印加電流である第2電流Iを求める第2電流決定工程と、
    前記第1目標輝度SV1および前記第1電流I、ならびに、前記第2目標輝度SV2および前記第2電流Iに基づき、前記光源の輝度と電流との相関関係を表す変換テーブルを求める変換テーブル生成工程と、
    前記変換テーブルに基づいて、前記計測用印加電流を決定する印加電流決定工程と、
    を有する請求項1に記載の深度センサーの制御方法。
  3. 前記第1電流決定工程は、
    目標輝度SVに基づいて前記光源に印加すべき電流Iを設定する電流設定工程と、
    前記電流Iにより前記光源から出射された出射光の輝度である検出輝度PVを前記受光部により検出する輝度検出工程と、
    前記目標輝度SVおよび前記検出輝度PVに基づいて、前記電流Iを更新する電流更新工程と、
    を有し、
    前記輝度検出工程および前記電流更新工程を2回以上繰り返した後、更新後の前記電流Iを前記第1電流Iとする工程である請求項2に記載の深度センサーの制御方法。
  4. 前記第2電流決定工程は、
    目標輝度SVに基づいて前記光源に印加すべき電流Iを設定する電流設定工程と、
    前記電流Iにより前記光源から出射された出射光の輝度である検出輝度PVを前記受光部により検出する輝度検出工程と、
    前記目標輝度SVおよび前記検出輝度PVに基づいて、前記電流Iを更新する電流更新工程と、
    を有し、
    前記輝度検出工程および前記電流更新工程を2回以上繰り返した後、更新後の前記電流Iを前記第2電流Iとする工程である請求項2に記載の深度センサーの制御方法。
  5. 前記電流更新工程は、
    前記検出輝度PVが前記目標輝度SVより大きい場合、更新前よりも小さい値に前記電流Iを更新し、
    前記検出輝度PVが前記目標輝度SVより小さい場合、更新前よりも大きい値に前記電流Iを更新する工程である請求項3または4に記載の深度センサーの制御方法。
  6. 前記第n期間は、前記深度センサーが前記パターン光として第1パターン光を前記対象物に複数回投影するときの最後の回に対応する期間であり、
    前記第n+1期間は、前記深度センサーが前記パターン光として前記第1パターン光とはパターンが異なる第2パターン光を前記対象物に複数回投影するときの最初の回に対応する期間である請求項1ないし5のいずれか1項に記載の深度センサーの制御方法。
  7. 前記制御用印加電流は、前記計測用印加電流の最大電流以下である請求項1ないし6のいずれか1項に記載の深度センサーの制御方法。
  8. 計測用印加電流により計測用出射光を出射し、制御用印加電流により制御用出射光を出射する光源と、
    揺動軸まわりの第1回転方向および前記第1回転方向とは反対の第2回転方向に交互に揺動するミラーを備え、前記光源から出射された前記計測用出射光を対象物に向けて反射して走査する光走査部と、
    前記光走査部で走査された前記計測用出射光により形成され、前記対象物に投影されたパターン光を前記対象物とともに撮像する撮像部と、
    前記制御用出射光の輝度を検出する受光部と、
    前記計測用印加電流および前記制御用印加電流を制御する制御回路と、
    を備え、
    前記光源および前記光走査部は、前記ミラーが前記第1回転方向にn(nは1以上の整数)回目揺動している第n期間、および、n+1回目揺動している第n+1期間において前記パターン光を前記対象物に投影し、
    前記制御回路は、前記第n期間と前記第n+1期間との間の第m(mは1以上の整数)期間に、前記制御用印加電流により出射された前記制御用出射光の輝度と、前記制御用出射光の出射に用いた前記制御用印加電流と、に基づいて、前記計測用印加電流を決定することを特徴とする深度センサー。
  9. ロボットアームを備えるロボットと、
    対象物の深度計測を行う深度センサーと、
    前記深度センサーによる計測結果に基づいて前記ロボットの動作を制御するロボット制御装置と、
    を備え、
    前記深度センサーは、
    計測用印加電流により計測用出射光を出射し、制御用印加電流により制御用出射光を出射する光源と、
    揺動軸まわりの第1回転方向および前記第1回転方向とは反対の第2回転方向に交互に揺動するミラーを備え、前記光源から出射された前記計測用出射光を前記対象物に向けて反射して走査する光走査部と、
    前記光走査部で走査された前記計測用出射光により形成され、前記対象物に投影されたパターン光を前記対象物とともに撮像する撮像部と、
    前記制御用出射光の輝度を検出する受光部と、
    前記計測用印加電流および前記制御用印加電流を制御する制御回路と、
    を備え、
    前記光源および前記光走査部は、前記ミラーが前記第1回転方向にn(nは1以上の整数)回目揺動している第n期間、および、n+1回目揺動している第n+1期間において前記パターン光を前記対象物に投影し、
    前記制御回路は、前記第n期間と前記第n+1期間との間の第m(mは1以上の整数)期間に、前記制御用印加電流により出射された前記制御用出射光の輝度と、前記制御用出射光の出射に用いた前記制御用印加電流と、に基づいて、前記計測用印加電流を決定することを特徴とするロボットシステム。
JP2019170393A 2019-09-19 2019-09-19 深度センサーの制御方法、深度センサーおよびロボットシステム Active JP7310481B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019170393A JP7310481B2 (ja) 2019-09-19 2019-09-19 深度センサーの制御方法、深度センサーおよびロボットシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019170393A JP7310481B2 (ja) 2019-09-19 2019-09-19 深度センサーの制御方法、深度センサーおよびロボットシステム

Publications (2)

Publication Number Publication Date
JP2021047109A JP2021047109A (ja) 2021-03-25
JP7310481B2 true JP7310481B2 (ja) 2023-07-19

Family

ID=74876213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019170393A Active JP7310481B2 (ja) 2019-09-19 2019-09-19 深度センサーの制御方法、深度センサーおよびロボットシステム

Country Status (1)

Country Link
JP (1) JP7310481B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009258089A (ja) 2008-03-19 2009-11-05 Mitsubishi Electric Corp 形状計測装置
JP2014089062A (ja) 2012-10-29 2014-05-15 Nikon Corp 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
JP2015102485A (ja) 2013-11-27 2015-06-04 株式会社ニコン 形状測定装置、光走査装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
JP2019059004A (ja) 2017-09-28 2019-04-18 セイコーエプソン株式会社 ロボットシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2927179B2 (ja) * 1994-06-15 1999-07-28 ミノルタ株式会社 3次元形状入力装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009258089A (ja) 2008-03-19 2009-11-05 Mitsubishi Electric Corp 形状計測装置
JP2014089062A (ja) 2012-10-29 2014-05-15 Nikon Corp 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
JP2015102485A (ja) 2013-11-27 2015-06-04 株式会社ニコン 形状測定装置、光走査装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
JP2019059004A (ja) 2017-09-28 2019-04-18 セイコーエプソン株式会社 ロボットシステム

Also Published As

Publication number Publication date
JP2021047109A (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
JP2019058993A (ja) ロボットシステム
US7711179B2 (en) Hand held portable three dimensional scanner
US11312029B2 (en) Three-dimensional measuring apparatus, robot, and robot system
US10837759B2 (en) Three-dimensional measuring device, controller, and robot system
JP2004157044A (ja) 走査型レーザレーダ
JP2019059004A (ja) ロボットシステム
KR20130092989A (ko) 프로파일 측정 장치
JP7310481B2 (ja) 深度センサーの制御方法、深度センサーおよびロボットシステム
JP7310218B2 (ja) 三次元計測方法、三次元計測装置およびロボットシステム
KR20180092738A (ko) 디지털 마이크로 미러 소자를 이용한 거리 정보 획득 장치 및 방법
JP2568388B2 (ja) 形状計測装置
JPH1133962A (ja) ロボットの三次元位置センサのキャリブレーション 方法とその装置
JP2020159731A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
JP2020159732A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
JP2022021617A (ja) 距離計測装置およびロボット
JP2020159730A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
JP2020131267A (ja) レーザ加工装置
JP7268553B2 (ja) 揺動角制御方法、三次元計測装置およびロボットシステム
JP6927101B2 (ja) 光検出装置、光検出方法及びライダー装置
JP2022098072A (ja) 三次元形状計測方法、三次元形状計測装置およびロボットシステム
CN111750800B (zh) 三维测量装置及机器人系统
JP2023003591A (ja) 校正方法およびロボットシステム
JP2022184389A (ja) 三次元形状計測方法、三次元形状計測装置およびロボットシステム
JP5016812B2 (ja) レーザ加工装置及びレーザ加工装置の製造方法
JP2021148670A (ja) 測定方法、光学装置、計測装置、移動体、ロボット、電子機器及び造形装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R150 Certificate of patent or registration of utility model

Ref document number: 7310481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150