JP6714393B2 - 計測装置、システム、計測方法、および物品の製造方法 - Google Patents

計測装置、システム、計測方法、および物品の製造方法 Download PDF

Info

Publication number
JP6714393B2
JP6714393B2 JP2016040313A JP2016040313A JP6714393B2 JP 6714393 B2 JP6714393 B2 JP 6714393B2 JP 2016040313 A JP2016040313 A JP 2016040313A JP 2016040313 A JP2016040313 A JP 2016040313A JP 6714393 B2 JP6714393 B2 JP 6714393B2
Authority
JP
Japan
Prior art keywords
robot
unit
measuring device
imaging
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016040313A
Other languages
English (en)
Other versions
JP2017156242A5 (ja
JP2017156242A (ja
Inventor
山田 顕宏
顕宏 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016040313A priority Critical patent/JP6714393B2/ja
Priority to US15/446,248 priority patent/US20170255181A1/en
Publication of JP2017156242A publication Critical patent/JP2017156242A/ja
Publication of JP2017156242A5 publication Critical patent/JP2017156242A5/ja
Application granted granted Critical
Publication of JP6714393B2 publication Critical patent/JP6714393B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37205Compare measured, vision data with computer model, cad data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37555Camera detects orientation, position workpiece, points of workpiece

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は、計測装置、システム、計測方法、および物品の製造方法に関する。
近年、これまで人間が行っていた複雑なタスク(工業製品の組立て等)をロボットが代わりに行うようになりつつある。物体の把持等を行うロボットハンドの制御は、ロボットハンドに支持された計測装置による物体の配置(例えば、位置及び姿勢)の計測に基づいて行われうる。特許文献1の画像測定装置は、撮像期間を考慮して撮像手段の合焦位置の情報の取得を行っている。
特許第5740649号公報
ロボットハンドと物体との相対的な位置が変化している場合、ロボットハンドが自身の位置(配置)を計測するタイミングと、計測装置が計測(撮像)をするタイミングとの正確な同期が重要となる。特許文献1の装置は、撮像期間の中心と位置情報の取得タイミングとのずれ量に基づいて合焦位置を補正するものであり、当該補正のため、合焦位置を得る時間または精度の点で不利となりうる。
本発明は、例えば、計測部とは相対的に移動している物体の配置の計測に有利な技術を提供することを目的とする。
上記課題を解決するために、本発明は、ロボットに取り付けられて移動され、物体を撮像する撮像部と、物体を照明する照明部と、を有する計測装置であって、計測を開始するための信号に基づいて物体を照明期間だけ照明するように照明部を制御し、信号の発生から所定期間後に、照明された物体の撮像を開始し、露光期間だけ物体を撮像するように撮像部を制御し、撮像部によって撮像された物体の画像を取得し、所定期間の後であって、照明期間のうち露光期間中、ロボットの位置の情報を取得し、撮像部によって撮像された画像とロボットの位置の情報とに基づいて、物体の位置を算出する処理部を有することを特徴とする。
本発明によれば、例えば、計測部とは相対的に移動している物体の配置の計測に有利な技術を提供することができる。
第1実施形態に係る計測装置およびロボットを含むシステムの構成を示す概略図である。 計測装置の詳細を説明する図である。 ロボットの構成を示す概略図である。 ロボットが位置情報を取得するタイミングおよび、計測装置が計測をするタイミングを示す図である。 配置に関する情報の計測方法を示すフローチャートである。 第2実施形態に係る計測装置の詳細を説明する図である。 ロボットが位置情報を取得するタイミングおよび、計測装置が計測をするタイミングを示す図である。 第2実施形態に係る配置に関する情報の計測方法を示すフローチャートである。
以下、本発明を実施するための形態について図面などを参照して説明する。
(第1実施形態)
図1は、本実施形態の計測装置20およびロボット10を含むシステムの構成を示す概略図である。計測装置20は、計測制御部40により制御される。ロボット10の先端には計測装置20が装着されており、計測装置20による被計測物(物体)50の計測結果をもとにロボット制御部30がロボットアームを制御する。計測装置20による計測は、計測装置20および被計測物50のうち少なくとも一方が移動している状態で行われる。また、ロボット制御部30は、ロボット10の位置に応じて計測制御部40に計測開始の指示(トリガ)を出す。ロボット10の位置は、ロボット制御部30に含まれる不図示の装置により計測される。ここで、被計測物50は、部品、または部品を製造するための金型などである。図中、被計測物50が載置される面をXY平面とし、それに垂直な方向をZ方向とする。
図2は、計測装置20の詳細を説明する図である。計測装置20は、照明部210と、撮像部220と、を含む。照明部210は、光源(LED等)211と、照明光学系212と、マスク213と、投影光学系214と、を有する。撮像部220は、撮像素子(カメラ)221と、撮像光学系222と、を含む。計測制御部40は、撮像部220から出力された撮像画像(画像情報)を事前に作成した被計測物50の3次元CADモデルにフィッティングすることで被計測物50の配置(例えば、位置および姿勢)を計測する。本実施形態では、図2に示すように、照明部210による被計測物50への照明方向と、撮像部220による撮像方向とを異なる方向としており、計測制御部40は、三角測量の原理に基づいて撮像画像から被計測物50の座標(距離情報)を得る。モデルフィッティングは、得られた距離情報をもとに行われる。
ロボット10(計測装置20)と被計測物50との相対的な位置関係の変化中に計測することを想定しているため、本実施形態では、計測精度を考慮して1枚の撮像画像から被計測物50の配置に関する情報を計測する。そのため、照明部210は、例えば、ドットラインパターンのパターン光を被計測物50に投影する。光源211は、ロボット制御部30からのトリガに基づき、発光を開始する。照明光学系212は、光源211から射出された光束をマスク213に対し均一に照明する(例えば、ケーラー照明)。マスク213は、被計測物50に投影するパターン光に対応するパターンが描画されたものであり、本実施形態では、ガラス基板をクロムめっきすることによってドットラインパターンが形成されている。ただし、マスク213は、任意のパターンを生成可能なDLP(Digital Light Processing)プロジェクタや液晶プロジェクタなどで構成してもよい。この場合、計測制御部40が照明するパターンを指定することができる。投影光学系214は、マスク213に描画されたパターンを被計測物50に投影する光学系である。撮像光学系222は、被計測物50に投影されたパターンを撮像素子221に結像するための光学系である。撮像素子221は、パターン投影画像を撮像するための素子であり、例えば、CMOSセンサ、CCDセンサなどを用いることができる。
ここで、ドットラインパターンは、明線で形成された明部と、暗線で形成された暗部とが交互に配置された周期的なラインパターン(ストライプパターン)である。ドットは、例えば、明線上において明部が延びる方向において明部を切断するように明部と明部の間に設けられる。ドットは、互いの明線を識別するための識別部である。ドットの位置は各明線上において異なるため、検出されたドットの座標(位置)情報から、投影された各明線がパターン上のどのラインに対応するかの指標が与えられ、投影された各明線の識別が可能となる。
計測制御部40は、指令部409と、演算部(処理部)410と、を有する。指令部409は、ロボット制御部30からのトリガを受け、照明部210に対し発光の開始を指令する。また、撮像部220が撮像を開始するタイミングも指令する。マスク213のパターンを指定する指令も照明部210に対し送ることができる。演算部410は、撮像画像に対する画像処理や、三角測量の原理による距離情報の算出、モデルフィッティングおよび指令部409が指令するタイミングの算出(同期のための処理)を行う。
図3は、ロボット10の構成を示す概略図である。ロボット10は、回転または並進移動軸からなる可動軸を複数有する。本実施形態では、6軸の回転可動軸により構成される6自由度ロボットを用いる。ロボット10は、駆動部(アーム)101と、フランジ部102と、取り付けステー(支持部)103を介して計測装置20を搭載するマウント部104と、ハンド105と、把持部106と、を有する。演算部410で算出された被計測物50の配置に関する情報はロボット制御部30に送られる。この情報を基にロボット制御部30がロボット10に動作指示を与える。
ここで、マウント部104は、フランジ部102に対して固定されており、フランジ座標系における位置座標は不変となっている。加えて、計測装置20は取り付けステー103を介して、マウント部104にリジットに取り付けられている。すなわち、計測装置20とフランジ部102との相対関係は厳密に定義されたものとなっている。
ロボット10と計測装置20との相対的な位置関係について説明する。世界座標系におけるロボット10の位置情報としてフランジ部102の位置座標がロボット制御部30に設定される。また、計測装置20のロボット10(フランジ部102)との相対的な位置座標がロボット制御部30に設定される。この設定値は、フランジ部102のフランジ座標系における計測装置20の相対的な位置・姿勢を事前の校正などにより取得する事で得られ、以後変化しないものとする。これら位置情報はロボット制御部30内の不図示の記憶部に記憶されうる。
図4は、ロボットが位置情報を取得するタイミングおよび、計測装置が計測をするタイミングを示す図である。横軸は時間を示す。まず、ロボット制御部30が指令部409にトリガを出す。指令部409は、トリガを受け、光源211に発光の開始を指令する。光源211は、所望の光量の出力値に達するまで立ち上がり時間δTを要する。また、指令部409は、トリガが発せられた時点から所定の遅延時間δT後の露光開始時間に露光時間(撮像の時間)δTexpで撮像部220が撮像を開始するような指令を送る。遅延時間δTおよび、露光時間δTexpは、事前に計測制御部40内の記憶部(不図示)に記憶されている。ここで、撮像は照明部210による照明の後に行われるため、δTは、δT以上にする設定する必要がある。ただし、遅延時間δTは必ずしもδTだけで決まるものではない。露光時間δTexpは、例えば、被計測物50が金属のように反射率が高い材質の場合は短く設定し、反射率の低い材質(例えば、黒色のもの)の場合は長く設定する。δTexpが長いほど、ロボット制御部30が位置情報を取得するタイミングと撮像部220が撮像するタイミングとの同期精度が重要となる。
一方、ロボット制御部30は、トリガを転送してからδT後にロボット10(フランジ部102)の位置情報を取得する。δTは撮像遅延時間δTと露光時間δTexpに基づいて決定(特定)される。露光時間δTexp中のロボット10の移動速度を等速運動と仮定すると、計測制御部40が得る被計測物50の配置に関する情報の計測結果は、露光時間δTexp/2における被計測物50の配置に関する情報となる。したがって、露光時間δTexpの中間点においてロボット制御部30がロボット10の位置情報を取得するようにδTを設定する。つまり、δT+(δTexp/2)が特定されたδTとなる。
本実施形態では、計測制御部40がδTを算出し、ロボット制御部30に転送している。しかしながら、計測制御部40が遅延時間δTと露光時間δTexpをロボット制御部30に転送し、ロボット制御部30がδT(=δT+(δTexp/2))を算出して、計測制御部40がロボット制御部30から算出結果を取得してもよい。
図5は、本実施形態における配置に関する情報の計測方法を示すフローチャートである。工程S101では、演算部410が遅延時間δTと露光時間δTexpからロボット制御部30がロボット10の位置を取得する時間δTを算出し、指令部409がδTをロボット制御部30に転送する。工程S102では、指令部409が、事前に計測制御部40内の記憶部(不図示)に記憶された遅延時間δTと露光時間δTexpを撮像部220に転送し、撮像部220の撮像条件が設定される。工程S103では、ロボット制御部30がトリガを生成し計測制御部40に転送する。工程S104では、転送されたトリガを受け、計測制御部40が照明部210に照明の出力を開始させる。また、撮像部220に設定された撮像条件に基づいた撮像を開始させる。撮像が完了したら、撮像部220は、取得した画像を計測制御部40へ転送する。
工程S104と並行して、工程S105では、ロボット制御部30が、トリガを転送した後、工程S101で転送されたδTの間隔をおいて、世界座標系におけるロボット10(フランジ部102)の位置情報を取得する。工程S106では、演算部410が、転送された画像に基づいて、距離情報を算出し、モデルフィッティングを行い、計測装置20を基準とする被計測物50の配置に関する情報(座標情報)を算出する。算出結果は、ロボット制御部30へ転送される。工程S107では、ロボット制御部30が、計測装置20を基準とする座標情報を世界座標系に変換する。すなわち、世界座標系における被計測物50の配置に関する情報を算出する。具体的には、予め取得しておいた、ロボット10に位置情報を基準とした計測装置20の相対的な位置関係を用いて、ロボット10の位置情報と計測装置20に対する被計測物50の配置に関する情報と、から算出される。工程S108では、ロボット制御部30が、工程S107で算出した世界座標における被計測物50の配置に関する情報(世界座標系に変換後の配置に関する情報)に基づいてロボット10を制御する。
以上のように、本実施形態の計測装置(計測方法)は、δT、δTおよび、δTexpを適宜調整可能であるため、ロボットの位置(=計測装置の位置)の計測と計測装置による物体の撮像との同期を精度良く簡便に行うことができる。特に、ロボットと被計測物とが互いに高速で移動することで相対的な位置関係が高速に変化する場合、(相対速度V)、カメラの露光時間Texp中に画像がカメラの画素ピッチLと撮像倍率βを掛けた値以上にずれる場合に有利である。式で表すと、V×Texp≧L×βの場合である。また、反射率が互いに異なる複数の被計測物を扱う場合にも有利である。本実施形態によれば、計測部とは相対的に移動している物体の配置の計測に有利な技術を提供することができる。
(第2実施形態)
図6は本実施形態に係る計測装置の詳細を説明する図である。第1実施形態の計測装置20と共通する要素には同一符号を付し、説明を省略する。本実施形態の計測装置21は、均一照明部230および撮像部240を含む。計測装置21は、第1実施形態の計測装置20で得られる距離画像に加え、濃淡画像を同時に取得し、二つの画像を同時利用してモデルフィッティングすることにより、被計測物50の配置に関する情報を計測する装置である。
撮像部240は、撮像光学系241と、2つの撮像素子221および242と、波長分割素子243と、を含む。撮像光学系241は、被計測物50に投影されたパターン像および濃淡画像を取り込み、波長分割素子243によって撮像素子221および242にパターン画像(距離画像)と濃淡画像を分離させ結像させる。
濃淡画像とは、撮像素子で撮像したグレースケール画像であり、本実施形態では、濃淡画像から物体の輪郭や稜線に相当するエッジを検出し、エッジを特徴部分として配置に関する情報の算出の際に用いる。濃淡画像は、均一照明部230と撮像部240により取得される。撮像部240は、均一照明部230により均一に照明された被計測物50を撮像する。均一照明部230は、照明部210とは異なる波長を発光する複数のLED光源をリング状に配列したリング照明となっており、リング照明により被計測物50を均一に照明し影が極力できないようにする事が可能となっている。なお、本発明は、このリング照明に限定されるものではなく、同軸落射照明やドーム照明等の照明方式を採用しても構わない。
演算部410は、取得された濃淡画像に対してエッジ検出処理を行う事によってエッジを算出する。このとき距離画像と同様に画像処理を施してもよい。エッジの検出アルゴリズムは、Canny法やその他様々な方法があるが、特にどの方式でも構わない。
図7は、本実施形態に係るロボットが位置情報を取得するタイミングおよび、計測装置が計測をするタイミングを示す図である。まず、ロボット制御部30が指令部409に計測開始を示すトリガを出す。指令部409は、トリガを受け、距離画像取得用の光源211に発光の開始を指令する。光源211は、所望の光量の出力値に達するまで立ち上がり時間δTL1を要する。同様に、指令部409は、トリガを受け、濃淡画像取得用の均一照明部230に発光の開始を指令する。均一照明部230は、所望の光量の出力値に達するまで立ち上がり時間δTL2を要する。また、指令部409は、所定の遅延時間δTc1後に露光時間δTexp1で撮像部221が撮像を開始するような指令を送る。同様に、指令部409は、所定の遅延時間δTc2後に露光時間δTexp2撮像部221が撮像を開始するような指令を送る。遅延時間δTc1、δTc2、露光時間δTexp1、δTexp2は、事前に計測制御部40内の記憶部(不図示)に記憶されている。なお、遅延時間と光源の立ち上がり所要時間との関係は第1実施形態と同様である。すなわち、δTc1≧δTL1、およびδTC2≧δTL2の関係に設定されている。
露光時間δTexp1、δTexp2は、距離画像取得用の光源211と、濃淡画像取得用の均一照明部230との出力の違いに基づいて個別に調整する。ここで、被計測物50の反射率の波長依存性によっては、露光時間δTexp1およびδTexp2は必ずしも一致するものではない。ここで、後述する理由から、遅延時間δTc1と露光時間δTexp1の半分の時間を加算した時間Tk1と、遅延時間δTc2露光時間δTexp2の半分の時間を加算した時間Tk2とが等しくなるように設定される。露光時間が被計測物50の反射特性で決まってくることから、遅延時間δTc2およびδTc2を個別に調整することで設定が行われる。
一方、ロボット制御部30は、トリガを転送してからδT後にロボット10(フランジ部102)の位置情報を取得する。δTは撮像遅延時間δTc1およびδTc2と露光時間δTexp1およびδTexp2に基づいて決定される。露光時間中のロボット10の移動速度を等速運動と仮定すると、計測制御部40が得る被計測物50の配置に関する情報の計測結果は、露光時間δTexp1/2かつδTexp2/2における被計測物50の配置に関する情報となる。したがって、δT=遅延時間δTc1と露光時間δTexp1の半分の時間を加算した時間Tk1=遅延時間δTc2と露光時間δTexp2の半分の時間とを加算して得られる時間Tk2となるように設定される。このとき、ロボット制御部30のロボット位置取得のサンプリングタイミングを考慮して、遅延時間δTc1およびδTc2を調整することでより高精度な同期を可能としても良い。δTの算出は、第1実施形態と同様に計測制御部40にて算出しても、ロボット制御部30にて算出してもよい。
図8は、本実施形態に係る配置に関する情報の計測方法を示すフローチャートである。工程S201では、演算部410が遅延時間δTc1およびδTc2、並びに露光時間δTexp1およびδTexp2からロボット制御部30がロボット10の位置を取得する時間δTを算出し、指令部409がδTをロボット制御部30に転送する。工程S202では、指令部409が、事前に計測制御部40内の記憶部(不図示)に記憶された遅延時間δTc1およびδTc2、並びに露光時間δTexp1およびδTexp を撮像部240に転送し、撮像部240の撮像条件が設定される。
工程S203では、ロボット制御部30がトリガを生成し計測制御部40に転送する。工程S204では、転送されたトリガを受け、計測制御部40が照明部210および均一照明部230に照明の出力を開始させる。また、撮像部240に設定された撮像条件に基づいた撮像を開始させる。撮像が完了したら、撮像部240は、取得した画像を計測制御部40へ転送する。工程S204と並行して、工程S205では、ロボット制御部30が、トリガを転送した後、工程S201で転送されたδTの間隔をおいて、世界座標系におけるロボット10(フランジ部102)の位置情報、および移動速度情報Vを取得する。取得された情報は、計測制御部40に転送される。
工程S206では、演算部410が、転送された移動速度情報Vを、計測装置21に対する移動速度情報に変換する。工程S207では、演算部410が、工程S206で変換された移動速度情報に基づき、取得した距離画像と濃淡画像とにブラー補正を行う。工程S208では、演算部410が、ブラー補正された画像に基づいて、距離情報とエッジ情報とを算出し、モデルフィッティングを行い、計測装置20に対する被計測物50の配置(例えば位置・姿勢)の情報を得る。得られた情報は、ロボット制御部30へ転送される。工程S209では、ロボット制御部30が、世界座標系における被計測物50の配置に関する情報を算出する。具体的には、予め取得しておいた、計測装置20とロボット10との相対的な位置関係を用いて、ロボット10の位置情報と計測装置20に対する被計測物50の配置に関する情報と、から算出される。工程S210では、ロボット制御部30が、工程S209で算出した世界座標における被計測物50の配置に関する情報に基づいてロボット10を制御する。
以上のように、本実施形態の計測装置(計測方法)は、第1実施形態と比較して、距離画像と濃淡画像の2つの情報と移動計測に伴うブラー補正をすることでより高い精度で被計測物の配置に関する情報を求めることができる。本実施形態によっても、第1実施形態と同様の効果を有する技術を提供することができる。
なお、δTの算出について、計測制御部40が、同期の時点を特定するための遅延時間δTおよび露光時間δTexpをロボット制御部30に与え、ロボット制御部30がδTを算出してもよい。また、予めδTをロボット制御部30に記憶させておき、計測制御部40がロボット制御部30からδTを取得し、遅延時間δTおよび露光時間δTexpを算出してもよい。このとき、露光時間δTexpも予め求めておき、δTと合わせて遅延時間δTを求めてもよい。
また、第1実施形態にて、撮像画像のブラー補正を工程に追加してもよい。上記実施形態では、駆動するロボットに搭載された計測装置で静止した被計測物を計測する構成とした。しかしながら、例えば、ベルトコンベアやステージのような被計測物を保持して移動可能な駆動機構に被計測物が搭載され、固定された位置から駆動機構を上から撮像する計測装置であっても構わない。この場合、計測装置の位置は、駆動機構に備えられた装置により計測されうる。
演算部410が行う撮像画像に対するブラー補正は、例えば、リチャードソン・ルーシー法を適用した画像のデコンボリューションによる。また、演算部410は、撮像時のロボットの移動速度情報を基に画像圧縮を行うことで画像補正をしてもよい。別の補正手段として、撮像画像に撮像されたパターンの周期方向に異なる圧縮率で画像圧縮を行う方法も適用しうる。具体的には、撮像画素に対してパターン周期方向に2画素毎にビニングを行った圧縮画像1、パターン周期方向に3画素毎にビニングを行った圧縮画像2、パターン周期方向に4画素毎にビニングを行った圧縮画像3といったように複数の圧縮画像を生成する。各距離点算出するパターン位置毎にパターンコントラストが高くなる圧縮画像の選択を各点毎に行い距離値算出する方法でも良い。
距離センサは上記のようなアクティブステレオ方式に限るものではなく、ステレオカメラが撮影する2つの画像から三角測量によって各画素の奥行きを計算するパッシブ式であってもよい。その他、距離画像を計測するものであればいかなるものであっても本発明の本質を損なうものではない。ロボット10として用いる機器は、例えば、7軸回転軸を有する垂直多関節型ロボットであってもよいし、スカラ型ロボットやパラレルリンクロボットであってもよい。その他、回転または並進移動軸からなる可動軸を複数有し、モーション情報が取得できる限り、いかなる形式のロボットであってもよい。
(物品製造方法に係る実施形態)
以上に説明した実施形態に係る計測装置は、物品製造方法に使用しうる。当該物品製造方法は、当該計測装置を用いて物体の配置の計測を行う工程と、当該工程で計測された物体を処理する工程と、を含みうる。当該処理は、例えば、加工、切断、搬送、組立(組付)、検査、および選別のうちの少なくともいずれか一つを含みうる。本実施形態の物品製造方法は、従来の方法に比べて、物品の性能・品質・生産性・生産コストのうちの少なくとも1つにおいて有利である。
以上、本発明の実施の形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。
20 計測装置
220 撮像部
410 演算部
50 被計測物

Claims (14)

  1. ロボットに取り付けられて移動され、物体を撮像する撮像部と、前記物体を照明する照明部と、を有する計測装置であって、
    計測を開始するための信号に基づいて前記物体を照明期間だけ照明するように前記照明部を制御し、
    前記信号の発生から所定期間後に、照明された前記物体の撮像を開始し、露光期間だけ前記物体を撮像するように前記撮像部を制御し、
    前記撮像部によって撮像された物体の画像を取得し、
    前記所定期間の後であって、前記照明期間のうち前記露光期間中、前記ロボットの位置の情報を取得し、
    前記撮像部によって撮像された画像と前記ロボットの位置の情報とに基づいて、前記物体の位置を算出する処理部を有することを特徴とする計測装置。
  2. 前記ロボットの位置の情報を取得する時刻は、前記撮像期間の情報に基づいて定められていることを特徴とする請求項1に記載の計測装置。
  3. 前記信号を受けてから、前記撮像期間の情報に基づいて定められる時間が経過した時刻に、前記ロボットの位置の情報を取得することを特徴とする請求項1又は2に記載の計測装置。
  4. 前記撮像期間における中間の時刻に、前記ロボットの位置の情報を取得することを特徴とする請求項1乃至3の何れか1項に記載の計測装置。
  5. 前記信号を受けてから前記ロボットの位置の情報を取得するまでの時間を算出することを特徴とする請求項1乃至4の何れか1項に記載の計測装置。
  6. 前記信号を受けてから前記撮像部が撮像を開始するまでの遅延時間と、前記撮像期間の情報から、前記信号を受けてから前記ロボットの位置の情報を取得するまでの時間を算出することを特徴とする請求項1乃至5の何れか1項に記載の計測装置。
  7. 前記撮像部によって撮像された画像に基づいて前記計測装置に対する物体の位置を求め、前記計測装置に対する物体の位置と、前記ロボットと前記計測装置の相対位置と、前記ロボットの位置の情報とに基づいて、前記ロボット座標系における前記物体の位置を算出することを特徴とする請求項1乃至の何れか1項に記載の計測装置。
  8. 前記撮像部とは別の撮像部を有し、
    前記別の撮像部による撮像期間中であって前記別の撮像部による撮像が終了する前に、前記ロボットの位置の情報を取得することを特徴とする請求項1乃至の何れか1項に記載の計測装置。
  9. 請求項1乃至の何れか1項に記載の計測装置と、
    前記計測装置を搭載して移動させるロボットと、を有することを特徴とするシステム。
  10. ロボットに取り付けられて移動され、物体を撮像する撮像部と、前記物体を照明する照明部と、を有する計測装置を用いて、計測する計測方法であって、
    計測を開始するための信号に基づいて前記照明部を制御し、前記物体を照明期間だけ照明する工程と、
    前記撮像部を制御し前記信号の発生から所定期間後に、照明された前記物体の撮像を開始し、露光期間だけ前記物体を撮像する工程と、
    前記撮像部によって撮像された物体の画像を取得する工程と、
    前記所定期間の後であって、前記照明期間のうち前記露光期間中、前記ロボットの位置の情報を取得する工程と、
    前記撮像部によって撮像された画像と前記ロボットの位置の情報とに基づいて、前記物体の位置を算出する工程と、を有することを特徴とする計測方法。
  11. 請求項1乃至の何れか1項に記載の計測装置を用いて物体の位置を計測する工程と、計測された前記物体を計測結果に基づいて処理して物品を得る工程と、を有することを特徴とする物品の製造方法。
  12. ロボットに取り付けられて移動され、物体を撮像する撮像部と、前記物体を照明する照明部と、を備える計測装置を制御するための制御装置であって、
    計測を開始するための信号に基づいて前記物体を照明期間だけ照明するように前記照明部を制御し、
    前記信号の発生から所定期間後に、照明された前記物体の撮像を開始し、露光期間だけ前記物体を撮像するように前記撮像部を制御し、
    前記撮像部によって撮像された物体の画像を取得し、
    前記所定期間の後であって、前記照明期間のうち前記露光期間中、前記ロボットの位置の情報を取得し、
    前記撮像部によって撮像された画像と前記ロボットの位置の情報とに基づいて、前記物体の位置を算出する処理部を有することを特徴とする制御装置。
  13. 物体の位置を計測する計測装置と、
    請求項1に記載の制御装置と、を有することを特徴とするシステム。
  14. 前記計測装置を搭載して移動させるロボットを有することを特徴とする請求項1に記載のシステム。
JP2016040313A 2016-03-02 2016-03-02 計測装置、システム、計測方法、および物品の製造方法 Expired - Fee Related JP6714393B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016040313A JP6714393B2 (ja) 2016-03-02 2016-03-02 計測装置、システム、計測方法、および物品の製造方法
US15/446,248 US20170255181A1 (en) 2016-03-02 2017-03-01 Measurement apparatus, system, measurement method, and article manufacturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016040313A JP6714393B2 (ja) 2016-03-02 2016-03-02 計測装置、システム、計測方法、および物品の製造方法

Publications (3)

Publication Number Publication Date
JP2017156242A JP2017156242A (ja) 2017-09-07
JP2017156242A5 JP2017156242A5 (ja) 2019-04-11
JP6714393B2 true JP6714393B2 (ja) 2020-06-24

Family

ID=59722182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016040313A Expired - Fee Related JP6714393B2 (ja) 2016-03-02 2016-03-02 計測装置、システム、計測方法、および物品の製造方法

Country Status (2)

Country Link
US (1) US20170255181A1 (ja)
JP (1) JP6714393B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10676022B2 (en) * 2017-12-27 2020-06-09 X Development Llc Visually indicating vehicle caution regions
JP7309371B2 (ja) * 2019-01-25 2023-07-18 株式会社ソニー・インタラクティブエンタテインメント ロボット制御システム
JP7176969B2 (ja) * 2019-02-08 2022-11-22 株式会社キーエンス 検査装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0790493B2 (ja) * 1987-04-08 1995-10-04 株式会社日立製作所 手先視覚付ロボットの制御方法
JP6188440B2 (ja) * 2013-06-17 2017-08-30 キヤノン株式会社 ロボット装置及びロボット制御方法
JP6317618B2 (ja) * 2014-05-01 2018-04-25 キヤノン株式会社 情報処理装置およびその方法、計測装置、並びに、作業装置
JP2015213139A (ja) * 2014-05-07 2015-11-26 国立大学法人 東京大学 位置決め装置

Also Published As

Publication number Publication date
US20170255181A1 (en) 2017-09-07
JP2017156242A (ja) 2017-09-07

Similar Documents

Publication Publication Date Title
KR101605386B1 (ko) 측정 물체 표면 위에서 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템
US10563977B2 (en) Three-dimensional measuring device
US20140081459A1 (en) Depth mapping vision system with 2d optical pattern for robotic applications
JP6734253B2 (ja) ワークを撮像する視覚センサを備える撮像装置
JP6478725B2 (ja) 計測装置及びロボット
US7551272B2 (en) Method and an apparatus for simultaneous 2D and 3D optical inspection and acquisition of optical inspection data of an object
JP6532325B2 (ja) 被計測物の形状を計測する計測装置
CN101782369B (zh) 影像量测对焦系统及方法
JP6520451B2 (ja) 外観撮影装置及び外観撮影方法
WO2013144952A4 (en) Three dimensional camera and projector for same
WO2021085419A1 (ja) 三次元計測装置
JP6714393B2 (ja) 計測装置、システム、計測方法、および物品の製造方法
US20170309035A1 (en) Measurement apparatus, measurement method, and article manufacturing method and system
US11040452B2 (en) Depth sensing robotic hand-eye camera using structured light
TWI507280B (zh) 用於因高速機械手臂運輸中成像工作部件表面而具有移動引起的扭曲的減少或防止之方法
US10533845B2 (en) Measuring device, measuring method, system and manufacturing method
JP6987033B2 (ja) 撮影タイミング制御装置、撮像システムおよび撮像方法
US11090812B2 (en) Inspection apparatus for optically inspecting an object, production facility equipped with the inspection apparatus, and method for optically inspecting the object using the inspection apparatus
JP2012168136A (ja) 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
US20170328706A1 (en) Measuring apparatus, robot apparatus, robot system, measuring method, control method, and article manufacturing method
JP2019007983A (ja) 計測装置、処理装置および物品製造方法
JPH0820207B2 (ja) 光学式3次元位置計測方法
JP6371742B2 (ja) 計測装置および取得方法
JP6432968B2 (ja) 物体形状推定装置及びプログラム
JP2017173259A (ja) 計測装置、システム及び物品の製造方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200605

R151 Written notification of patent or utility model registration

Ref document number: 6714393

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees