JPWO2019087726A1 - 作業支援システムおよび作業支援方法 - Google Patents

作業支援システムおよび作業支援方法 Download PDF

Info

Publication number
JPWO2019087726A1
JPWO2019087726A1 JP2019550986A JP2019550986A JPWO2019087726A1 JP WO2019087726 A1 JPWO2019087726 A1 JP WO2019087726A1 JP 2019550986 A JP2019550986 A JP 2019550986A JP 2019550986 A JP2019550986 A JP 2019550986A JP WO2019087726 A1 JPWO2019087726 A1 JP WO2019087726A1
Authority
JP
Japan
Prior art keywords
image
work
target surface
measuring device
difference map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019550986A
Other languages
English (en)
Other versions
JP7225109B2 (ja
Inventor
厚輝 中川
厚輝 中川
直弘 中村
直弘 中村
岩本 雅弘
雅弘 岩本
繁一 志子田
繁一 志子田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of JPWO2019087726A1 publication Critical patent/JPWO2019087726A1/ja
Application granted granted Critical
Publication of JP7225109B2 publication Critical patent/JP7225109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4097Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using design data to control NC machines, e.g. CAD/CAM
    • G05B19/4099Surface or curve machining, making 3D objects, e.g. desktop manufacturing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B21MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21CMANUFACTURE OF METAL SHEETS, WIRE, RODS, TUBES OR PROFILES, OTHERWISE THAN BY ROLLING; AUXILIARY OPERATIONS USED IN CONNECTION WITH METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL
    • B21C51/00Measuring, gauging, indicating, counting, or marking devices specially adapted for use in the production or manipulation of material in accordance with subclasses B21B - B21F
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B21MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21DWORKING OR PROCESSING OF SHEET METAL OR METAL TUBES, RODS OR PROFILES WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D22/00Shaping without cutting, by stamping, spinning, or deep-drawing
    • B21D22/14Spinning
    • B21D22/18Spinning using tools guided to produce the required profile
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/17Mechanical parametric or variational design
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B21MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21DWORKING OR PROCESSING OF SHEET METAL OR METAL TUBES, RODS OR PROFILES WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D22/00Shaping without cutting, by stamping, spinning, or deep-drawing
    • B21D22/02Stamping using rigid devices or tools
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45229Woodworking

Abstract

作業支援システム10は、ワークWの対象表面Wsにおける複数の測定点それぞれの状態を測定する測定装置12と、プロジェクタ装置14と、測定装置12の測定結果に基づいて、プロジェクタ装置14の投影画像を作成する演算装置16(116)とを有する。演算装置が、複数の測定点それぞれについて測定装置12によって測定された状態と目標状態との間の差分を算出し、複数の測定点それぞれでの差分を表す特徴点の像がワークWの対象表面Wsにおける対応する測定点の位置にプロジェクタ装置14によって投射される投影画像を作成する、ように構成されている。

Description

本発明は、ワークに対する作業者の作業を支援する作業支援システムおよび作業支援方法に関する。
例えば、特許文献1に記載の作業支援システムにおいては、現時点のワークの形状を三次元測定し、その三次元測定によって得られたワークの形状データと目標形状データとの間の差分を算出し、その算出した差分を画像化してディスプレイを介して作業者に提示する。これにより、作業者は、目標形状を得るために必要な作業内容、すなわち作業(加工)すべきワークの部分とその作業量(加工量)とを決定することができる。
国際公開第2017/115620号公報
しかしながら、特許文献1に記載された作業支援システムの場合、作業者は、ワークから目を離してディスプレイを確認する必要があった。また、ワークの形状が特徴部が少ない形状、例えば平板状である場合、ディスプレイの画面に表示されているワークの部分が、実際のワークのどの部分に対応するのかわからなくなることがあった。そのため、作業者は、ワークに対する作業内容の決定に時間を要することがあった。
そこで、本発明は、ワークに対する作業内容の決定のために作業者が要する時間が短くなるように、ワークに対する作業者の作業を支援することを課題とする。
上記技術的課題を解決するために、本発明の一態様によれば、
ワークに対する作業者の作業を支援する作業支援システムであって、
前記ワークの対象表面における複数の測定点それぞれの状態を測定する測定装置と、
前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置と、
前記測定装置の測定結果に基づいて、前記プロジェクタ装置の投影画像を作成する演算装置と、を有し、
前記演算装置が、
前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出し、
前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成する、ように構成されている、作業支援システムが提供される。
本発明の別の態様によれば、
ワークに対する作業者の作業を支援する作業支援方法であって、
測定装置を用いて前記ワークの対象表面における複数の測定点それぞれの状態を測定し、前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置の投影画像を、前記測定装置の測定結果に基づいて作成し、
前記投影画像の作成として、
前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出すること、および、
前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成すること、が実行される作業支援方法が提供される。
本発明によれば、ワークに対する作業内容の決定のために作業者が要する時間が短くなるように、ワークに対する作業者の作業を支援することができる。
本発明の実施の形態1に係る作業支援システムの構成を概略的に示す斜視図 差分マップの像がワークの対象表面に重ねられた状態の作業支援システムの斜視図 作業支援システムのブロック図 一例の差分マップを示す図 三次元測定装置視点の第1の差分マップを示す図 差分マップの像がワークの対象表面に重なるような該差分マップを含む投影画像の作成手順を説明するための作業支援システムの斜視図 差分マップの像がワークの対象表面に重なるような該差分マップを含む投影画像の作成手順を説明するための作業支援システムの上面図 プロジェクタ装置視点の第2の差分マップを示す図 一例の投影画像を示す図 ワークの対象表面に対して第2の差分マップの像がオフセットした状態を示す図 複数のマーカーが取り付けられた状態のワークを示す図 実施の形態1に係る作業支援システムの作業支援の流れを示すフローチャート図 本発明の実施の形態2に係る作業支援システムのブロック図 ワークの3Dモデルを示す図 ワークの3Dモデルの二次元像がワークに重ねられた状態の作業支援システムの斜視図 実施の形態2に係る作業支援システムの概念を示す図 実施の形態2に係る作業支援システムの作業支援の流れを示すフローチャート図 ワークの対象表面が曲面である場合の作業支援方法を説明するための図 ワークが移動する場合を説明するための斜視図 ワークが移動する場合の投影画像を説明するための図
本発明の一態様は、ワークに対する作業者の作業を支援する作業支援システムであって、前記ワークの対象表面における複数の測定点それぞれの状態を測定する測定装置と、前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置と、前記測定装置の測定結果に基づいて、前記プロジェクタ装置の投影画像を作成する演算装置と、を有し、前記演算装置が、前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出し、前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成する、ように構成されている。
このような一態様によれば、ワークに対する作業内容の決定のために作業者が要する時間が短くなるように、ワークに対する作業者の作業を支援することができる。
前記演算装置が、前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出し、前記対象表面上での差分の分布を前記測定装置の前記対象表面への第1のビュー方向に対して直交する第1の平面上の画像に画像化したものである前記測定装置視点の第1の差分マップを作成する差分マップ作成部と、前記測定装置と前記プロジェクタ装置との間の位置関係に基づいて、前記第1の差分マップを、前記プロジェクタ装置の前記対象表面への第2のビュー方向に対して直交する第2の平面上の画像に画像変換することによって前記プロジェクタ装置視点の第2の差分マップを作成する差分マップ変換部と、前記対象表面に前記第2の差分マップの像が重なるように、前記第2の差分マップを含む前記投影画像を作成する投影画像作成部と、を備えてもよい。
前記演算装置が、前記第2の差分マップの像が前記対象表面に一致して重なるように、画像変換によって前記投影画像を補正する投影画像補正部を備えてもよい。これにより、第2の差分マップの像をワークの対象表面に一致して重ねることができる。
前記演算装置が、前記第2の差分マップの像が前記対象表面に一致して重なるように前記作業者が前記投影画像を修正するための入力部と、前記作業者によって修正される前の前記投影画像と修正された後の前記投影画像とに基づいて、前記投影画像の画像変換に使用される画像変換行列を算出する補正用変換行列算出部と、を備えてもよい。これにより、第2の差分マップの像をワークの対象表面に一致して重ねることができる。
前記作業支援システムが、前記作業者が前記第2の差分マップの像を前記対象表面に一致して重ねるための位置合わせ基準として使用され、前記対象表面に対して着脱可能な少なくとも4つのマーカーを有してもよい。これにより、第2の差分マップの像がワークの対象表面に一致して重なるように投影画像を修正する作業者の作業が容易になる。
前記演算装置が、前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出する差分算出部と、前記測定装置によって状態を測定された前記ワークの3Dモデルを作成する3Dモデル作成部と、前記複数の測定点それぞれでの差分を表す特徴点が前記3Dモデル上の対応する測定点の位置に描かれる前記3Dモデルのテクスチャを作成するテクスチャ作成部と、前記ワークに対する前記プロジェクタ装置の位置関係と同一の位置関係になるように前記3Dモデルに対して視点を設定し、前記視点から見た前記3Dモデルの二次元像を作成する3Dモデル画像作成部と、前記ワークに前記3Dモデルの二次元像が重なるように前記3Dモデルの二次元像を含む前記投影画像を作成する投影画像作成部と、を備えてもよい。
例えば、前記測定装置が、前記ワークの対象表面における複数の測定点それぞれの位置を測定する三次元測定装置であってもよい。
例えば、前記プロジェクタ装置が、前記三次元測定装置の測定範囲に配置され、前記演算装置が、前記三次元測定装置によって測定された前記プロジェクタ装置の位置に基づいて、前記三次元測定装置と前記プロジェクタ装置との間の位置関係を算出してもよい。
また、本発明の別の態様は、ワークに対する作業者の作業を支援する作業支援方法であって、測定装置を用いて前記ワークの対象表面における複数の測定点それぞれの状態を測定し、前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置の投影画像を、前記測定装置の測定結果に基づいて作成し、前記投影画像の作成として、前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出すること、および、前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成すること、が実行される。
このような別態様によれば、ワークに対する作業内容の決定のために作業者が要する時間が短くなるように、ワークに対する作業者の作業を支援することができる。
前記投影画像の作成として、前記対象表面上での前記差分の分布を前記測定装置の前記対象表面への第1のビュー方向に対して直交する第1の平面上の画像に画像化したものである前記測定装置視点の第1の差分マップを作成すること、前記測定装置と前記プロジェクタ装置との間の位置関係に基づいて、前記第1の差分マップを、前記プロジェクタ装置の前記対象表面への第2のビュー方向に対して直交する第2の平面上の画像に画像変換することによって前記プロジェクタ装置視点の第2の差分マップを作成すること、および、 前記対象表面に前記第2の差分マップの像が重なるように前記第2の差分マップを含む前記投影画像を作成すること、が実行されてもよい、
前記第2の差分マップの像が前記対象表面に一致して重なるように、画像変換によって前記投影画像を補正してもよい。これにより、第2の差分マップの像をワークの対象表面に一致して重ねることができる。
記第2の差分マップの像が前記対象表面に一致して重なるように前記投影画像を修正し、修正される前の前記投影画像と修正された後の投影画像とに基づいて、前記投影画像の画像変換に使用される画像変換行列を算出してもよい。これにより、第2の差分マップの像をワークの対象表面に一致して重ねることができる。
前記対象表面に着脱可能に少なくとも4つのマーカーが取り付けられ、前記少なくとも4つのマーカーを、前記第2の差分マップの像を前記対象表面に一致して重ねるための位置合わせ基準として使用してもよい。これにより、第2の差分マップの像がワークの対象表面に一致して重なるように投影画像を修正する作業者の作業が容易になる。
前記投影画像の作成として、前記測定装置によって状態を測定された前記ワークの3Dモデルを作成すること、前記複数の測定点それぞれでの差分を表す特徴点が前記3Dモデル上の対応する測定点の位置に描かれる前記3Dモデルのテクスチャを作成すること、前記ワークに対する前記プロジェクタ装置の位置関係と同一の位置関係になるように前記3Dモデルに対して視点を設定すること、前記視点から見た前記3Dモデルの二次元像を作成すること、前記ワークに前記3Dモデルの二次元像が重なるように前記3Dモデルの二次元像を含む前記投影画像を作成すること、が実行されてもよい。
例えば、前記測定装置が、前記ワークの対象表面における複数の測定点それぞれの位置を測定する三次元測定装置であってもよい。
例えば、前記プロジェクタ装置が、前記三次元測定装置の測定範囲に配置され、前記三次元測定装置によって測定された前記プロジェクタ装置の位置に基づいて、前記三次元測定装置と前記プロジェクタ装置との間の位置関係を算出してもよい。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1および図2は、本発明の実施の形態1に係る作業支援システムの構成を概略的に示している。図3は、作業支援システムのブロック図である。なお、図には、X−Y−Z直交座標系が示されているが、これは発明の理解を容易にするためのものであって、発明を限定するものではない。X軸方向およびY軸方向は水平方向を示し、Z軸は垂直方向を示している。
本実施の形態1に係る作業支援システム10は、作業者がプレス加工機を用いて板状のワークWを変形加工する作業を支援するように構成されている。ワークWは、プレス加工機のステージ30にセットされている。なお、ワークを押圧して変形させるパンチなどのプレス加工機の他の構成要素については、図示が省略されている。
ワークWに対して作業する作業者を支援するために、本実施の形態1に係る作業支援システム10は、現時点のワークWの形状と目標形状(例えば完成形状)との間の差分を作業者に提示するように構成されている。具体的には、図2に示すように、ワークWの対象表面Wsについての現時点の形状と目標形状との間の差分を示す差分マップ(画像)を作成し、その差分マップの像Mpic対象表面Wsに重ねることにより、作業者がこれから行う作業の内容(例えば、プレス加工する部分やそのプレス量など)の決定に必要な情報を提供する。
そのために、図1に示すように、本実施の形態1に係る作業支援システム10は、作業者の作業対象であるワークWの対象表面Wsの形状を測定する三次元測定装置12と、ワークWの対象表面Wsに向かって投影するプロジェクタ装置14と、これらに接続された演算装置16と、作業者が演算装置16に対して指示を入力するためのマウスやキーボードなどの入力デバイス18と、演算装置16が作業者に対して情報を出力するためのディスプレイやプリンタなどの出力デバイス20とを有する。
三次元測定装置12は、図2に示すように、ワークWの対象表面Wsの形状を測定する。具体的には、三次元測定装置12は、ワークWの対象表面Wsにおける複数の測定点それぞれの状態としてそれらの位置を測定する。三次元測定装置12は、例えば、ワークWに対してレーザー光を走査してワークWの対象表面Wsの形状を測定する3Dレーザースキャナである。なお、本発明の実施の形態1に係る三次元測定装置12は、ワークWの対象表面Wsの形状を測定できるのであれば、その形状測定方式を問わない。なお、理由は後述するが、三次元測定装置12の測定範囲に、プロジェクタ装置14が配置されている。三次元測定装置12によって測定されたワークWの対象表面Wsの形状データは、演算装置16に送信される。
プロジェクタ装置14は、図2に示すように、ワークWの対象表面Wsに差分マップの像Mpicが重なるように、差分マップを含む投影画像をワークWに向かって投影するように構成されている。そのための投影画像が、演算装置16からプロジェクタ装置14に送信される。
演算装置16は、例えばPC(パーソナルコンピュータ)であって、三次元測定装置12の測定結果であるワークWの対象表面Wsの形状データを該三次元測定装置12から取得し、その形状データに基づいてプロジェクタ装置14の投影画像(データ)を作成するように構成されている(そのためのプログラムがインストールされている)。
図3に示すように、演算装置16は、三次元測定装置12から取得した形状データに基づいて差分マップ(第1の差分マップ)を作成する差分マップ作成部50、第1の差分マップを第2の差分マップに変換する差分マップ変換部52、第2の差分マップを含むプロジェクタ装置14の投影画像を作成する投影画像作成部54、投影画像を補正する投影画像補正部56を有する(プログラムによってこれらを備える)。
演算装置16の差分マップ作成部50は、まず、三次元測定装置12から取得した形状データ(測定形状データ)とワークWの対象表面Wsの目標形状データとの間の差分を算出するように構成されている。ワークWの対象表面Wsの目標形状データは、例えばワークWの完成品の3DCADデータであって、例えば演算装置16の記憶部(例えばハードディスク)(図示せず)に記憶されている。
ワークWの対象表面Wsの測定形状データと目標形状データとの間の差分(データ)は、例えばベストフィット技術などを用いてこれらのデータを適切に重ね、目標形状データ上の複数の測定点それぞれの位置と対応する測定形状データ上の測定点の位置との間の差分を算出することによって得られる。すなわち、得られる差分データは、ワークWの対象表面Wsにおける複数の測定点それぞれの差分の分布を示すものである。なお、本実施の形態1に係る作業支援システムは、ワークWの対象表面Wsの測定形状データと目標形状データとの間の差分を算出することができるのであれは、その算出方法を問わない。
図4は、得られた差分データに基づいて作成された二次元画像の差分マップM0を示している。差分マップM0は、ワークWの対象表面Wsにおける複数の測定点それぞれについてのワーク厚さ方向位置の差分の分布を画像化したものである。具体的には、差分マップM0において、差分は、その大きさに応じて異なる特徴点(例えば異なる色、異なる明度)で表現されている。
本実施の形態1の場合、差分マップM0において、差分の大きさが実質的に等しい測定点を含む領域が同一の色で着色されている。そのため、差分の大きさが実質的に異なる領域それぞれが、異なる色で着色されることによって区別可能に表現されている。また、サブマップM0は、領域間の境界が等高線を表すコンター図である。この差分マップM0により、作業者は、目標形状にするためにプレス加工すべきワークWの部分とそのプレス量を短時間で決定することができる。
なお、図4に示す差分マップM0をそのまま投影画像としてプロジェクタ装置14が投影しても、その像はワークWの対象表面Wsに一致した状態で重ならない(写らない)。
すなわち、図2に示すように、像Mpicが対象表面Wsに一致した状態で重なるように、差分マップM0を変換する必要がある。
そのために、演算装置16の差分マップ作成部50は、投影画像の作成の前段階として、差分マップM0を、三次元測定装置12視点の差分マップ(第1の差分マップ)に変換する(第1の差分マップを作成する)。例えば、図5に示すような第1の差分マップM1が作成される。このことを、図6および図7を参照しながら説明する。
図6は、差分マップの像がワークの対象表面に重なるような該差分マップを含む投影画像の作成手順を説明するための作業支援システムの斜視図であって、図7は、その作業支援システムの上面図である。
三次元測定装置視点の第1の差分マップM1は、ワークWの対象表面上でのワーク厚さ方向位置の差分の分布を、三次元測定装置12のワークWの対象表面Wsへの第1のビュー方向(視準方向)V1に対して直交する第1の平面P1上の画像に画像化したものである。すなわち、第1の差分マップM1は、差分マップM0を第1の平面P1上の画像に画像変換(例えば射影変換など)したものに相当する。なお、本明細書での「画像変換」は、画像に写る形状が変形するように画像を加工することを言う。また、第1の差分マップM1は、図6に示すようにワークWの対象表面Wsに一致した状態で重なる差分マップの像Mpicを第1のビュー方向V1に見たものに対応する。
演算装置16の差分マップ変換部52は、差分マップ作成部50によって作成された三次元測定装置12視点の第1の差分マップM1を、プロジェクタ装置14視点の差分マップ(第2の差分マップ)に変換するように構成されている。例えば、図8に示すような第2の差分マップM2が作成される。
プロジェクタ装置視点の第2の差分マップM2は、図6および図7に示すように、プロジェクタ装置14のワークWの対象表面Wsへの第2のビュー方向(視準方向)V2に対して直交する第2の平面P2上の画像であって、第1の平面P1上の第1の差分マップM1を第2の平面P2上の画像に画像変換(例えば射影変換など)することによって得られる。
演算装置16の差分マップ変換部52が第1の平面P1上の第1の差分マップM1を第2の平面P2上の画像に画像変換して第2の差分マップM2を得るためには、すなわち、第1の平面P1上の画像から第2の平面P2上の画像に画像変換するための画像変換行列(例えば射影変換行列など)を得るためには、第1の平面P1と第2の平面P2との間の位置関係が必要である。
具体的には、図6および図7に示すように三次元測定装置12とプロジェクタ装置14それぞれがワークWの対象表面Wsに向いているので、三次元測定装置12とプロジェクタ装置14との間の位置関係を知ることができれば、第1の平面P1と第2の平面P2の位置関係を知ることができる。その結果、第1の平面P1上の画像から第2の平面P2上の画像への画像変換行列を求めることができる。
三次元測定装置12とプロジェクタ装置14との間の位置関係は、測量により知ることができる。あるいは、予め決定されたレイアウトどおりに三次元測定装置12とプロジェクタ装置14とを設置することにより、所定の位置関係が実現される。
これらの代わりに、三次元測定装置12がプロジェクタ装置14の位置を測定することにより、演算装置16が、その測定されたプロジェクタ装置14の位置に基づいて、三次元測定装置12とプロジェクタ装置14との間の位置関係を算出してもよい。この場合、プロジェクタ装置14が三次元測定装置12の測定範囲に配置されるかぎり、三次元測定装置12およびプロジェクタ装置14の少なくとも一方の位置を、必要に応じて変更することができる。
したがって、演算装置16の差分マップ変換部52は、予め得た三次元測定装置12とプロジェクタ装置14との間の位置関係に基づいて、第1の平面P1と第2の平面P2との間の位置関係を算出し、第1の平面P1上の第1の差分マップM1を第2の平面P2上の画像に画像変換することにより、第2の差分マップM2を作成する。なお、第2の差分マップM2は、図6に示すようにワークWの対象表面Wsに一致した状態で重なる差分マップの像Mpicを第2のビュー方向V2に見たものに対応する。
演算装置16の投影画像作成部54は、図9に示すように、差分マップ変換部52によって作成された第2の差分マップM2を含む投影画像Im(データ)を作成する。この投影画像Imをプロジェクタ装置14が投影することにより、第2の差分マップM2の像MpicをワークWの対象表面Wsに重ねることができる。
しかしながら、図10に示すように、プロジェクタ装置14が投影画像Imを投影した場合、その投影画像Imにおける第2の差分マップM2の像Mpicが、ワークWの対象表面Wsに対してオフセットし、一致した状態で重ならないことがある。これは、三次元測定装置12とプロジェクタ装置14との位置関係を算出したときの誤差、プロジェクタ装置14における本体に対する光軸の傾き、投影倍率などを原因として起こりうる。また、図6に示すように、三次元測定装置12の第1のビュー方向V1とワークWの対象表面Wsとがなす角度αとプロジェクタ装置14の第2のビュー方向V2と対象表面Wsとがなす角度βが異なることも原因となりうる。
図3に示す演算装置16の投影画像補正部56は、第2の差分マップM2の像MpicがワークWの対象表面Wsに一致して重なるように投影画像Imを補正するように構成されている。
具体的には、投影画像補正部56は、第2の差分マップM2の像MpicがワークWの対象表面Wsに一致して重なるように、投影画像Imを画像変換(例えば射影変換など)して補正する。本実施の形態1の場合、その画像変換に用いる画像変換行列(例えば射影変換行列など)は、作業者のキャリブレーション作業によって算出される。
作業者は、キャリブレーション作業として、第2の差分マップM2の像MpicがワークWの対象表面Wsに一致して重なるように、投影画像Imの修正を行う。そのために、演算装置16は、投影画像修正加工部58を備える。
例えば、投影画像修正加工部58は、図10に示すようにワークWに投影されている投影画像Imを、出力デバイス20(ディスプレイ)に表示する。作業者は、出力デバイス20上に表示された投影画像Imを入力デバイス18(マウスやキーボード)などを操作して修正加工する。例えば、ストレッチ加工、サイズ変更、回転などの画像修正を行う。投影画像修正加工部58は、その画像修正を行うためのインターフェースを作業者に提供する。
なお、投影画像Imが投影された状態のワークWを撮影するカメラを用い、そのカメラの撮影画像を出力デバイス20(ディスプレイ)に表示してもよい。出力デバイス20に写るワークWの対象表面Wsを見ながら、作業者は投影画像Imを修正することができる。
作業者による投影画像Imの修正が完了すると、すなわち第2の差分マップM2の像MpicがワークWの対象表面Wsに一致して重なると、図3に示す演算装置16の補正用変換行列算出部60が、補正用変換行列を算出する。
具体的には、補正用変換行列算出部60は、投影画像補正部56が投影画像Imを画像変換するときに用いる画像変換行列を算出する。補正用変換行列算出部60は、作業者によって修正される前の投影画像Imと修正された後の投影画像Imとに基づいて、画像変換行列を算出するように構成されている。すなわち、修正前の投影画像Imから修正後の投影画像Imに画像変換するための画像変換行列を算出する。
この補正用変換行列算出部60によって算出された画像変換行列を用いて投影画像Imを補正することにより、投影画像補正部56は、図10に示すようにオフセットしている第2の差分マップM2の像Mpicを、図2に示すようにワークWの対象表面Wsに一致して重ねることができる。
ワークWの対象表面Wsが、他の部分と区別可能な4つの角などの特徴部を備える矩形状ではなく、円形状などの特徴部が少ない形状を備える場合がある。この場合、第2の差分マップの像をワークWの対象表面Wsに一致して容易に重ねるために、すなわち投影画像に対する作業者の修正作業を容易にするために、位置合わせ基準としてマーカーを使用してもよい。
例えば、図11に示すように、ワークWの対象表面Wsに少なくとも4つのマーカー22が着脱可能に設けられる。この場合、少なくとも4つのマーカー22がワークWに取り付けられた状態で、第2の差分マップM2が作成される。すなわち、マーカー22が取り付けられた状態で三次元測定装置12がワークWの測定を行い、その測定結果に基づいて第2の差分マップM2が作成される。そのように作成された第2の差分マップM2には、少なくとも4つのマーカー22が特徴点として現れる。作業者は、投影画像Imを修正することにより、第2の差分マップM2における少なくとも4つの特徴点(すなわち少なくとも4つのマーカー22の像)をワークWに取り付けられている実際の少なくとも4つのマーカー22に位置合わせする。これにより、作業者は、第2の差分マップM2の像MpicがワークWの対象表面Wsに一致して重なる投影画像Imを容易に作成することができる。そして、その作成された投影画像Imに基づいて、演算装置16の補正用変換行列算出部60が、補正用変換行列として画像変換行列を算出する。画像変換行列が算出された後、マーカー22はワークWから取り外される。なお、ワークWに対する作業の邪魔にならないのであれば、マーカー22はワークWに取り付けられた状態で維持されてもよい。
なお、このような投影画像Imを補正するための画像変換行列を算出するために行われる作業者のキャリブレーション作業(マーカー22を使用する場合にはマーカー22の着脱作業)は、三次元測定装置12、プロジェクタ装置14、およびワークWとの間の位置関係が変更されると行われる。すなわち、これらの位置関係が変わらないのであれば、投影画像を補正するための画像変換行列は、一度算出するだけでよい。
次に、これまで構成について説明してきた作業支援システム10の作業支援の流れについて、図12に示すフローチャートを参照しながら説明する。
図12に示す作業支援システム10の作業支援は、例えば作業者がワークWに対する一工程(例えば、ワークWの1つの箇所をプレスする作業)が終了するごとに実行される。代わりとして、作業者からの要求によって実行されてもよい。
図12に示すように、まず、最初のステップS100において、三次元測定装置12により、ワークWの対象表面Wsの形状が測定される。これにより、ワークWの対象表面Wsの測定形状データが取得される。
次に、ステップS110において、演算装置16が、ステップS100で測定して取得したワークWの対象表面Wsの測定形状データと目標形状データとの間の差分を算出する。
続いて、ステップS120において、演算装置16(その差分マップ作成部50)が、ステップS110で算出された差分に基づいて、図5に示すような三次元測定装置12視点の第1の差分マップM1を作成する。
ステップS130において、演算装置16(その差分マップ変換部52)が、ステップS120で作成された第1の差分マップM1を、図8に示すようなプロジェクタ装置14視点の第2の差分マップM2に変換する。
ステップS140において、演算装置16(その投影画像作成部54)が、ステップS130で作成された第2の差分マップM2を含む、図9に示すようなプロジェクタ装置14の投影画像Imを作成する。
ステップS150において、演算装置16(その投影画像補正部56)が、ステップS140で作成された投影画像Imを、その投影画像Imに含まれる第2の差分マップM2がワークWの対象表面Wsに一致して重なるように補正する。
そして、ステップS160において、ステップS150で補正された投影画像Imが演算装置16からプロジェクタ装置14に送信され、その投影画像Imをプロジェクタ装置14がワークWに向かって投影する。これにより、図2に示すように、第2の差分マップM2の像MpicがワークWの対象表面Waに一致して重ねられる。
以上のような本実施の形態1によれば、ワークに対する作業内容の決定のために作業者が要する時間が短くなるように、ワークに対する作業者の作業を支援することができる。
具体的には、作業者は、図2に示すようにワークWの対象表面Wsに一致して重なる第2の差分マップM2の像Mpicを参照しながら、ワークWを目標形状にするための作業内容を検討することができる。詳細には、ワークWの対象表面Ws上の複数の測定点それぞれに、目標形状との差分を表す特徴点(例えば色)の像がプロジェクタ装置14によって投射される。そのため、作業者は、ワークWの対象表面Wsにおける複数の部分それぞれについて目標形状との差分を知ることができ、その結果、ワークWを目標形状にするための作業内容を検討することができる。
また、作業者は、作業内容を決定するための情報である第2の差分マップM2と実際のワークWとを同時に見ることができる。さらに、第2の差分マップM2の像Mpicが実際のワークWに重なっているために、ワークWのある部分に対する必要な作業やその作業量を、その第2の差分マップM2の像Mpicからすぐに知ることができる。これらの結果、第2の差分マップM2がディスプレイなどの出力デバイス20を介して作業者に提示される場合に比べて、作業者は、作業内容の決定を短時間で行うことができる。
(実施の形態2)
上述の実施の形態1の場合、プロジェクタ装置の投影画像における第2の差分マップの像をワークWの対象表面Wsに一致して重ねるために、投影画像に対する作業者の修正作業が必要になる場合がある。その結果として、作業者は、ワークWを目標形状にするための作業内容の検討に時間を要する場合がある。その対処として、本実施の形態2における演算装置は、作業者の修正作業を実質的に必要としない投影画像を作成するように構成されている。
図13は、本実施の形態2に係る作業支援システムのブロック図である。なお、上述の実施の形態1における構成要素と実質的に同一の本実施の形態2における構成要素には、同一の符号が付されている。
図13に示す本実施の形態2に係る作業支援システム110の演算装置116は、例えばPC(パーソナルコンピュータ)であって、三次元測定装置12の測定結果であるワークWの形状データを該三次元測定装置12から取得し、その形状データに基づいてプロジェクタ装置14の投影画像(データ)を作成するように構成されている(そのためのプログラムがインストールされている)。
図13に示すように、演算装置116は、三次元測定装置12から取得した測定形状データと目標形状データとの間の差分を算出する差分算出部150と、ワークの3Dモデルを作成する3Dモデル作成部152と、3Dモデルのテクスチャを作成するテクスチャ作成部154と、ワークの3Dモデルの二次元像を作成する3Dモデル二次元像作成部156と、3Dモデルの二次元像を含むプロジェクタ装置14の投影画像を作成する投影画像作成部158とを有する(プログラムによってこれらを備える)。
演算装置116の差分算出部150は、三次元想定装置12から取得したワークWの対象表面Wsの測定形状データにおける複数の測定点それぞれとワークWの対象表面Wsの目標形状データにおける対応する測定点との間の差分を算出する。
演算装置116の3Dモデル作成部152は、三次元測定装置12から取得した測定形状データに基づいて、ワークWの3Dモデルを作成する。
演算装置116のテクスチャ作成部154は、3Dモデル作成部152によって作成された3Dモデルのテクスチャを作成する。
図14は、テクスチャを備える3Dモデルを示している。図14に示すように、3DモデルWMのテクスチャTe(表面)は、ワークWの測定形状データと目標形状データとの間の差分を表している。
具体的には、ワークWの測定形状データ上の複数の測定点それぞれに対応する3DモデルWM上の測定点の位置に、その測定形状データ上の測定点での差分を表す特徴点(例えば異なる色、異なる明度)が描かれるように、3DモデルWMのテクスチャTeが作成されている。
本実施の形態2の場合、3DモデルWMのテクスチャTe(表面)において、差分は、その大きさに応じて異なる特徴点(例えば異なる色、異なる明度)で表現されている。
本実施の形態2の場合、3DモデルWMのテクスチャTeにおいて、差分の大きさが実質的に等しい測定点を含む領域が同一の色で着色されている。そのため、差分の大きさが実質的に異なる領域それぞれが、異なる色で着色されることによって区別可能に表現されている。また、領域の境界が等高線を表している。
すなわち、上述の実施の形態1における二次元画像である差分マップと異なり、本実施の形態2の場合、3DモデルWMにおける三次元形状のテクスチャTeに、差分の分布が描かれている。
演算装置116の3Dモデル二次元像作成部156は、ワークWの3DモデルWMの二次元像を作成する。具体的には、3Dモデル二次元像作成部154は、ワークWに対するプロジェクタ装置14の位置関係と同一の位置関係になるように、ワークWの3DモデルWMに対して視点を設定する。その設定した視点から見た3DモデルWMの二次元像を、3Dモデル二次元像作成部154は作成する。言い換えると、その視点に設置したカメラが3DモデルWMを撮影したときに得られる撮影画像に写る像と実質的に同一の二次元像が作成される。なお、3DモデルWMの二次元像は、視点と3DモデルWMとを結ぶ直線に対して直交する平面に3Dモデルを投影変換することによって作成することができる。また、ワークWに対するプロジェクタ装置14の位置関係は、例えば三次元測定装置12によって求めることができる。
演算装置116の投影画像作成部158は、3Dモデル二次元像作成部156によって作成された3DモデルWMの二次元像を含む、プロジェクタ装置14の投影画像を作成する。具体的には、図15に示すように、プロジェクタ装置14がワークWに向かって投影したときに、3DモデルWMの二次元像WM2DがワークWに重なる投影画像Imが作成される。
このような本実施の形態2の概念は、以下の発明者の発想に基づいている。図16に示すように、カメラCaの撮影方向がプロジェクタ装置14の投影方向に等しく且つカメラCaとワークWの3DモデルWMとの間の距離がプロジェクタ装置14とワークWとの間の距離に等しい場合を想定する。この場合、カメラCaの撮影画像をワークWに向かってプロジェクタ装置14が投影すれば、撮影画像内の3DモデルWMの二次元像WM2Dが実際のワークWに一致して重なることができる。
なお、3DモデルWMの二次元像WM2Dが実際のワークWに重なるためには、プロジェクタ装置14の投影倍率を適切に設定する必要が生じることがある。
次に、これまで構成について説明してきた本実施の形態2に係る作業支援システム110の作業支援の流れについて、図17に示すフローチャートを参照しながら説明する。
図17に示す作業支援システム110の作業支援は、例えば作業者がワークWに対する一工程(例えば、ワークWの1つの箇所をプレスする作業)が終了するごとに実行される。代わりとして、作業者からの要求によって実行されてもよい。
図17に示すように、まず、最初のステップS200において、三次元測定装置12により、ワークWの形状が測定される。これにより、ワークWの測定形状データが取得される。
次に、ステップS210において、演算装置116の差分算出部150が、ステップS200で測定して取得したワークWの測定形状データと目標形状データとの間の差分を算出する。
ステップS220において、演算装置116の3Dモデル作成部152が、ステップS200で取得したワークWの測定形状データに基づいて、ワークWの3DモデルWMを作成する。
ステップS230において、演算装置116のテクスチャ作成部154が、ステップS220で作成された3DモデルWMのテクスチャであって、また差分を表しているテクスチャTeを作成する。具体的には、ワークWの測定形状データ上の複数の測定点それぞれに対応する3DモデルWM上の測定点の位置に、その測定形状データ上の測定点での差分を表す特徴点が描かれるように、3DモデルWMのテクスチャTeが作成される。
ステップS240において、演算装置116の3Dモデル二次元像作成部156が、ワークWとプロジェクタ装置14との間の位置関係と同一の位置関係になるように、ワークWの3DモデルWMに対して視点を設定する。
ステップS250において、演算装置116の3Dモデル二次元像作成部156が、ステップS240で設定した視点から見た3DモデルWMの二次元像WM2Dを作成する。
ステップS260において、演算装置116の投影画像作成部158が、ステップS250で作成された3DモデルWMの二次元像WM2Dを含む投影画像Imを作成する。
ステップS270において、ステップS260で作成された投影画像Imを、プロジェクタ装置14がワークWに向かって投影する。これにより、図15に示すように、3DモデルWMの二次元像WM2DがワークWに一致して重ねられる。
本実施の形態2によれば、上述の実施の形態1と同様に、ワークに対する作業内容の決定のために作業者が要する時間が短くなるように、ワークに対する作業者の作業を支援することができる。
以上、上述の2つの実施の形態を挙げて本発明を説明したが、本発明の実施の形態はこれに限らない。
例えば、上述の実施の形態1では、図10に示すように第2の差分マップM2の像MpicがワークWの対象表面Wsに対してオフセットしている場合、プロジェクタ装置14の投影画像Imを補正していたが、本発明の実施の形態はこれに限らない。投影画像の補正の代わりに、プロジェクタ装置14が備えている台形補正機能、投影倍率調節機能、光軸調節機能などを用いて、第2の差分マップの像がワークの対象表面に重なるようにしてもよい。
また、上述の実施の形態1の場合、投影画像を補正するための画像変換行列を算出するために、作業者が、第2の差分マップM2の像MpicがワークWの対象表面Wsに重なるように投影画像Imを修正するキャリブレーション作業を行う。しかしながら、本発明の実施の形態はこれに限らない。例えば、ワークをカメラで撮影し、その撮影画像に写るワークの対象表面の輪郭形状を演算装置によって画像認識し、その画像認識された輪郭形状に第2の差分マップが合うように投影画像が修正されてもよい。
さらに、上述の実施の形態1の場合、ワークWの対象表面Wsは概ね平坦であるが、本発明の実施の形態はこれに限らない。ワークの対象表面は曲面であってもよい。例えば、図18に示すようにワークWの対象表面Wsが曲面である場合、対象表面Wsが複数の平坦表面Fs1〜Fs9によって構成されているとみなし、複数の平坦表面Fs1〜Fs9それぞれについて、第2の差分マップを作成する。そして、複数の第2の差分マップを含む投影画像が作成される。これにより、ワークの対象表面Wsが曲面であっても、作業支援システムは、同様に、ワークに対する作業者の作業を支援することができる。
さらにまた、上述の実施の形態の場合、図2に示すように、停止しているまたは位置が変わらないワークWの対象表面Wsに第2の差分マップM2の像Mpicが重なるように、プロジェクタ装置14がワークWに向かって投影画像Imを投影する。しかしながら、本発明の実施の形態はこれに限らない。
例えば、プロジェクタ装置の最大投影範囲内にワークの対象表面が存在するのであれば、ワークは移動し続けてもよいまたは位置が変わってもよい。
図19に示すようにプロジェクタ装置14の最大投影範囲PR内でワークWが移動する場合、図20に示すようにプロジェクタ装置14の投影画像Imにおける第2の差分マップM2の位置をシフトすれば、移動するワークWの対象表面に第2の差分マップM2の像を重ね続けることが可能である。そのためには、ワークWの移動方向Tdおよび移動量(移動速度)と投影画像Imにおける第2の差分マップM2のシフト方向Sdおよびシフト量(シフト速度)との間の対応関係を、予め調べておく必要がある。例えば、ワークWが存在する空間における座標系と撮影画像における座標系との間の関係を予め調べておく。これにより、ワークの位置が変わっても、またはワークが移動中であっても、そのワークの対象表面に第2の差分マップの像を重ね続けることができる。
加えて、上述の実施の形態の場合、差分マップは、三次元測定装置によって測定されたワークの測定形状と目標形状との間の差分を作業者に提示するための画像であるが、本発明の実施の形態はこれに限らない。
例えば、差分マップは、温度測定装置、例えばサーモグラフィカメラによって測定されたワークの対象表面の温度分布と、目標の温度分布(例えば本来あるべき温度分布)との間の差分を作業者に提示するための画像であってもよい。この場合、サーモグラフィカメラによって撮影された温度分布画像が第1の差分マップに相当する。
すなわち、広義には、本発明の一態様は、ワークに対する作業者の作業を支援する作業支援システムであって、前記ワークの対象表面における複数の測定点それぞれの状態を測定する測定装置と、前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置と、前記測定装置の測定結果に基づいて、前記プロジェクタ装置の投影画像を作成する演算装置と、を有し、前記演算装置が、前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出し、前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成する、ように構成されている。
また、広義には、本発明の別の態様は、ワークに対する作業者の作業を支援する作業支援方法であって、測定装置を用いて前記ワークの対象表面における複数の測定点それぞれの状態を測定し、前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置の投影画像を、前記測定装置の測定結果に基づいて作成し、前記投影画像の作成として、前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出すること、および、前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成すること、が実行される。
最後に補足する。測定装置が三次元測定装置の場合、「測定装置の対象表面への第1のビュー方向」は、三次元測定装置から対象表面に向かって延在する直線の延在方向に限らない。例えば3Dレーザースキャナなどの三次元測定装置は、ワークの対象表面における複数の測定点それぞれの位置を測定することができる、すなわち対象表面の三次元形状(データ)を取得することができる。取得した三次元形状は、ワークの対象表面全体が見えるビュー方向であれば、そのビュー方向に直交する平面に投影変換することができる。すなわち、ワークの対象表面の形状によっては、複数の異なる三次元測定装置視点の第1の差分マップを作成することが可能である。したがって、測定装置が三次元測定装置の場合、「測定装置の対象表面への第1のビュー方向」には、対象表面全体が見える複数のビュー方向が含まれる。
本発明は、作業者がワークに対して行う作業であって、定期的にまたは断続的にワークの状態を知る必要がある作業を支援可能である。

Claims (16)

  1. ワークに対する作業者の作業を支援する作業支援システムであって、
    前記ワークの対象表面における複数の測定点それぞれの状態を測定する測定装置と、
    前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置と、
    前記測定装置の測定結果に基づいて、前記プロジェクタ装置の投影画像を作成する演算装置と、を有し、
    前記演算装置が、
    前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出し、
    前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成する、ように構成されている、作業支援システム。
  2. 前記演算装置が、
    前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出し、前記対象表面上での差分の分布を前記測定装置の前記対象表面への第1のビュー方向に対して直交する第1の平面上の画像に画像化したものである前記測定装置視点の第1の差分マップを作成する差分マップ作成部と、
    前記測定装置と前記プロジェクタ装置との間の位置関係に基づいて、前記第1の差分マップを、前記プロジェクタ装置の前記対象表面への第2のビュー方向に対して直交する第2の平面上の画像に画像変換することによって前記プロジェクタ装置視点の第2の差分マップを作成する差分マップ変換部と、
    前記対象表面に前記第2の差分マップの像が重なるように、前記第2の差分マップを含む前記投影画像を作成する投影画像作成部と、を備える、請求項1に記載の作業支援システム。
  3. 前記演算装置が、前記第2の差分マップの像が前記対象表面に一致して重なるように、画像変換によって前記投影画像を補正する投影画像補正部を備える、請求項2に記載の作業支援システム。
  4. 前記演算装置が、
    前記第2の差分マップの像が前記対象表面に一致して重なるように前記作業者が前記投影画像を修正するための入力部と、
    前記作業者によって修正される前の前記投影画像と修正された後の前記投影画像とに基づいて、前記投影画像の画像変換に使用される画像変換行列を算出する補正用変換行列算出部と、を備える請求項3に記載の作業支援システム。
  5. 前記作業者が前記第2の差分マップの像を前記対象表面に一致して重ねるための位置合わせ基準として使用され、前記対象表面に対して着脱可能な少なくとも4つのマーカーを有する、請求項4に記載の作業支援システム。
  6. 前記演算装置が、
    前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出する差分算出部と、
    前記測定装置によって状態を測定された前記ワークの3Dモデルを作成する3Dモデル作成部と、
    前記複数の測定点それぞれでの差分を表す特徴点が前記3Dモデル上の対応する測定点の位置に描かれる前記3Dモデルのテクスチャを作成するテクスチャ作成部と、
    前記ワークに対する前記プロジェクタ装置の位置関係と同一の位置関係になるように前記3Dモデルに対して視点を設定し、前記視点から見た前記3Dモデルの二次元像を作成する3Dモデル画像作成部と、
    前記ワークに前記3Dモデルの二次元像が重なるように前記3Dモデルの二次元像を含む前記投影画像を作成する投影画像作成部と、を備える、請求項1に記載の作業支援システム。
  7. 前記測定装置が、前記ワークの対象表面における複数の測定点それぞれの位置を測定する三次元測定装置である、請求項1から6のいずれか一項に記載の作業支援システム。
  8. 前記プロジェクタ装置が、前記三次元測定装置の測定範囲に配置され、
    前記演算装置が、前記三次元測定装置によって測定された前記プロジェクタ装置の位置に基づいて、前記三次元測定装置と前記プロジェクタ装置との間の位置関係を算出する、請求項7に記載の作業支援システム。
  9. ワークに対する作業者の作業を支援する作業支援方法であって、
    測定装置を用いて前記ワークの対象表面における複数の測定点それぞれの状態を測定し、
    前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置の投影画像を、前記測定装置の測定結果に基づいて作成し、
    前記投影画像の作成として、
    前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出すること、および、
    前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成すること、が実行される作業支援方法。
  10. 前記投影画像の作成として、
    前記対象表面上での前記差分の分布を前記測定装置の前記対象表面への第1のビュー方向に対して直交する第1の平面上の画像に画像化したものである前記測定装置視点の第1の差分マップを作成すること、
    前記測定装置と前記プロジェクタ装置との間の位置関係に基づいて、前記第1の差分マップを、前記プロジェクタ装置の前記対象表面への第2のビュー方向に対して直交する第2の平面上の画像に画像変換することによって前記プロジェクタ装置視点の第2の差分マップを作成すること、および、
    前記対象表面に前記第2の差分マップの像が重なるように前記第2の差分マップを含む前記投影画像を作成すること、が実行される、請求項9に記載の作業支援方法。
  11. 前記第2の差分マップの像が前記対象表面に一致して重なるように、画像変換によって前記投影画像を補正する、請求項10に記載の作業支援方法。
  12. 前記第2の差分マップの像が前記対象表面に一致して重なるように前記投影画像を修正し、
    修正される前の前記投影画像と修正された後の投影画像とに基づいて、前記投影画像の画像変換に使用される画像変換行列を算出する、請求項11に記載の作業支援方法。
  13. 前記対象表面に着脱可能に少なくとも4つのマーカーが取り付けられ、
    前記少なくとも4つのマーカーを、前記第2の差分マップの像を前記対象表面に一致して重ねるための位置合わせ基準として使用する、請求項12に記載の作業支援方法。
  14. 前記投影画像の作成として、
    前記測定装置によって状態を測定された前記ワークの3Dモデルを作成すること、
    前記複数の測定点それぞれでの差分を表す特徴点が前記3Dモデル上の対応する測定点の位置に描かれる前記3Dモデルのテクスチャを作成すること、
    前記ワークに対する前記プロジェクタ装置の位置関係と同一の位置関係になるように前記3Dモデルに対して視点を設定すること、
    前記視点から見た前記3Dモデルの二次元像を作成すること、および、
    前記ワークに前記3Dモデルの二次元像が重なるように前記3Dモデルの二次元像を含む前記投影画像を作成すること、が実行される、請求項9に記載の作業支援方法。
  15. 前記測定装置が、前記ワークの対象表面における複数の測定点それぞれの位置を測定する三次元測定装置である、請求項9から14のいずれか一項に記載の作業支援方法。
  16. 前記プロジェクタ装置が、前記三次元測定装置の測定範囲に配置され、
    前記三次元測定装置によって測定された前記プロジェクタ装置の位置に基づいて、前記三次元測定装置と前記プロジェクタ装置との間の位置関係を算出する、請求項15に記載の作業支援方法。
JP2019550986A 2017-11-02 2018-10-11 作業支援システムおよび作業支援方法 Active JP7225109B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017213085 2017-11-02
JP2017213085 2017-11-02
PCT/JP2018/037858 WO2019087726A1 (ja) 2017-11-02 2018-10-11 作業支援システムおよび作業支援方法

Publications (2)

Publication Number Publication Date
JPWO2019087726A1 true JPWO2019087726A1 (ja) 2020-12-17
JP7225109B2 JP7225109B2 (ja) 2023-02-20

Family

ID=66333137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019550986A Active JP7225109B2 (ja) 2017-11-02 2018-10-11 作業支援システムおよび作業支援方法

Country Status (5)

Country Link
US (1) US11118899B2 (ja)
JP (1) JP7225109B2 (ja)
KR (1) KR20200066659A (ja)
CN (1) CN111372698A (ja)
WO (1) WO2019087726A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210149144A1 (en) * 2019-11-15 2021-05-20 Faro Technologies, Inc. Laser projector system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033049A (ja) * 2006-07-28 2008-02-14 Ricoh Co Ltd 対象物指示装置
JP5391564B2 (ja) * 2008-03-27 2014-01-15 富士ゼロックス株式会社 立体投影装置
JP2014035635A (ja) * 2012-08-08 2014-02-24 Utsunomiya Univ 対象物管理システム
JP2015045751A (ja) * 2013-08-28 2015-03-12 株式会社ニコン 投影装置
JP2015149011A (ja) * 2014-02-07 2015-08-20 セイコーエプソン株式会社 表示システム、表示装置、および表示方法
WO2016157484A1 (ja) * 2015-04-01 2016-10-06 三菱電機株式会社 作業指示システム
WO2017115620A1 (ja) * 2015-12-28 2017-07-06 川崎重工業株式会社 変形加工支援システムおよび変形加工支援方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10593718B2 (en) * 2017-03-28 2020-03-17 Mitutoyo Corporation Surface profiling and imaging system including optical channels providing distance-dependent image offsets

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033049A (ja) * 2006-07-28 2008-02-14 Ricoh Co Ltd 対象物指示装置
JP5391564B2 (ja) * 2008-03-27 2014-01-15 富士ゼロックス株式会社 立体投影装置
JP2014035635A (ja) * 2012-08-08 2014-02-24 Utsunomiya Univ 対象物管理システム
JP2015045751A (ja) * 2013-08-28 2015-03-12 株式会社ニコン 投影装置
JP2015149011A (ja) * 2014-02-07 2015-08-20 セイコーエプソン株式会社 表示システム、表示装置、および表示方法
WO2016157484A1 (ja) * 2015-04-01 2016-10-06 三菱電機株式会社 作業指示システム
WO2017115620A1 (ja) * 2015-12-28 2017-07-06 川崎重工業株式会社 変形加工支援システムおよび変形加工支援方法

Also Published As

Publication number Publication date
JP7225109B2 (ja) 2023-02-20
KR20200066659A (ko) 2020-06-10
US11118899B2 (en) 2021-09-14
US20200318950A1 (en) 2020-10-08
WO2019087726A1 (ja) 2019-05-09
CN111372698A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
KR101930796B1 (ko) 이미지를 이용한 3차원 좌표 계산 장치, 3차원 좌표 계산 방법, 3차원 거리 측정 장치 및 3차원 거리 측정 방법
JP4492654B2 (ja) 3次元計測方法および3次元計測装置
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP5257335B2 (ja) 3次元視覚センサにおける計測有効領域の表示方法および3次元視覚センサ
US20100232683A1 (en) Method For Displaying Recognition Result Obtained By Three-Dimensional Visual Sensor And Three-Dimensional Visual Sensor
JP4677281B2 (ja) 画像処理方法、画像処理装置
EP3346699B1 (en) Projection device, projection method and projection program
KR102093674B1 (ko) 변형 가공 지원 시스템 및 변형 가공 지원 방법
JP7088530B2 (ja) 3次元計測対象物体の表面に計測結果関連情報を投影する方法および装置
WO2011118476A1 (ja) 3次元距離計測装置及びその方法
JP2019215811A (ja) 投影システム、画像処理装置および投影方法
WO2010061860A1 (ja) ステレオマッチング処理システム、ステレオマッチング処理方法、及び記録媒体
JP2002071315A (ja) 投影平面計測システム
WO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
KR102235999B1 (ko) 변형 가공 지원 시스템 및 변형 가공 지원 방법
JP7225109B2 (ja) 作業支援システムおよび作業支援方法
JP2007033087A (ja) キャリブレーション装置及び方法
JP6545033B2 (ja) 三次元温度分布表示装置
JP7098486B2 (ja) 作業支援システムおよび作業支援方法
JP2013165344A (ja) 画像処理装置及び画像処理方法
KR100784734B1 (ko) 산업용 로봇 시스템의 타원 보간방법
JP4153323B2 (ja) 写真測量における計測点の対応付け方法及び装置
JP2008122109A (ja) 情報処理装置、情報処理方法
JP2004233198A (ja) 写真測量における計測点の対応付け方法及び装置
JP2011039646A (ja) 画像処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200331

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230208

R150 Certificate of patent or registration of utility model

Ref document number: 7225109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150