JP7179439B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7179439B2
JP7179439B2 JP2016230329A JP2016230329A JP7179439B2 JP 7179439 B2 JP7179439 B2 JP 7179439B2 JP 2016230329 A JP2016230329 A JP 2016230329A JP 2016230329 A JP2016230329 A JP 2016230329A JP 7179439 B2 JP7179439 B2 JP 7179439B2
Authority
JP
Japan
Prior art keywords
parameters
information processing
parameter
data
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016230329A
Other languages
English (en)
Other versions
JP2018087715A (ja
JP2018087715A5 (ja
Inventor
一彦 小林
雅博 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016230329A priority Critical patent/JP7179439B2/ja
Priority to US15/818,416 priority patent/US10967517B2/en
Publication of JP2018087715A publication Critical patent/JP2018087715A/ja
Publication of JP2018087715A5 publication Critical patent/JP2018087715A5/ja
Application granted granted Critical
Publication of JP7179439B2 publication Critical patent/JP7179439B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37131Moire pattern, diffraction grating, fringe

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
三次元画像計測の基本的な技術として、カメラがプロジェクタから投影されたパターン光が計測対象物体表面に反射した像を撮像する。そして情報処理装置が三角測量の原理でカメラから計測対象物体までの距離を計算する。その際に、カメラの撮像面の主点位置、レンズの焦点面までの距離や歪み係数、カメラ原点の位置姿勢等、距離を計算するときに必要なパラメータが複数存在する。
これらのパラメータは情報処理装置等が校正において推定する。例えば、カメラの内部パラメータである焦点距離、主点位置、レンズの歪み係数は特許文献1に記載の校正の技術で求めることができる。
特開2000-350239号公報
パラメータは、装置の振動や経時変化、作業調整中に装置に接触する等して変化する。その際に校正が必要となる。しかし、校正が必要なパラメータを簡便に特定する方法は無かった。
本発明の情報処理装置は、対象を三次元計測する計測装置が前記対象の三次元位置を算出する際に用いるカメラまたはレンズの少なくとも何れかのパラメータを、校正が済んだ状態で保持するパラメータ保持手段と、前記パラメータ保持手段に保持されたパラメータのそれぞれを微小変化させて対象を撮像した複数の画像毎に、前記パラメータ保持手段に保持されたパラメータで前記対象を撮像した登録画像との差分を示す第1のデータ群を保持する保持手段と、前記保持手段に前記第1のデータ群を保持した後の所定のタイミングにおいて前記対象を撮像した撮像画像と、前記登録画像と、の差分を示す第2のデータとの相関に基づいて特定した前記第1のデータ群のうちのデータに基づいて、前記複数のパラメータのうち前記校正が済んだ状態からずれが生じたパラメータを特定し出力する提示手段と、を有する。
本発明によれば、パラメータの校正の手間を減らすことができる。
情報処理装置のハードウェア構成の一例を示す図である。 情報処理装置の機能構成の一例を示す図である。 ディスプレイへの提示の一例を示す図である。 情報処理の一例を示すフローチャートである。 三次元計測システムのシステム構成の一例を示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
<実施形態1>
図1、情報処理装置100のハードウェア構成の一例を示す図である。
情報処理装置100は、ハードウェア構成として、CPU10、メモリ11、入力装置I/F12、表示装置I/F13、音声出力装置I/F14、撮像装置I/F15を有する。
CPU10は、情報処理装置100の全体の制御を司る。メモリ11は、プログラム、画像、パラメータ等、以下に示す実施形態の処理に必要なデータを記憶する。入力装置I/F12は、入力装置と情報処理装置100とを接続するためのインタフェース(I/F)である。入力装置の一例としては、後述するマウス等がある。表示装置I/F13は、表示装置と情報処理装置100とを接続するためのインタフェースである。表示装置の一例としては、後述するディスプレイ等がある。音声出力装置I/F14は、音声出力装置と情報処理装置100とを接続するためのインタフェースである。音声出力装置の一例としては、後述するスピーカ等がある。撮像装置I/F15は、撮像装置と情報処理装置100とを接続するためのインタフェースである。撮像装置の一例としては、後述するカメラ等がある。
CPU10がメモリ11に記憶されているプログラムに基づき処理を実行することによって、図2に示す情報処理装置100の機能構成、及び図4に示すフローチャートの処理等が実現される。
情報処理装置100は、対象物体の位置姿勢を画像により計測する三次元計測システムにおける各装置の校正時からのパラメータのズレを提示する。情報処理装置100は、三次元計測に関連するパラメータを用いて、個々のパラメータに対して線形近似が可能な範囲で僅かな値を加算(又は減算)した値を用いて距離画像を生成する。情報処理装置100は、加算等していないパラメータの値を用いて距離画像を生成し、生成した距離画像とパラメータを変化させて生成した距離画像とに基づいて変化に伴うパラメータごとの二次元の偏差を偏差マップとして生成し、保持する。計測装置等にズレが発生した状態で計測した画像は、校正が正しい状態の画像(登録画像)から僅かにズレが生じており、その範囲を線形で近似できる。近似できる程度であれば、情報処理装置100は、パラメータごとに事前に計算している偏差マップと、計測した撮像画像と登録画像とから生成される偏差マップと、の相関を計算し、大きい相関を持つパラメータがズレていると推定することができる。情報処理装置100がこの様な推定を行い、提示することで、利用者は、三次元計測におけるカメラ、プロジェクタ等の計測装置のうちの、どの装置のどのパラメータがどのようにズレているかを特定する情報を得ることができる。そのため、例えば、再校正や計測装置の障害復旧等の時間を短縮することができる。ここで、偏差マップは、偏差データの一例である。次に、情報処理装置100の機能構成について図2を用いて詳細を述べる。
形状保持部110は、計測対象物体の形状をメモリ11に保持する。ここでは形状とは、三次元計測システムのカメラから観察した対象物体の表面の位置とし、対象物体の形状モデルとしてポリゴンモデルや設計CADモデルの表面形状を記述できていればよい。また、計測環境に固定してある物体表面を三次元計測した点群を形状に利用してもよい。
パラメータ保持部120は、三次元計測で利用する光学・撮像素子に関するパラメータをメモリ11に保持する。パラメータとしては、レンズの焦点距離、主点位置、レンズ歪みとして半径方向歪み、周方向歪みの係数がある。また、パラメータとしては、撮像素子の主点位置、計測空間に対するカメラ座標系原点との位置姿勢、カメラとプロジェクタとの相対位置姿勢、ベースライン等の三角測量で必要なパラメータがある。また、パラメータとしては、ロボットを利用する場合には、ロボット座標系原点とカメラ座標系原点との相対的な位置姿勢、作業台における作業原点を示すワークスペース座標系とカメラ座標系原点との相対的な位置姿勢がある。これらのパラメータのうち、実際の計測空間に各装置を設置した状態では計測範囲や周辺の機器との配置関係等から校正が必要となる。情報処理装置100は、校正として、固定・変動するパラメータのうち、変動する可能性のあるパラメータを対象とすればよい。また、情報処理装置100は、全てのパラメータを対象とすれば、機器の障害として固定されている部分が外力により変形した場合等を検知することができる。情報処理装置100は、一度、校正が済んだ状態のパラメータの値を計測装置との対応と共にパラメータ保持部120で保持する。
偏差マップ保持部130は、形状保持部110の形状情報とパラメータ保持部120の三次元計測に関連するパラメータとを用いて、各パラメータによる偏差マップと校正が正しい状態での距離画像とをメモリ11に保持する。情報処理装置100は、注目しているパラメータの一つに対して僅かな値を加えた値を設定し、他のパラメータは変更をしないようにしておく。情報処理装置100は、そのパラメータのセットで生成された距離画像に対して、どのパラメータも変更が無い状態で算出した距離画像との差を計算する。パラメータの値が異なると、理想的な距離値とは若干異なる距離値が算出される。この距離値の違いは、距離画像の部位によって異なって表出する。例としてX方向のズレがある場合には、偏差はX方向に出現する。本実施形態の情報処理では、各パラメータのそれぞれ一つのパラメータを僅かに変化した際の偏差マップを用意しておくことで、画像ヤコビアンを画像の状態として事前に計算しておくことを意味する。そのため、計測装置にズレが発生した状態で計測した撮像画像は、校正が正しい状態の画像(登録画像)から僅かにズレが生じている。情報処理装置100は、その範囲が線形で近似できる程度であれば、偏差マップとの相関を用いて、どのパラメータのズレが大きいかを推定することができる。
撮像画像保持部140は、三次元計測した距離画像や画像をメモリ11に保持する。本実施形態では、カメラとプロジェクタとを利用した空間コード化法による距離画像計測を用い、距離画像を得ることとする。プロジェクタは、プロジェクタの投影画像のパターンの位置が特定できるようにグレーコードによる空間コード化法による複数の画像パターンを投影する。情報処理装置100は、グレーコードを復号化することで投影画像の位置を特定することができる。その際に、情報処理装置100は、パラメータ保持部120に保持されているレンズ・カメラのパラメータを使用する。
算出部150は、事前に校正時に登録している距離画像(登録画像)と装置のズレが生じている撮像画像保持部140の距離画像との画素ごとの差を偏差マップとして計算する。また、算出部150は、計算した偏差マップに対して、偏差マップ保持部130で保持している各パラメータの偏差マップとの相関計算を、2つの画素値の内積や値の二乗和の累積を計算することで、行うことができる。算出部150は、各パラメータの相関値(偏差マップ類似度算出結果)をメモリ11にリストとして保持しておく。
提示部160は、算出部150で算出された各パラメータの相関値のリストを用いて、パラメータ保持部120で保持されているパラメータを、三次元計測システムの計測装置との関連性と共に提示する。提示部160は、例えば、ディスプレイを用いて提示を行う。図3は提示部160によるディスプレイへの提示の一例を示す図である。提示部160は、文字列やグラフ、色、図形等のGUI要素を用いて利用者に提示する方法でよい。また、提示部160は、スピーカを用いて、音声合成により計算した相関値に関連する情報を読み上げてもよい。また、提示部160は、三次元計測システムの各計測装置に付与されたLED等の発光素子を用いて、パラメータの偏差が大きい装置のLEDを発光して利用者に提示する方法でもよい。
また、情報処理装置100は、マウス等の入力装置を介したユーザ操作に基づいて、提示部160で提示されている三次元計測システムの計測装置に対して校正指示を送信するようにしてもよい。この様にすることで速やかに校正を開始することができる。図3のディスプレイに表示された画面では、校正が必要な機器を示す部分に、「校正開始」ボタンのGUIが示されおり、利用者がマウスを用いてボタン部分をクリックすることで実際に情報処理装置100は、該当する装置の校正に係る情報処理を開始する。
図3に提示されている情報は、提示情報の一例である。「校正開始」ボタンは、パラメータの校正の開始を指示するオブジェクトの一例である。
次に各処理部の流れについて図4を用いて説明する。
図4Aは、ズレを検出する参照情報として校正が完了した時点での各パラメータの情報を登録する情報処理の一例を示すフローチャートである。
S100において、情報処理装置100は、各パラメータの校正が完了した以降に以下の登録処理を開始する。校正は、各装置構成や方式に依存する特定の方法があり、それを実行することとする。基本的にパラメータの登録が無い場合には、以降の処理ができないため1回以上の登録作業が必要である。
S110において、パラメータ保持部120は、三次元計測システムの各計測装置のパラメータをメモリ11の所定の領域に格納する。パラメータとしては、レンズの焦点距離、歪み係数、主点位置等の校正が必要な項目や、画素数、カラー画素の配列等の装置依存の数値も含まれる。また、パラメータとしては、計測環境の基準座標系に対する相対的な位置姿勢も含む。S110では、パラメータ保持部120は、計測する対象の3次元位置を算出する際に必要なパラメータをメモリ11の所定の領域に格納する。その際、パラメータ保持部120は、複数の計測装置に複数のパラメータが存在する場合、計測装置に関連付けを行って複数のパラメータをメモリ11に記憶して行くとよい。これにより、複数のカメラがある場合に、どのカメラのパラメータかを特定しやすくできる。校正が行われた値がファイルや不揮発性メモリに書き込まれている場合、パラメータ保持部120は、それらを読み込み、メモリ11の所定の領域に格納するようにしてもよい。また、パラメータ保持部120は、ディスプレイに表示されたGUIを介した利用者の入力操作に応じて、数値を入力してもよい。ネットワークで管理されている場合、パラメータ保持部120は、サーバーよりパラメータを取得し、メモリ11に格納するようにしてもよい。このような構成とすることにより、パラメータの値の入力作業を省力化できる。
S120において、形状保持部110は、計測対象の形状情報をメモリ11の所定の領域に保持する。形状保持部110は、計測対象の形状情報を、二次元画像形式の3次元情報として(X,Y,Z)の値を持つ形式で保持してもよいし、ランダムに、又は離散的にサンプリングした画面上の点に対応する距離値を持ったデータをリストの形式で保持してもよい。既にS110では校正が済んでいる状態であるため、形状保持部110は、登録する位置に配置された計測対象から、距離画像を取得し、その距離点を形状情報としてメモリ11に保持するようにしてもよい。更に、カメラを利用しているので計測対象物体の画像も同時に撮像することが可能である場合、形状保持部110は、画像を登録して後処理により3次元の位置に変換してもよい。その場合には、形状保持部110は、別の校正済みのカメラを用いてステレオ法により距離値を算出することができる。本実施形態の処理では、偏差マップを計測対象の表面の点に限定しているわけでは無いので、形状保持部110は、撮像画像の濃度勾配を求めて局所特徴量やエッジとして検出される画素に対して距離を求めて登録してもよい。また、カメラは、対象以外にも作業空間に固定しているジグや台座等のターゲットを撮像してもよいし、計測対象以外の部分も撮像してもよい。そして、形状保持部110は、これらを登録してもよい。距離撮像の情報をそのまま利用する方法を用いている場合には、特に対象以外の形状情報を知らなくても、距離画像の情報が利用できるため簡便に設定できる。
距離画像を登録する以外にも、形状情報としてカメラにより観測される計測対象物体表面のカメラ座標系での位置姿勢を用いることができる。対象のCADモデルやポリゴンモデル等の表面形状のモデルがある場合、形状保持部110は、カメラ座標系における対象モデルのモデル座標系を観察位置に合わせるように各頂点の座標変換を行う。このことで、形状保持部110は、カメラ座標系での計測対象の表面の座標を得ることができる。
S130において、偏差マップ保持部130は、S110で保持した各パラメータの値を僅かに変化させたときの距離画像と各パラメータの値を変化させないときの距離画像とから偏差マップを作成したものをメモリ11の所定の領域に保持する。
S140では、情報処理装置100は、一連の登録処理を終了する。
登録情報に対して、計測装置の設置位置やレンズのピント位置等のパラメータのどれがズレているかを処理する流れは図4Bに示す。
S200は、偏差情報提示処理の開始となる。開始のタイミングとしては、システムが立ち上がった時点でS200の処理を開始してもよいし、利用者がチェックを行いときの任意のタイミングでGUIでの指示によりS200の処理を開始してもよい。また、情報処理装置100は、作業の歩留まり状態を検出しておき、設定された定常状態のばらつきを越える状態が検知された場合に、S200の処理を開始してもよい。本実施形態の処理では、三次元計測システムの計測装置に関するパラメータがズレているかどうかを示すものであるため、何もズレていない場合には処理を開始しても結果としては異常なしとして処理を終えることができる。したがって、情報処理装置100は、定期的にシステムのタイマーを使って以下に示す処理を実行してもよい。
S210において、算出部150は、撮像画像保持部140を介してメモリ11から計測対象物体の撮像画像の読み出しを行い、チェックを行う対象画像を準備する。図4Aで説明したS120で、形状保持部110が距離画像を用いて形状情報を保持している場合、その撮像したときと同じ計測対象を配置しておく必要がある。これは、部品を対象としている場合には、正しく配置することが難しいが、部品を外した状態で部品以外の背景部分にある定盤や治具の情報を利用すればよい。これらが登録時と同じような配置となっていればよい。また、情報処理装置100は、定期的に撮像した画像をメモリ11等にファイルとして保存しておき、必要なときに対象の画像のファイルを読み出してもよい。これにより、過去の状態における障害検証を行うことも可能となる。
S220において、算出部150は、S210で読み出した撮像画像と校正済みのパラメータからシミュレーション等して、登録した画像(登録画像)との偏差マップを生成し、S130で偏差マップ保持部130が保持した偏差マップとの相関計算を行う。相関計算の方法としては、画像の輝度情報を正規化しておき、各画素の輝度比較を行う方法ができればよい。ズレている方向と、事前にパラメータを同じ方向に偏差させた画像とは、高い相関がある。相関の強度は数値として算出することができるので、算出部150は、各パラメータの偏差マップとの計算結果を保持しておく。算出部150は、各相関値をまとめて平均した値を偏差類似度として算出しておく。この値が高いほど、該当する偏差マップとの関連性が強いことを示す。ここでは、相関を計算する方法を述べたが、基本的には類似しているかどうかを示せる指標を用いれば何を使ってもよい。算出部150は、画像統計量や分布の特徴を算出して、その分布のモーメントを用いて類似度を求めることもできる。
S230において、提示部160は、S220で計算された結果を基に、パラメータのズレに関する情報を提示する。提示部160は、レンズに関するパラメータであれば、レンズのパラメータがズレていることを文字や写真、図、機体番号等の装置を特定できる形で提示すればよい。また、提示部160は、相関値の強度に応じてソートして大きい順に提示すれば、利用者がズレの原因の影響度の大きいものから確認することができ、点検・校正の手間を大幅に短縮できる。なお、情報処理装置100は、入力装置等を介した利用者の設定操作に応じて、事前に装置の振動等のばらつきの範囲の情報をメモリ11等に記憶しておいてもよい。ばらつきの範囲の情報がメモリ11等に記憶されている場合、提示部160は、ばらつきの範囲内の場合は、機器の測定ノイズとして該当するパラメータの情報は提示しないようにすることができる。このことにより、検査の対象の絞り込みを行うことができる。
S240において、情報処理装置100は、パラメータの偏差情報の提示処理を終了する。処理の結果としてパラメータのズレが無い場合、情報処理装置100は、異常無しの状態を返信するようにしておくことで、システムのスケジュールでパラメータのズレの検査を繰り返してもよい。それにより、パラメータがズレているかを定常的に検査することができるシステムとなる。情報処理装置100は、入力装置等を介した利用者のスケジュールの間隔の設定情報をメモリ11等に保持しておく。そして、情報処理装置100は、メモリ11等に保持した設定情報に基づき、設定された間隔で図4(B)の処理を実行するようにしてもよい。
本実施形態の情報処理により、三次元計測システムの各計測装置のどのパラメータにズレが生じているかの障害把握を迅速に行うことができ、障害対象の計測装置を優先的に校正することで障害復帰までの時間を大幅に短縮することができる。
<実施形態2>
実施形態1での算出部150は、各パラメータが独立であり、1つのパラメータがズレている場合について述べた。2つ以上のパラメータがズレている場合にも、それぞれのパラメータによる影響が独立である場合、算出部150は、パラメータの影響を線形結合で表すことができる。また、算出部150は、各偏差マップへの寄与率を多変量解析の方法を用いて、計算することで複数のパラメータが関与している場合の影響の割合について計算することができる。この場合、提示部160は、図3のディスプレイに示す例のように、複数のパラメータの候補を、具体的な寄与率の数値と共に表示すればよい。それにより、校正が必要な影響範囲によっては、複数の装置を同時にまとめて校正することも可能となり、利用者は、更に校正にかかる手間を減らすことができる。
<実施形態3>
情報処理装置100は、各パラメータの相関値のリスト等を、ディスプレイ以外にも、WEBサーバーのように情報をネットワークのクライアントから参照できるようにすることで提示するようにしてもよい。このようにすることで、パラメータの偏差情報を遠隔地からも確認できるようになる。その結果、装置に到達するまでの時間を短縮することができる。
また、修正や校正は作業に慣れていないと、利用者は手順を把握していない場合もある。そこで情報処理装置100は、入力装置等を介して提示部160によって提示された装置のうち、校正を実施したい装置が利用者によって選択されると、具体的な修正と校正の手続きとをマニュアル形式で提示するようにしてもよい。この様にすることで、利用者による校正の手順の間違い等を軽減することができる。例えば、提示部160は、WEBブラウザに図や手順の方法を記載したページを表示するようにしておけばよい。また、提示部160は、アニメーション付きで具体的な手順を提示してもよい。利用者が分かるように手順が提示できていればどのような情報提示のフォーマットでもよい。
<実施形態4>
三次元計測システムを構成する計測装置がどの方向にズレているかは、相関計算時の正負の値を利用することで方向を算出することができる。ズレの方向は、装置依存の座標系で表現されているため、例えば上下逆さまの方向に設置されているカメラでは直感的にはズレの方向と一致しない場合等、装置の修正方向がわかりにくい。そこで、算出部150は、設置されている各装置の座標系を、作業空間座標系に変換する。そして、提示部160は、そのズレの方向を利用者に提示する。このことで、装置のズレを修正する際に、どちらの方向に向きを直せばよいかを利用者は直感的に把握することができ、修正の正確さと実行時間を短縮することができる。また、算出部150は、ズレの程度も相関値から計算することができるので、修正の度合いも提示することができる。
<実施形態5>
図5に示すように情報処理装置100とロボットコントローラ270とを組み合わせて、部品の組み付け工程を動作させる場合にも上述した実施形態の処理は有効である。図5では、カメラ200とその配置パラメータ210、プロジェクタ220とその配置パラメータ230、ロボット260とその配置パラメータ280とを対象としている。情報処理装置100は、作業空間240での基準座標245と、その上にある校正のジグ250と、の情報を偏差マップとして登録する。情報処理装置100は、ディスプレイ170を使ってパラメータの状態を提示する。また、情報処理装置100は、ロボットコントローラ270を用いて、パラメータ校正のためにロボット260を制御することができる。ビンピッキング等で用いられるマシンビジョンの三次元計測の場合、ロボット260のハンドで校正ボードを把持することが可能な場合もある。その場合には、作業者が修正と校正の撮像とをしなくても、ロボット260にさせることができる。ロボット校正処理として、装置の設置条件はパラメータ保持部120で既知なので、情報処理装置100は、ロボットコントローラ270を制御し、所定の場所にロボット260を移動させる。そして、情報処理装置100は、ロボットコントローラ270を制御し、前述したズレの方向と大きさの情報を基に、装置のズレを修正することができる。次に、校正のジグ250をロボット260が把持して、それを所定の撮像方向・枚数で撮像できるように設置して校正を行えばよい。実際には、他の動作との兼ね合いがあるため、利用者がその動作を行う指示を提示部160等から行えるようになっていることは作業指示の効率化としても有効である。ロボットコントローラ270は、ロボットを制御する制御装置の一例である。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。図2の情報処理装置100の機能構成の一部又は全てはハードウェア構成として情報処理装置100に実装してもよい。また、図2に示した保持部の一部又は全ては、データ等を、メモリ11に記憶せず、情報処理装置100と通信可能な他の装置の所定のメモリ等に記憶するようにしてもよい。
以上、上述した各実施形態の処理によれば、パラメータの校正の手間を減らすことができる。また、誤差要因の特定に係るパラメータ等の情報を利用者に提示することで、再校正する部分を限定し易くすることができる。したがって、システムを正常系に戻すまでの時間を大幅に短縮することができる。
10 CPU
100 情報処理装置

Claims (10)

  1. 対象を三次元計測する計測装置が前記対象の三次元位置を算出する際に用いるカメラまたはレンズの少なくとも何れかのパラメータを、校正が済んだ状態で保持するパラメータ保持手段と、
    前記パラメータ保持手段に保持された複数のパラメータのそれぞれを微小変化させて対象を撮像した複数の画像毎に、前記パラメータ保持手段に保持されたパラメータで前記対象を撮像した登録画像との差分を示す第1のデータ群を保持する保持手段と、
    前記保持手段に前記第1のデータ群を保持した後の所定のタイミングにおいて前記対象を撮像した撮像画像と、前記登録画像と、の差分を示す第2のデータとの相関に基づいて特定した前記第1のデータ群のうちのデータに基づいて、前記複数のパラメータのうち前記校正が済んだ状態からずれが生じたパラメータを特定し出力する提示手段と、
    を有する情報処理装置。
  2. 前記第1のデータ群のデータと、前記第2のデータと、の類似度を前記複数のパラメータ毎に取得する取得手段を更に有し、
    前記提示手段は、前記類似度を出力する請求項1記載の情報処理装置。
  3. 前記提示手段は、前記取得手段によって取得された前記類似度の順に前記複数のパラメータのうち前記校正が済んだ状態からずれが生じたパラメータを出力する請求項2記載の情報処理装置。
  4. 前記提示手段は、前記第1のデータ群を更に出力する請求項1乃至3何れか1項記載の情報処理装置。
  5. 前記提示手段は、前記複数のパラメータ毎に前記第1のデータ群のデータに基づいて前記パラメータのずれの方向を出力する請求項1乃至4何れか1項記載の情報処理装置。
  6. 前記提示手段は、前記校正が済んだ状態からずれが生じたパラメータについて校正の手続の情報を出力する請求項1乃至5何れか1項記載の情報処理装置。
  7. 前記提示手段は、前記複数のパラメータのうち前記校正が済んだ状態からずれが生じたパラメータを含む画像データを表示し、提示する請求項1乃至6何れか1項記載の情報処理装置。
  8. 前記画像データには、前記計測装置が三次元位置を算出する際に用いる複数のパメータの校正の開始を指示するオブジェクトが更に含まれ、
    前記オブジェクトが選択された場合、前記計測装置に対して前記パラメータの校正に係る処理を開始する処理手段を更に有する請求項7記載の情報処理装置。
  9. 情報処理装置が実行する情報処理方法であって、
    対象を三次元計測する計測装置が前記対象の三次元位置を算出する際に用いるカメラまたはレンズの少なくとも何れかのパラメータを、校正が済んだ状態でパラメータ保持手段に保持するパラメータ保持ステップと、
    前記パラメータ保持手段に保持されたパラメータのそれぞれを微小変化させて対象を撮像した複数の画像毎に、前記パラメータ保持手段に保持されたパラメータで前記対象を撮像した登録画像との差分を示す第1のデータ群を保持手段に保持する保持ステップと、
    前記保持手段に前記第1のデータ群を保持した後の所定のタイミングにおいて前記対象を撮像した撮像画像と、前記登録画像と、の差分を示す第2のデータとの相関に基づいて特定した前記第1のデータ群のうちのデータに基づいて、前記複数のパラメータのうち前記校正が済んだ状態からずれが生じたパラメータを特定し出力する提示ステップと、
    を含む情報処理方法。
  10. コンピュータを、請求項1乃至8何れか1項記載の情報処理装置の各手段として機能させるためのプログラム。
JP2016230329A 2016-11-28 2016-11-28 情報処理装置、情報処理方法及びプログラム Active JP7179439B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016230329A JP7179439B2 (ja) 2016-11-28 2016-11-28 情報処理装置、情報処理方法及びプログラム
US15/818,416 US10967517B2 (en) 2016-11-28 2017-11-20 Information processing apparatus, method, and storage medium for presenting information for calibration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016230329A JP7179439B2 (ja) 2016-11-28 2016-11-28 情報処理装置、情報処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2018087715A JP2018087715A (ja) 2018-06-07
JP2018087715A5 JP2018087715A5 (ja) 2020-04-16
JP7179439B2 true JP7179439B2 (ja) 2022-11-29

Family

ID=62193408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016230329A Active JP7179439B2 (ja) 2016-11-28 2016-11-28 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US10967517B2 (ja)
JP (1) JP7179439B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047713A1 (en) * 2018-09-03 2020-03-12 Abb Schweiz Ag Method and apparatus for managing robot system
CN110111504A (zh) * 2019-05-10 2019-08-09 同方威视技术股份有限公司 自助快递柜及快递邮寄方法
JP2021135133A (ja) * 2020-02-26 2021-09-13 セイコーエプソン株式会社 電子機器の制御方法および電子機器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002046087A (ja) 2000-08-01 2002-02-12 Mitsubishi Heavy Ind Ltd 3次元位置計測方法及び計測装置並びにロボット制御装置
JP2009174981A (ja) 2008-01-24 2009-08-06 Brother Ind Ltd ミシン
JP2015202835A (ja) 2014-04-16 2015-11-16 株式会社デンソー 車載カメラの取り付け誤差表示制御装置及び取り付け誤差検出装置
JP2016170031A (ja) 2015-03-12 2016-09-23 セコム株式会社 三次元モデル処理装置およびカメラ校正システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4453119B2 (ja) 1999-06-08 2010-04-21 ソニー株式会社 カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
JP2008506953A (ja) * 2004-07-14 2008-03-06 ブレインテック カナダ インコーポレイテッド 機械視覚のための方法及び装置
US9734419B1 (en) * 2008-12-30 2017-08-15 Cognex Corporation System and method for validating camera calibration in a vision system
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
US10664994B2 (en) * 2013-02-25 2020-05-26 Cognex Corporation System and method for calibration of machine vision cameras along at least three discrete planes
JP6486679B2 (ja) * 2014-12-25 2019-03-20 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002046087A (ja) 2000-08-01 2002-02-12 Mitsubishi Heavy Ind Ltd 3次元位置計測方法及び計測装置並びにロボット制御装置
JP2009174981A (ja) 2008-01-24 2009-08-06 Brother Ind Ltd ミシン
JP2015202835A (ja) 2014-04-16 2015-11-16 株式会社デンソー 車載カメラの取り付け誤差表示制御装置及び取り付け誤差検出装置
JP2016170031A (ja) 2015-03-12 2016-09-23 セコム株式会社 三次元モデル処理装置およびカメラ校正システム

Also Published As

Publication number Publication date
JP2018087715A (ja) 2018-06-07
US10967517B2 (en) 2021-04-06
US20180147726A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
KR101604037B1 (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
JP6635690B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5496008B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP7037876B2 (ja) 自動工業検査における3dビジョンの使用
CN103366360B (zh) 信息处理设备和信息处理方法
JP2009511881A (ja) 実用的な3dビジョンシステムの方法および装置
US9449378B2 (en) System and method for processing stereoscopic vehicle information
JP2014013147A5 (ja)
JP2015090298A (ja) 情報処理装置、情報処理方法
JP2010528318A (ja) 2次元画像による3次元組立て検査
JP7179439B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102079258B1 (ko) 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법
JP7489670B2 (ja) 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置
JP2015031601A (ja) 3次元計測装置及び方法並びにプログラム
JP6180158B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム
WO2010013289A1 (ja) カメラ校正画像作成装置およびカメラ校正画像作成プログラム
KR20130075712A (ko) 레이저비전 센서 및 그 보정방법
WO2020012707A1 (ja) 3次元測定装置及び方法
JP2017198470A (ja) 計測装置、計測方法、システム及び物品の製造方法
CN113658270A (zh) 基于工件孔心的多目视觉标定的方法、装置、介质及系统
CN116563391B (zh) 一种基于机器视觉的激光结构自动标定方法
JP2008014857A (ja) プリント板の検査用座標取得装置、検査用座標取得方法、及び検査用座標取得プログラム
Karan Accuracy improvements of consumer-grade 3D sensors for robotic applications
EP2286297B1 (en) Stereoscopic measurement system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221116

R151 Written notification of patent or utility model registration

Ref document number: 7179439

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151