WO2021059438A1

WO2021059438A1 - 高さ測定装置

Info

Publication number: WO2021059438A1
Application number: PCT/JP2019/037892
Authority: WO
Inventors: 拓実東; 信夫大石
Original assignee: 株式会社Ｆｕｊｉ
Priority date: 2019-09-26
Filing date: 2019-09-26
Publication date: 2021-04-01
Also published as: EP4036517A1; JPWO2021059438A1; EP4036517A4; JP7221409B2; EP4036517B1

Abstract

高さ測定装置は、載置面の所定位置に載置された対象物を撮像し、撮像した対象物の二次元画像から対象物の輪郭を抽出する。続いて、各辺がカメラの視野の対応する辺と平行な矩形状の領域であって各辺が抽出した対象物の輪郭と外接する外接矩形領域を設定し、設定した外接矩形領域の４辺を所定量ずつ外側に拡張した拡張領域を設定する。次に、拡張領域がカメラの視野からはみ出ない範囲内で最大の視差が得られるように複数の撮像位置を決定する。そして、決定した複数の撮像位置でそれぞれ対象物を撮像し、複数の撮像位置でそれぞれ撮像された対象物の二次元画像の視差から対象物の高さを推定する。

Description

高さ測定装置

　本明細書は、高さ測定装置について開示する。

　従来、高さ測定装置として、ロボットアームの位置姿勢を複数箇所に変更しながらロボットアームに取り付けられたカメラで被作業物を撮像し、各位置姿勢ごとの画像とそのときのカメラの位置姿勢とから三角測量法によって被作業物の三次元位置を計算するものが提案されている（例えば、特許文献１参照）。

特開平５－２４５７９１号公報

　上述した高さ測定装置では、カメラの視野の大きさや対象物の大きさによっては、十分な視差が得られず、対象物の高さを精度良く測定することができない場合が生じる。

　本開示は、対象物の高さを精度良く測定することを主目的とする。

　本開示は、上述の主目的を達成するために以下の手段を採った。

　本開示の高さ測定装置は、
　対象物の高さを測定する高さ測定装置であって、
　矩形状の視野を有するカメラと、
　前記カメラと前記対象物とを相対移動させる移動装置と、
　載置面の所定位置に載置された対象物が撮像されるよう前記移動装置と前記カメラとを制御し、撮像された対象物の二次元画像から前記対象物の輪郭を抽出し、各辺が前記カメラの視野の対応する辺と平行な矩形状の領域であって各辺が抽出した対象物の輪郭と外接する外接矩形領域を設定し、設定した外接矩形領域の４辺を所定量ずつ外側に拡張した拡張領域を設定し、設定した拡張領域が前記カメラの視野からはみ出ない範囲内で最大の視差が得られるように複数の撮像位置を決定し、決定した複数の撮像位置でそれぞれ前記対象物が撮像されるよう前記移動装置と前記カメラとを制御し、前記複数の撮像位置でそれぞれ撮像された対象物の二次元画像の視差から前記対象物の高さを推定する制御装置と、
　を備えることを要旨とする。

　この本開示の高さ測定装置は、載置面の所定位置に載置された対象物を撮像し、撮像した対象物の二次元画像から対象物の輪郭を抽出する。続いて、高さ測定装置は、各辺がカメラの視野の対応する辺と平行な矩形状の領域であって各辺が抽出した対象物の輪郭と外接する外接矩形領域を設定し、設定した外接矩形領域の４辺を所定量ずつ外側に拡張した拡張領域を設定する。次に、高さ測定装置は、設定した拡張領域がカメラの視野からはみ出ない範囲内で最大の視差が得られるように複数の撮像位置を決定する。そして、高さ測定装置は、決定した複数の撮像位置でそれぞれ対象物を撮像し、複数の撮像位置でそれぞれ撮像された対象物の二次元画像の視差から対象物の高さを推定する。これにより、対象物のサイズが比較的大きい場合であっても、十分な視差を確保できるように複数の撮像位置を決定することができる。この結果、対象物の高さを精度良く測定することができる。

本実施形態の高さ測定装置を含むロボットシステム１０の構成の概略を示す構成図。ワーク高さ測定処理の一例を示すフローチャート。外接矩形領域Ａの一例を示す説明図である。ワーク検出領域Ｂの一例を示す説明図である。拡張幅ｅｘｗを説明するための説明図である。ワークＷを撮像する際の視点の設定の様子を示す説明図である。

　次に、本開示を実施するための形態について図面を参照しながら説明する。

　図１は本実施形態の高さ測定装置を含むロボットシステム１０の構成の概略を示す構成図である。なお、図１の左右方向がＸ軸方向であり、前後方向がＹ軸方向であり、上下方向がＺ軸方向である。ロボットシステム１０は、図示するように、供給装置１２と、搬送装置１４と、作業ロボット２０と、制御装置１８とを備える。供給装置１２は、前後方向（Ｙ軸方向）に間隔をおいて配置された駆動ローラおよび従動ローラに架け渡されたコンベアベルト１２ａを備え、駆動ローラの回転駆動により、コンベアベルト１２ａ上の機械部品や電子部品などの複数のワークｗを後方から前方へ供給する。搬送装置１４は、コンベアベルトにより構成され、ワークｗの供給方向と直交する方向（Ｘ軸方向）にトレイＴを搬送し、中央位置にて位置決め保持する。制御装置１８は、ＣＰＵやＲＯＭ，ＲＡＭ，ＨＤＤ，入出力ポートなどを備え、供給装置１２と搬送装置１４と作業ロボット２０の各動作を制御する。

　作業ロボット２０は、先端に作業ツールとしてのチャックを備える垂直多関節のロボットアーム２２と、ロボットアーム２２の先端に取り付けられるカメラ２４と、カメラ２４により撮像された画像を処理する画像処理装置３０とを備える。作業ロボット２０は、ロボットアーム２２の作動により、コンベアベルト１２ａ上のワークｗをチャックでピックアップして、トレイＴ上にプレースする作業や所定箇所に組み付ける作業などを行なう。カメラ２４は、ワークｗの位置，姿勢および高さを認識するために二次元画像を撮像し、画像処理装置３０に出力する。画像処理装置３０は、画像処理に必要なプログラムや三次元形状モデルＭなどを記憶する記憶部３２を備え、キーボードやマウス等の入力装置３８と、ディスプレイ等の出力装置３９とが接続されている。以下、ワークｗの高さを認識するための処理について説明する。なお、ワークｗの位置および姿勢を認識するための処理については本開示の要旨をなさないから、説明を省略する。ここで、カメラ２４と、制御装置１８と、画像処理装置３０とが本開示の高さ測定装置に相当する。

　図２は、ワーク高さ測定処理の一例を示すフローチャートである。この処理は、主として画像処理装置３０の機能により実行される。ワーク高さ測定処理では、画像処理装置３０は、まず、撮像領域の中心にワークｗを配置するように出力装置３９に指示を出力する（Ｓ１００）。作業者は、出力装置３９に出力された指示に従ってワークｗを配置する。続いて、画像処理装置３０は、制御装置１８に指示信号を送信して作業ロボット２０にカメラ２４をその視野Ｓの中心である視点Ｅ０上に移動させ（Ｓ１１０）、視点Ｅ０上の所定高さ位置でカメラ２４により二次元画像Ｇ０を撮像させる（Ｓ１２０）。これにより、二次元画像Ｇ０は、ワークｗを真上から撮像した画像となる。

　画像処理装置３０は、二次元画像Ｇ０を撮像すると、二次元画像Ｇ０からワークｗの輪郭を抽出する（Ｓ１３０）。続いて、画像処理装置３０は、抽出したワークｗの輪郭に外接する外接矩形領域Ａを設定する（Ｓ１４０）。図３は、外接矩形領域Ａの一例を示す説明図である。外接矩形領域Ａは、図示するように、その各辺が、カメラ２４の矩形状の視野Ｓの対応する辺と平行となり、且つ、ワークｗの輪郭と外接する矩形状の領域として設定される。そして、画像処理装置３０は、図４に示すように、外接矩形領域Ａの各辺を外側に所定幅（拡張幅ｅｘｗ）ずつ拡張させた矩形状の拡張領域をワーク検出領域Ｂとして設定する（Ｓ１５０）。拡張幅ｅｘｗは、次式（１）により演算される。式（１）中、「ＷＨ」は、本開示の高さ測定装置が測定可能なワークの最大高さを示す。「Ｗ」，「Ｈ」は、カメラ２４の視野Ｓの横幅，縦幅を示す。「ＷＤ」は、カメラ２４とワークｗの載置面との距離を示す。拡張幅ｅｘｗは、図５に示すように、カメラ２４の視野Ｓの中心から離れた位置でワークｗを撮像した場合に、撮像画像の中心とワークＷの位置とを結ぶ方向におけるワークＷの像の長さを示す。図６に示すように、撮像対象のワークｗの高さが最大高さＷＨの範囲内であれば、カメラ２４の視野Ｓの外縁よりも拡張幅ｅｘｗだけ内側にワークｗが来るようにしてワークｗを撮像することにより、カメラ２４の視野Ｓからワークｗがはみ出さないようにすることができる。

　画像処理装置３０は、ワーク検出領域Ｂがカメラ２４の視野Ｓの四隅に来るように４つの視点Ｅ１～Ｅ４を設定する（Ｓ１６０）。続いて、画像処理装置３０は、各視点Ｅ１～Ｅ４上にカメラ２４を順次水平移動させてカメラ２４により二次元画像Ｇｉ（ｉ＝１，２，３，４）を撮像する（Ｓ１７０）。そして、画像処理装置３０は、各二次元画像Ｇｉからワークｗの高さを算出して（Ｓ１８０）、本処理を終了する。この処理は、各二次元画像Ｇｉからワークｗを認識し、認識したワークｗの視差から三角測量法によってワークｗの高さを算出することにより行なう。撮像対象のワークｗの高さが最大高さＷＨの範囲内にあれば、４つの視点Ｅ１～Ｅ４でそれぞれワークＷを撮像することによりワークＷがカメラ２４の視野Ｓからはみ出すことがなく、複数の二次元画像Ｇｉでそれぞれ認識されるワークｗ同士の視差を最大化することができる。これにより、良好な精度でワークｗの高さを測定することができる。

　ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。実施形態のワークｗが対象物に相当し、カメラ２４がカメラに相当し、図２のワーク高さ測定処理を実行する画像処理装置３０と制御装置１８とが制御装置に相当する。

　なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

　例えば、上述した実施形態では、ワークＷの高さを測定するために二次元画像Ｇｉを撮像するカメラ２４の複数の視点として、視野Ｓの四隅のそれぞれにワーク検出領域Ｂが来る４視点を例示した。しかし、複数の二次元画像Ｇｉでそれぞれ認識されるワークｗの視差によってワークｗの高さを測定できればよいから、視点の数は２以上であればよい。

　上述した実施形態では、ワークＷに対してカメラ２４が移動することで複数の視点で二次元画像Ｇｉを撮像するものとした。しかし、ワークｗとカメラ２４とが相対的に移動して複数の視点で二次元画像Ｇｉが撮像されればよいから、カメラ２４ではなくワークｗが移動してもよい。

　上述した本実施形態では、作業ロボット２０として垂直多関節ロボットを例示したが、これに限られず、水平多関節ロボットやパラレルリンクロボット、直交ロボットなどであってもよい。また、ワークの高さを用いて作業を行なう装置であれば、如何なる装置に適用されてもよい。また、カメラを備える専用の高さ測定装置を用いて対象物の高さを測定してもよい。

　以上説明したように、本開示の高さ測定装置は、対象物の高さを測定する高さ測定装置であって、矩形状の視野を有するカメラと、前記カメラと前記対象物とを相対移動させる移動装置と、載置面の所定位置に載置された対象物が撮像されるよう前記移動装置と前記カメラとを制御し、撮像された対象物の二次元画像から前記対象物の輪郭を抽出し、各辺が前記カメラの視野の対応する辺と平行な矩形状の領域であって各辺が抽出した対象物の輪郭と外接する外接矩形領域を設定し、設定した外接矩形領域の４辺を所定量ずつ外側に拡張した拡張領域を設定し、設定した拡張領域が前記カメラの視野からはみ出ない範囲内で最大の視差が得られるように複数の撮像位置を決定し、決定した複数の撮像位置でそれぞれ前記対象物が撮像されるよう前記移動装置と前記カメラとを制御し、前記複数の撮像位置でそれぞれ撮像された対象物の二次元画像の視差から前記対象物の高さを推定する制御装置と、を備えることを要旨とする。

　こうした本開示の高さ測定装置において、前記所定量は、前記所定量をｅｘｗとし、対象物の測定可能な最大高さをＷＨとし、前記視野の横幅の長さをＷとし、前記視野の縦幅の長さをＨとし、前記カメラと前記載置面との距離をＷＤとしたときに、次式（１）により演算されるものとしてもよい。こうすれば、対象物の最大高さの範囲内で、対象物の高さを精度良く測定することができる。

　また、本開示の高さ測定装置において、前記複数の撮像位置は、少なくとも前記カメラの視野の四隅で前記対象物が撮像される撮像位置を含むものとしてもよい。

　本開示は、高さ測定装置の製造産業などに利用可能である。

　１０　ロボットシステム、１２　供給装置、１２ａ　コンベアベルト、１４　搬送装置、１８　制御装置、２０　作業ロボット、２２　ロボットアーム、２４　カメラ、３０　画像処理装置、３２　記憶部、３８　入力装置、３９　出力装置、Ｍ　三次元形状モデル、Ｔ　トレイ、Ｗ　ワーク。

Claims

　対象物の高さを測定する高さ測定装置であって、
　矩形状の視野を有するカメラと、
　前記カメラと前記対象物とを相対移動させる移動装置と、
　載置面の所定位置に載置された対象物が撮像されるよう前記移動装置と前記カメラとを制御し、撮像された対象物の二次元画像から前記対象物の輪郭を抽出し、各辺が前記カメラの視野の対応する辺と平行な矩形状の領域であって各辺が抽出した対象物の輪郭と外接する外接矩形領域を設定し、設定した外接矩形領域の４辺を所定量ずつ外側に拡張した拡張領域を設定し、設定した拡張領域が前記カメラの視野からはみ出ない範囲内で最大の視差が得られるように複数の撮像位置を決定し、決定した複数の撮像位置でそれぞれ前記対象物が撮像されるよう前記移動装置と前記カメラとを制御し、前記複数の撮像位置でそれぞれ撮像された対象物の二次元画像の視差から前記対象物の高さを推定する制御装置と、
　を備える高さ測定装置。
　請求項１に記載の高さ測定装置であって、
　前記所定量は、前記所定量をｅｘｗとし、対象物の測定可能な最大高さをＷＨとし、前記視野の横幅の長さをＷとし、前記視野の縦幅の長さをＨとし、前記カメラと前記載置面との距離をＷＤとしたときに、次式（１）により演算される、
　高さ測定装置。
　請求項１または２に記載の高さ測定装置であって、
　前記複数の撮像位置は、少なくとも前記カメラの視野の四隅で前記対象物が撮像される撮像位置を含む、
　高さ測定装置。