JP6772630B2 - 三次元計測装置及び三次元物体認識方法 - Google Patents

三次元計測装置及び三次元物体認識方法 Download PDF

Info

Publication number
JP6772630B2
JP6772630B2 JP2016149401A JP2016149401A JP6772630B2 JP 6772630 B2 JP6772630 B2 JP 6772630B2 JP 2016149401 A JP2016149401 A JP 2016149401A JP 2016149401 A JP2016149401 A JP 2016149401A JP 6772630 B2 JP6772630 B2 JP 6772630B2
Authority
JP
Japan
Prior art keywords
region
imaging
size
unit
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016149401A
Other languages
English (en)
Other versions
JP2018017653A (ja
JP2018017653A5 (ja
Inventor
智紀 原田
智紀 原田
橋本 浩一
浩一 橋本
翔悟 荒井
翔悟 荒井
俊樹 房州
俊樹 房州
Original Assignee
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セイコーエプソン株式会社 filed Critical セイコーエプソン株式会社
Priority to JP2016149401A priority Critical patent/JP6772630B2/ja
Publication of JP2018017653A publication Critical patent/JP2018017653A/ja
Publication of JP2018017653A5 publication Critical patent/JP2018017653A5/ja
Application granted granted Critical
Publication of JP6772630B2 publication Critical patent/JP6772630B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

この発明は、三次元計測装置及び三次元物体認識方法に関する。
対象物のモデルに基づいて対象物の位置及び姿勢を算出し、算出した当該位置及び姿勢に基づいてロボットに所定の作業を行わせる技術の研究や開発が行われている。
これに関し、パターン投光手段によりパターン光を計測対象物に投光し、パターン光が投光された計測対象物を複数の撮像手段によりそれぞれ異なる方向から撮像し、パターン投光手段とそれぞれの撮像手段との間の校正を校正手段により行い、それぞれの撮像手段により撮像された画像に基づいて、それぞれの三次元点群を三次元点群計測手段により計測し、三次元点群計測手段により計測されたそれぞれの三次元点群を校正手段により得られた校正結果に基づいて所定の座標系に射影し、それぞれの信頼度を比較することによりそれぞれの三次元点群の計測結果を統合する三次元計測装置が知られている(特許文献1参照)。
特開2015−21862号公報
このような三次元計測装置では、対象物が光沢を有する物体や半透明な物体である場合、3台以上の撮像手段を用いた位相シフト法を用いることで、対象物の光学特性によって三次元点群の計測結果の精度が低下してしまうことを抑制させていた。しかしながら、撮像手段の数を増やすことは、三次元計測装置の使用に関する費用を増大させてしまうことに加えて、3台以上の撮像手段を設置するために必要な空間を確保しなければならなくなる。
上記課題の少なくとも一つを解決するために本発明の一態様は、対象物を含む撮像領域が第1撮像部により撮像された第1撮像画像と、前記撮像領域が第2撮像部により撮像された第2撮像画像とに基づいて前記対象物の三次元形状を計測する三次元計測装置であって、前記第1撮像画像と前記第2撮像画像に基づいて、前記第1撮像画像内において所定処理を行う対象となる第1対象領域のうち所定条件を満たす第1領域の大きさと、前記第2撮像画像内において前記所定処理を行う対象となる第2対象領域のうち前記所定条件を満たす第2領域の大きさとの少なくとも一方に基づいて、前記第1撮像部及び前記第2撮像部が前記対象物を撮像する際の撮像条件を変化させ三次元計測する、三次元計測装置である。
この構成により、三次元計測装置は、第1撮像画像と第2撮像画像に基づいて、第1撮像画像内において所定処理を行う対象となる第1対象領域のうち所定条件を満たす第1領域の大きさと、第2撮像画像内において所定処理を行う対象となる第2対象領域のうち所定条件を満たす第2領域の大きさとの少なくとも一方に基づいて、第1撮像部及び第2撮像部が対象物を撮像する際の撮像条件を変化させ三次元計測を行う。これにより、三次元計測装置は、対象物が光沢を有する物体や半透明な物体であっても、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、本発明の他の態様は、三次元計測装置において、前記第1対象領域を前記第1領域の大きさに応じて変化させ、前記第2対象領域を前記第2領域の大きさに応じて変化させる、構成が用いられてもよい。
この構成により、三次元計測装置は、第1対象領域を第1領域の大きさに応じて変化させ、第2対象領域を第2領域の大きさに応じて変化させる。これにより、三次元計測装置は、第1領域の大きさに応じて変化させた第1対象領域のうちの所定条件を満たす第1領域の大きさと、第2領域の大きさに応じて変化させた第2対象領域のうちの所定条件を満たす第2領域の大きさとの少なくとも一方に基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、本発明の他の態様は、三次元計測装置において、前記第1領域の大きさは、前記第1領域に含まれる画素数によって表され、前記第2領域の大きさは、前記第2領域に含まれる画素数によって表される、構成が用いられてもよい。
この構成により、三次元計測装置では、第1領域の大きさは、第1領域に含まれる画素数によって表され、第2領域の大きさは、第2領域に含まれる画素数によって表される。これにより、三次元計測装置は、第1領域に含まれる画素数と、第2領域に含まれる画素数の少なくとも一方に基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、本発明の他の態様は、三次元計測装置において、前記撮像条件は、前記第1撮像部と前記第2撮像部との少なくとも一方の撮像に関するパラメーターである撮像パラメーターによって表され、前記第1領域の大きさと前記第2領域の大きさとの少なくとも一方に基づいて、前記撮像パラメーターを変化させる、構成が用いられてもよい。
この構成により、三次元計測装置は、第1領域の大きさと第2領域の大きさとの少なくとも一方に基づいて、撮像パラメーターを変化させる。これにより、三次元計測装置は、第1領域の大きさと第2領域の大きさとの少なくとも一方に基づく撮像パラメーターに基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、本発明の他の態様は、三次元計測装置において、前記第1対象領域に対する前記第1領域の大きさの割合と、前記第2対象領域に対する前記第2領域の大きさの割合との少なくとも一方に基づいて前記撮像パラメーターを変化させる、構成が用いられてもよい。
この構成により、三次元計測装置は、第1対象領域に対する第1領域の大きさの割合と、第2対象領域に対する第2領域の大きさの割合との少なくとも一方に基づいて撮像パラメーターを変化させる。これにより、三次元計測装置は、第1対象領域に対する第1領域の大きさの割合と、第2対象領域に対する第2領域の大きさの割合との少なくとも一方に基づく撮像パラメーターに基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、本発明の他の態様は、三次元計測装置において、前記撮像領域には、投射部から投射画像が投射され、前記撮像条件は、前記投射部の投射に関するパラメーターである投射パラメーターによって表され、前記第1領域の大きさと前記第2領域の大きさとの少なくとも一方に基づいて、前記投射パラメーターを変化させる、構成が用いられてもよい。
この構成により、三次元計測装置は、第1領域の大きさと第2領域の大きさとの少なくとも一方に基づいて、投射パラメーターを変化させる。これにより、三次元計測装置は、第1領域の大きさと第2領域の大きさとの少なくとも一方に基づく投射パラメーターに基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、本発明の他の態様は、三次元計測装置において、前記第1対象領域に対する前記第1領域の大きさの割合と、前記第2対象領域に対する前記第2領域の大きさの割合との少なくとも一方に基づいて前記投射パラメーターを変化させる、構成が用いられてもよい。
この構成により、三次元計測装置では、第1対象領域に対する第1領域の大きさの割合と、第2対象領域に対する第2領域の大きさの割合との少なくとも一方に基づいて投射パラメーターを変化させる。これにより、三次元計測装置は、第1領域の大きさの割合と、第1対象領域に対する第1領域の大きさの割合との少なくとも一方に基づいて投射パラメーターを変化させ、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、本発明の他の態様は、三次元計測装置において、前記所定条件は、第1所定閾値以上の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域であることと、第2所定閾値以下の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域であることとのうち少なくとも一方である、構成が用いられていてもよい。
この構成により、三次元計測装置は、第1撮像画像と第2撮像画像に基づいて、第1撮像画像内において所定処理を行う対象となる第1対象領域のうち第1所定閾値以上の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域である第1領域の大きさと、第2撮像画像内において所定処理を行う対象となる第2対象領域のうち第2所定閾値以下の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域である第2領域の大きさとの少なくとも一方に基づいて、第1撮像部及び第2撮像部が対象物を撮像する際の撮像条件を変化させ三次元計測を行う。これにより、三次元計測装置は、第1対象領域のうち第1所定閾値以上の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域である第1領域の大きさと、第2対象領域のうち第2所定閾値以下の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域である第2領域の大きさとの少なくとも一方に基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、本発明の他の態様は、三次元計測装置において、前記第1領域及び前記第2領域は、白飛びが生じている領域である、構成が用いられていてもよい。
この構成により、三次元計測装置は、第1撮像画像と第2撮像画像に基づいて、白飛びが生じている領域である第1領域の大きさと、白飛びが生じている領域である第2領域の大きさとの少なくとも一方に基づいて、第1撮像部及び第2撮像部が対象物を撮像する際の撮像条件を変化させ三次元計測を行う。これにより、三次元計測装置は、対象物の光学特性によって白飛びが生じている領域に基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、本発明の他の態様は、三次元計測装置において、前記撮像条件を変化させた後に前記第1撮像部によって撮像された前記第1撮像画像と、前記撮像条件を変化させた後に前記第2撮像部によって撮像された前記第2撮像画像とに基づいて前記対象物の三次元形状を表す三次元点群を生成し、生成した三次元点群に基づいて前記対象物の位置及び姿勢を算出する、構成が用いられてもよい。
この構成により、三次元計測装置は、撮像条件を変化させた後に第1撮像部によって撮像された第1撮像画像と、撮像条件を変化させた後に第2撮像部によって撮像された第2撮像画像とに基づいて対象物の三次元形状を表す三次元点群を生成し、生成した三次元点群に基づいて対象物の位置及び姿勢を算出する。これにより、三次元計測装置は、精度よく算出した対象物の位置及び姿勢を他の装置に出力することができる。
また、本発明の他の態様は、上記に記載の三次元計測装置が算出した前記対象物の位置及び姿勢に基づいて所定作業を行う、ロボットである。
この構成により、ロボットは、三次元計測装置が算出した対象物の位置及び姿勢に基づいて所定作業を行う。これにより、ロボットは、高い精度で所定作業を行うことができる。
また、本発明の他の態様は、上記に記載のロボットに前記所定作業を行わせる、ロボット制御装置である。
この構成により、ロボット制御装置は、ロボットに所定作業を行わせる。これにより、
ロボット制御装置は、高い精度で所定作業をロボットに行わせることができる。
また、本発明の他の態様は、前記第1撮像部と、前記第2撮像部と、上記に記載のロボットと、上記に記載のロボット制御装置と、を備えるロボットシステムである。
この構成により、ロボットシステムは、三次元計測装置が三次元計測を行った結果に基づいてロボットに所定作業を行わせる。これにより、ロボットシステムは、高い精度で所定作業をロボットに行わせることができる。
以上により、三次元計測装置は、第1撮像画像と第2撮像画像に基づいて、第1撮像画像内において所定処理を行う対象となる第1対象領域のうち所定条件を満たす第1領域の大きさと、第2撮像画像内において所定処理を行う対象となる第2対象領域のうち所定条件を満たす第2領域の大きさとの少なくとも一方に基づいて、第1撮像部及び第2撮像部が対象物を撮像する際の撮像条件を変化させ三次元計測を行う。これにより、三次元計測装置は、対象物が光沢を有する物体や半透明な物体であっても、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、ロボットは、三次元計測装置が算出した対象物の位置及び姿勢に基づいて所定作業を行う。これにより、ロボットは、高い精度で所定作業を行うことができる。
また、ロボット制御装置、及びロボットシステムは、三次元計測装置が三次元計測を行った結果に基づいてロボットに所定作業を行わせる。これにより、ロボット制御装置、及びロボットシステムは、高い精度で所定作業をロボットに行わせることができる。
本発明の一態様は、対象物を含む撮像領域が第1撮像部により撮像された第1撮像画像と、前記撮像領域が第2撮像部により撮像された第2撮像画像とに基づいて前記対象物の三次元形状を計測する三次元物体認識方法であって、前記第1撮像画像と前記第2撮像画像に基づいて、前記第1撮像画像内において所定処理を行う対象となる第1対象領域のうち所定条件を満たす第1領域の大きさと、前記第2撮像画像内において前記所定処理を行う対象となる第2対象領域のうち前記所定条件を満たす第2領域の大きさとの少なくとも一方に基づいて、前記第1撮像部及び前記第2撮像部が前記対象物を撮像する際の撮像条件を変化させ三次元計測する、三次元物体認識方法であり、前記第1対象領域を前記第1領域の大きさに応じて変化させ、前記第2対象領域を前記第2領域の大きさに応じて変化させる、ものであって、前記第1対象領域を前記第1領域の大きさに応じて小さくし、前記第2対象領域を前記第2領域の大きさに応じて小さくする、三次元物体認識方法である。
実施形態に係る三次元計測システム1の構成の一例を示す図である。 投射画像の一例を示す図である。 三次元計測装置30のハードウェア構成の一例を示す図である。 三次元計測装置30の機能構成の一例を示す図である。 三次元計測装置30が三次元計測を行う処理の流れの一例を示すフローチャートである。 第1撮像部11により対象物Oが撮像された第1撮像画像の一例を示す図である。 第1領域に基づいて領域検出部367により更新された第1対象領域の一例を示す図である。 撮像条件変更部369が第1撮像部11の撮像パラメーターを変更した後の第1撮像部11により撮像された第1撮像画像の一例を示す図である。 撮像条件変更部369が第1撮像部11の撮像パラメーターを変更した前の第1撮像部11により撮像された第1撮像画像の一例を示す図である。 撮像条件変更部369が第1撮像部11の撮像パラメーターを変更した後の第1撮像部11により撮像された第1撮像画像と、図示しない第2撮像画像に基づいて生成された三次元点群の一例を示す図である。 撮像条件変更部369が第1撮像部11の撮像パラメーターを変更した前の第1撮像部11により撮像された第1撮像画像と、図示しない第2撮像画像に基づいて生成された三次元点群の一例を示す図である。 実施形態の変形例に係るロボットシステム2の構成の一例を示す図である。
<実施形態>
以下、本発明の実施形態について、図面を参照して説明する。
<三次元計測システムの構成>
まず、三次元計測システム1の構成について説明する。
図1は、実施形態に係る三次元計測システム1の構成の一例を示す図である。三次元計測システム1は、投射部5と、撮像部10と、三次元計測装置30を備える。
投射部5は、例えば、投射画像を投射するための液晶ライトバルブや投射レンズ、液晶駆動部、光源として超高圧水銀ランプやメタルハライドランプ等を備えるプロジェクターである。投射部5は、図1に示した作業台TBの上面に載置された対象物Oを含む範囲である投射範囲PAに投射画像を投射可能な位置に設置される。
作業台TBは、例えば、テーブル等の台である。なお、作業台TBは、テーブルに代えて、対象物Oを載置することが可能な台であれば、他の台であってもよい。
対象物Oは、例えば、製品に組み付けるプレート、ネジ、ボルト等の産業用の部品や部材である。図1では、図の簡略化のため、対象物Oを直方体形状の物体として表している。なお、対象物Oは、産業用の部品や部材に代えて、日用品や生体等の他の物体であってもよい。また、対象物Oの形状は、直方体形状に代えて、他の形状であってもよい。
また、対象物Oは、例えば、投射部5により投射された光の意図しない反射を発生させる光学特性を有する物体である。具体的には、対象物Oは、投射部5により光が投射される表面に光沢を有する物体である。なお、対象物Oは、当該表面の少なくとも一部に光沢を有する物体であってもよい。また、対象物Oは、投射部5により投射された光の意図しない反射を発生させる光学特性を有する物体に代えて、当該光を透過させる光学特性を有する物体であってもよい。具体的には、対象物Oは、投射部5により光が投射される表面が透明又は半透明な物体であってもよい。また、対象物Oは、当該表面の少なくとも一部が透明又は半透明な物体であってもよい。
投射部5は、ケーブルによって三次元計測装置30と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット(登録商標)やUSB(Universal Serial Bus)等の規格によって行われる。なお、投射部5は、Wi−Fi(登録商標)等の通信規格により行われる無線通信によって三次元計測装置30と接続される構成であってもよい。
撮像部10は、第1撮像部11と、第2撮像部12とを備えたステレオカメラである。撮像部10は、図1に示した作業台TBの上面に載置された対象物Oを含む範囲である撮像範囲CAを、第1撮像部11と第2撮像部12との両方が撮像可能な位置に設置される。以下では、一例として、投射範囲PAの全体が撮像範囲CAの内側に含まれる場合について説明する。なお、撮像範囲CAは、これに代えて、投射範囲PAと部分的に重なる構成であってもよく、全体が投射範囲PAの内側に含まれる構成であってもよい。
第1撮像部11は、例えば、集光された光を電気信号に変換する撮像素子であるCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を備えたカメラである。
第2撮像部12は、例えば、集光された光を電気信号に変換する撮像素子であるCCDやCMOS等を備えたカメラである。
第1撮像部11及び第2撮像部12は、ケーブルによって三次元計測装置30と通信可能に接続されている。なお、ケーブルを介した有線通信は、例えば、イーサネット(登録商標)やUSB等の規格によって行われる。また、第1撮像部11と第2撮像部12のいずれか一方又は両方は、Wi−Fi(登録商標)等の通信規格により行われる無線通信によって三次元計測装置30と接続される構成であってもよい。
三次元計測装置30は、例えば、ワークステーションやデスクトップPC(Personal Computer)、ノートPC、タブレットPC、多機能携帯電話端末(スマートフォン)、通信機能付きの電子書籍リーダー、PDA(Personal Digital Assistant)等の情報処理装置である。
三次元計測装置30は、投射部5に投射画像を投射範囲PAへ投射させる。三次元計測装置30は、投射画像が投射された投射範囲PAを含む撮像範囲CAを第1撮像部11及び第2撮像部12にステレオ撮像させる。三次元計測装置30は、第1撮像部11及び第2撮像部12がステレオ撮像した撮像画像を第1撮像部11及び第2撮像部12のそれぞれから取得する。三次元計測装置30は、取得した当該撮像画像に基づく三次元計測として、当該撮像画像に基づいて対象物Oの三次元形状を表す三次元点群を生成する。具体的には、三次元計測装置30は、当該撮像画像に基づいて、当該撮像画像に含まれる対象物Oの表面の各点の三次元位置(三次元座標)を検出する。三次元計測装置30は、検出した当該三次元位置に基づいて当該表面の三次元形状を表す点群である三次元点群を生成する。すなわち、三次元点群を構成する各点は、三次元位置を示す。当該三次元位置は、ワールド座標系WCにおける三次元位置であってもよく、ロボット座標系RCにおける三次元位置であってもよく、他の三次元座標系における三次元位置であってもよい。以下では、一例として、当該三次元位置が、ワールド座標系WCにおける三次元位置である場合について説明する。なお、三次元計測装置30が当撮像該画像から三次元点群を生成する方法は、既知の方法であってもよく、これから開発される方法であってもよい。三次元計測装置30は、生成した三次元点群に基づいて、対象物Oの位置及び姿勢を算出する。
<三次元計測装置が行う処理の概要>
以下、三次元計測装置30が行う処理の概要について説明する。三次元計測装置30は、投射範囲PA(この一例において、撮像範囲CAの一部)へ投射画像を投射部5に投射させる。三次元計測装置30は、投射部5が投射画像を投射した状態において、第1撮像部11及び第2撮像部12に撮像範囲CAをステレオ撮像させる。三次元計測装置30は、このステレオ撮像によって第1撮像部11により撮像された撮像画像を第1撮像画像として第1撮像部11から取得する。また、三次元計測装置30は、当該ステレオ撮像によって第2撮像部12により撮像された撮像画像を第2撮像画像として第2撮像部12から取得する。
ここで、図2を参照し、投射部5により投射範囲PAに投射された投射画像について説明する。図2は、投射画像の一例を示す図である。投射画像は、この一例において、ランダムドットパターンである。ランダムドットパターンは、所定形状の画素の塊であるドットが複数規則的に配置された画像であり、ドット毎に0又は255の輝度値がランダムに割り当てられた画像である。図2に示した例では、ドットの形状は、正方形状である。なお、ドットの形状は、正方形状に代えて、長方形状であってもよく、円形状であってもよく、楕円形状であってもよく、他の形状であってもよい。また、ランダムドットパターンは、すべての画素の輝度値が一定の図形(輝度値が一様な図形)でなければ他の如何なる図形であってもよい。例えば、当該図形は、景色や人物が撮像された画像であってもよい。なお、投射画像は、投射画像の一部にランダムドットパターンを含む画像であってもよい。
上述したように、この一例では、対象物Oは、投射した光の意図しない反射を発生させる光学特性を有する。この場合、投射部5により対象物Oに投射された投射画像が撮像部10により撮像された撮像画像には、当該反射による白飛び(撮像画像上における意図しない輝度の増大)が生じることがある。撮像画像に白飛びが生じた場合、三次元計測装置30は、対象物Oの三次元形状を精度よく表す三次元点群を生成できないことがある。その結果、三次元計測装置30は、対象物Oの位置及び姿勢を精度よく算出することができないことがある。
そこで、この一例における三次元計測装置30は、第1撮像部11から取得した第1撮像画像内において、所定処理を行う対象となる領域である第1対象領域のうち、所定条件を満たす領域である第1領域の大きさを検出する。また、三次元計測装置30は、第2撮像部12から取得した第2撮像画像の所定処理を行う対象となる領域である第2対象領域のうち、所定条件を満たす領域である第2領域の大きさを検出する。ここで、所定処理は、この一例において、第1撮像部11により撮像された第1撮像画像と、第2撮像部12により撮像された第2撮像画像とに基づいて、三次元計測装置30が対象物Oの三次元点群を生成する処理のことである。なお、所定処理は、これに代えて、他の処理であってもよい。また、所定条件を満たす領域は、この一例において、前述の白飛びが生じている領域である。なお、所定条件を満たす領域は、これに代えて、光の透過又は吸収によって生じる黒潰れが生じた領域等の他の領域であってもよい。
三次元計測装置30は、検出した第1領域の大きさと、検出した第2領域の大きさとのうち少なくとも一方に基づいて、第1撮像部11及び第2撮像部12のそれぞれが対象物Oを撮像する際の撮像条件を変更する。この撮像条件の変更は、第1対象領域から第1領域を小さくするとともに、第2対象領域から第2領域を小さくするために行われる処理である。そして、三次元計測装置30は、撮像条件を変更した第1撮像部11と、撮像条件を変更した第2撮像部12とに撮像範囲CAをステレオ撮像させる。三次元計測装置30は、このような撮像条件の変更と第1撮像部11及び第2撮像部12による撮像を繰り返すことにより、白飛びが生じている領域である第1領域がほぼ無い第1撮像画像を第1撮像部11に撮像させることができるとともに、白飛びが生じている領域である第2領域がほぼ無い第2撮像画像を第2撮像部12に撮像させることができる。三次元計測装置30は、このようにして第1撮像部11により撮像された当該第1撮像画像と、第2撮像部12により撮像された当該第2撮像画像とに基づいて、対象物Oの三次元点群を生成する。これにより、三次元計測装置30は、対象物が光沢を有する物体や半透明な物体であっても、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。以下では、三次元計測装置30が三次元計測を行う処理について詳しく説明する。
<三次元計測装置のハードウェア構成>
以下、図3を参照し、三次元計測装置30のハードウェア構成について説明する。図3は、三次元計測装置30のハードウェア構成の一例を示す図である。
三次元計測装置30は、例えば、CPU(Central Processing Unit)31と、記憶部32と、入力受付部33と、通信部34と、表示部35を備える。これらの構成要素は、バスBusを介して相互に通信可能に接続されている。また、三次元計測装置30は、通信部34を介して投射部5、撮像部10のそれぞれと通信を行う。
CPU31は、記憶部32に格納された各種プログラムを実行する。
記憶部32は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、ROM(Read−Only Memory)、RAM(Random Access Memory)等を含む。なお、記憶部32は、三次元計測装置30に内蔵されるものに代えて、USB等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。記憶部32は、三次元計測装置30が処理する各種の情報、各種の画像、各種のプログラム等を格納する。
入力受付部33は、例えば、表示部35と一体に構成されたタッチパネルである。なお、入力受付部33は、キーボードやマウス、タッチパッド、その他の入力装置であってもよい。
通信部34は、例えば、USB等のデジタル入出力ポートやイーサネット(登録商標)ポート等を含んで構成される。
表示部35は、例えば、液晶ディスプレイパネル、あるいは、有機EL(ElectroLuminescence)ディスプレイパネルである。
<三次元計測装置の機能構成>
以下、図4を参照し、三次元計測装置30の機能構成について説明する。図4は、三次元計測装置30の機能構成の一例を示す図である。
制御部36は、三次元計測装置30の全体を制御する。制御部36は、投射制御部361と、撮像制御部363と、画像取得部365と、領域検出部367と、撮像条件変更部369と、三次元点群生成部375と、位置姿勢算出部377とを備える。制御部36が備えるこれらの機能部は、例えば、CPU31が、記憶部32に記憶された各種プログラムを実行することにより実現される。また、当該機能部のうちの一部又は全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェア機能部であってもよい。
投射制御部361は、投射部5に投射画像を投射範囲PAへ投射させる。
撮像制御部363は、第1撮像部11及び第2撮像部12に撮像範囲CAをステレオ撮像させる。
画像取得部365は、第1撮像部11が撮像した第1撮像画像を第1撮像部11から取得する。また、画像取得部365は、第2撮像部12が撮像した第2撮像画像を第2撮像部12から取得する。
領域検出部367は、記憶部32に予め記憶された第1対象領域情報を記憶部32から読み出す。当該第1対象領域情報は、第1対象領域を示す情報である。領域検出部367は、読み出した第1対象領域情報と、画像取得部365が取得した第1撮像画像とに基づいて、第1撮像画像内の第1対象領域を特定する。領域検出部367は、特定した第1対象領域内のうち所定条件を満たす領域を第1領域として検出する。
また、領域検出部367は、記憶部32に予め記憶された第2対象領域情報を記憶部32から読み出す。当該第2対象領域情報は、第2対象領域を示す情報である。領域検出部367は、読み出した第2対象領域情報と、画像取得部365が取得した第2撮像画像とに基づいて、第2撮像画像内の第2対象領域を特定する。領域検出部367は、特定した第2対象領域内のうち所定条件を満たす領域を第2領域として検出する。
撮像条件変更部369は、領域検出部367が特定した第1対象領域と、第1領域との比に基づいて、第1撮像部11の撮像条件を変更する。また、撮像条件変更部369は、領域検出部367が特定した第2対象領域と、第2領域との比に基づいて、第2撮像部12の撮像条件を変更する。
三次元点群生成部375は、第1撮像画像と第2撮像画像とに基づいて、対象物Oの三次元点群を生成する処理を所定処理として行う。当該第1撮像画像は、撮像条件変更部369が第1撮像部11の撮像条件を変更した後に第1撮像部11により撮像された撮像画像である。当該第2撮像画像は、撮像条件変更部369が第2撮像部12の撮像条件を変更した後に第2撮像部12により撮像された撮像画像である。
位置姿勢算出部377は、三次元点群生成部375が生成した三次元点群に基づいて、対象物Oのワールド座標系WCにおける位置及び姿勢を算出する。
<三次元計測装置が三次元計測を行う処理>
以下、図5を参照し、三次元計測装置30が三次元計測を行う処理について説明する。図5は、三次元計測装置30が三次元計測を行う処理の流れの一例を示すフローチャートである。
投射制御部361は、投射部5に投射画像を投射範囲PAへ投射させる(ステップS110)。次に、撮像制御部363は、第1撮像部11及び第2撮像部12に撮像範囲CAをステレオ撮像させる(ステップS120)。
次に、画像取得部365は、第1撮像部11が撮像した撮像画像を第1撮像画像として第1撮像部11から取得するとともに、第2撮像部12が撮像した撮像画像を第2撮像画像として第2撮像部12から取得する(ステップS130)。ここで、図6を参照し、ステップS130において画像取得部365が取得した第1撮像画像について説明する。
図6は、第1撮像部11により対象物Oが撮像された第1撮像画像の一例を示す図である。第1撮像画像には、投射部5によって投射画像が投射された対象物Oが含まれている。ここで、この一例では、対象物Oが表面に光沢を有する物体であるため、第1撮像画像における対象物Oの表面には、白飛びが生じる場合がある。図6に示した領域WRは、第1撮像画像において当該表面の一部に白飛びが生じている領域の一例である。このような領域を有する第1撮像画像及び第2撮像画像に基づいて対象物Oの三次元点群を生成した場合、前述した通り、対象物Oの三次元形状を精度よく表す三次元点群が生成できない。なお、第2撮像部12により対象物Oが撮像された第2撮像画像は、第1撮像画像とほぼ同一の画像であるため、説明を省略する。
ステップS130の処理が行われた後、領域検出部367は、画像取得部365により取得された第1撮像画像及び第2撮像画像にノイズ除去処理を行う(ステップS140)。ノイズ除去処理は、第1撮像画像及び第2撮像画像に含まれるノイズを除去する処理である。ここで、ノイズとノイズ除去処理について説明する。
ノイズ除去処理では、領域検出部367は、ステップS130において画像取得部365が取得した第1撮像画像及び第2撮像画像を輝度値についての第1所定閾値に基づいて2値化画像に変換する。ここで、以下では、一例として、第1撮像画像及び第2撮像画像における輝度値の下限値が0であり、当該輝度値の上限値が255である場合について説明する。また以下では、第1所定閾値が255である場合について説明する。なお、第1所定閾値は、255に代えて、他の値であってもよい。
第1撮像画像及び第2撮像画像を2値化画像に変換する際、領域検出部367は、第1撮像画像及び第2撮像画像を構成する画素の輝度値が255である画素の値を1とする。また、領域検出部367は、第1撮像画像及び第2撮像画像を構成する画素の輝度値が255以外である画素の値を0とする。以下では、説明の便宜上、画素の値が1である画素を白画素と称して説明する。また、以下では、画素の値が0である画素を黒画素と称して説明する。領域検出部367は、第1撮像画像において、白画素に隣接する画素が黒画素のみである白画素をノイズとして検出する。また、領域検出部367は、第1撮像画像において、白画素に隣接する画素が黒画素のみである白画素をノイズとして検出する。そして、領域検出部367は、例えば、検出したノイズを黒画素に変換することにより、第1撮像画像及び第2撮像画像からノイズを除去する。このようなノイズ除去処理により、領域検出部367は、第1撮像画像及び第2撮像画像からノイズを除去することができる。
次に、領域検出部367は、ステップS140においてノイズが除去された後の第1撮像画像における第1対象領域から所定条件を満たす領域を第1領域として検出するとともに、ステップS140においてノイズが除去された後の第2撮像画像における第2対象領域から所定条件を満たす領域を第2領域として検出する(ステップS150)。所定条件は、この一例において、複数の白画素が互いに隣接する領域であることである。換言すると、所定条件は、第1所定閾値以上の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域である。所定大きさは、画素数によって表され、この一例において、2画素以上である。なお、所定条件は、これに代えて、他の条件であってもよい。すなわち、所定条件を満たす領域は、前述した通り、対象物Oの光学特性によって第1撮像画像と第2撮像画像とのそれぞれにおいて白飛びが生じている領域である。以下では、説明の便宜上、当該領域を白画素領域と称して説明する。ここで、領域検出部367は、第1対象領域内から2以上の白画素領域を検出した場合、これらの白画素領域の全体を含む領域を白画素領域として検出する。当該領域は、当該白画素領域を含む円領域であってもよく、当該白画素領域を含む長方形領域であってもよく、当該白画素領域を含む他の形状の領域であってもよい。
なお、図5に示したフローチャートにおけるステップS110からステップS190までの繰り返し処理のうちの1回目のステップS110からステップS160までの処理において、第1対象領域は、前述した通り、第1撮像画像内における投射範囲PAの領域である。当該第1対象領域情報は、後述するステップS170において更新されるため、当該繰り返し処理のうちの2回目以降のステップS110からステップS160までの処理では、第1撮像画像内における投射範囲PAの領域と異なる領域となる。また、図5に示したフローチャートにおけるステップS110からステップS190までの繰り返し処理のうちの1回目のステップS110からステップS160までの処理において、第2対象領域は、前述した通り、第2撮像画像内における投射範囲PAの領域である。当該第2対象領域情報は、後述するステップS170において更新されるため、当該繰り返し処理のうちの2回目以降のステップS110からステップS160までの処理では、第2撮像画像内における投射範囲PAの領域とは異なる領域となる。領域検出部367は、ステップS150において、このような第1対象領域から第1領域を検出するとともに、このような第2対象領域から第2領域を検出する。
また、対象物Oが、投射部5により光が投射される表面が透明又は半透明な物体である場合、所定条件は、第2所定閾値以下の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域である。第2所定閾値は、例えば、0である。なお、第2所定閾値は、これに代えて、他の値であってもよい。このような領域は、すなわち、黒潰れが生じている領域である。
次に、領域検出部367は、第1対象領域の大きさに対する第1領域の大きさの比(割合)である第1領域比を算出するとともに、第2対象領域の大きさに対する第2領域の大きさの比(割合)である第2領域比を算出する(ステップS160)。第1対象領域の大きさは、この一例において、第1撮像画像の画素数のうち第1対象領域に含まれる画素数によって表される。なお、第1対象領域の大きさは、これに代えて、他の値によって表される構成であってもよい。第2対象領域の大きさは、この一例において、第2撮像画像の画素数のうち第2対象領域に含まれる画素数によって表される。なお、第2対象領域の大きさは、これに代えて、他の値によって表される構成であってもよい。また、第1領域の大きさは、この一例において、第1撮像画像の画素数のうち第1領域に含まれる画素数によって表される。なお、第1領域の大きさは、これに代えて、他の値によって表される構成であってもよい。また、第2領域の大きさは、この一例において、第2撮像画像の画素数のうち第2領域に含まれる画素数によって表される。なお、第2領域の大きさは、これに代えて、他の値によって表される構成であってもよい。
ここで、ステップS160において算出される第1領域比は、第1撮像画像内において生じた白飛びにより三次元計測装置30が対象物Oの三次元点群を生成することが困難な領域(すなわち、第1領域)が第1対象領域内において占める割合を示す。このため、第1領域比が0に近いほど、第1領域が小さいことを表している。また、第1領域比が1に近い場合であっても、第1対象領域が小さいほど、第1領域が小さいことを表している。また、ステップS160において算出される第2領域比は、第2撮像画像内において生じた白飛びにより三次元計測装置30が対象物Oの三次元点群を生成することが困難な領域(すなわち、第2領域)が第2対象領域内において占める割合を示す。このため、第2領域比が0に近いほど、第2領域が小さいことを表している。また、第2領域比が1に近い場合であっても、第2対象領域が小さいほど、第2領域が小さいことを表している。
次に、領域検出部367は、第1対象領域及び第2対象領域を更新する(ステップS170)。具体的には、領域検出部367は、ステップS150において検出した第1領域を示す情報を新たな第1対象領域情報として記憶部32に記憶させるとともに、ステップS150において検出した第2領域を示す情報を新たな第2対象領域情報として記憶部32に記憶させる。ここで、図7を参照し、ステップS170の処理について説明する。
図7は、第1領域に基づいて領域検出部367により更新された第1対象領域の一例を示す図である。図7に示した領域R1は、1回目のステップS110からステップS180までの処理における第1対象領域を示す。また、図7に示した領域R2は、n回目のステップS110からステップS180までの処理における第1対象領域を示す。ここで、nは、2以上の整数である。前述したとおり、1回目のステップS110からステップS180までの処理における第1対象領域は、当該1回目のステップS170において検出された第1領域に更新される。また、2回目のステップS110からステップS180までの処理における第1対象領域は、当該2回目のステップS170において検出された第2領域に更新される。これを繰り返すことにより、図7に示した通り、第1対象領域は、小さくなる。その結果、三次元計測装置30は、第1領域を検出する領域を第1対象領域に制限することにより、第1領域を検出する処理に要する時間を短縮することができる。なお、図7において、第2領域に基づいて領域検出部367により更新された第2対象領域が含まれる第2撮像画像は、第1撮像画像とほぼ同一の画像であるため、説明を省略する。
次に、撮像条件変更部369は、領域検出部367が算出した第1領域比に基づいて第1撮像部11の撮像パラメーターを変化させ、第1撮像部11の撮像条件を変更するとともに、領域検出部367が算出した第2領域比に基づいて第2撮像部12の撮像パラメーターを変化させ、第2撮像部12の撮像条件を変更する(ステップS180)。すなわち、この一例において、第1撮像部11の撮像条件は、第1撮像部11の撮像に関するパラメーターである撮像パラメーターによって表される。また、第2撮像部12の撮像条件は、第2撮像部12の撮像に関するパラメーターである撮像パラメーターによって表される。当該撮像パラメーターは、例えば、露光時間である。具体的には、撮像条件変更部369は、例えば、第1撮像部11の露光時間を、領域検出部367が算出した第1領域比を現在の第1撮像部11の露光時間に乗じた値に変更する。また、撮像条件変更部369は、例えば、第2撮像部12の露光時間を、領域検出部367が算出した第2領域比を現在の第2撮像部12の露光時間に乗じた値に変更する。第1領域比及び第2領域比は、0以上1以下の範囲内における値である。すなわち、このような撮像条件の変更により、第1撮像部11及び第2撮像部12の露光時間は、短くなる。これにより、三次元計測装置30は、撮像条件が変更された後の第1撮像部11に撮像範囲CAを撮像させることによって、第1撮像画像内における白飛び領域を小さくすることができる。また、三次元計測装置30は、撮像条件が変更された後の第2撮像部12に撮像範囲CAを撮像させることによって、第2撮像画像内における白飛び領域を小さくすることができる。
なお、撮像条件を変更する際、撮像条件変更部369は、第1領域比に基づいて第1撮像部11の露光時間を変更することに代えて、第1撮像部11のシャッタースピードを変更する構成であってもよく、他の撮像パラメーターを変更する構成であってもよい。第1撮像部11のシャッタースピードを変更する構成の場合、撮像条件変更部369は、第1撮像部11のシャッタースピードを、現在の第1撮像部11のシャッタースピードに第1領域比を乗じた値に変更する。また、撮像条件変更部369は、第2撮像部12についても同様に、第2領域比に基づいて、第2撮像部12のシャッタースピードを変更する構成であってもよい。第2撮像部12のシャッタースピードを変更する構成の場合、撮像条件変更部369は、第2撮像部12のシャッタースピードを、現在の第2撮像部12のシャッタースピードに第2領域比を乗じた値に変更する。
また、撮像条件変更部369は、ステップS180において、第1撮像部11及び第2撮像部12(すなわち、撮像部10)それぞれの撮像パラメーターを第1領域比と第2領域比とのいずれか一方に基づいて更新する構成であってもよい。
また、撮像条件変更部369は、ステップS180において、第1撮像部11及び第2撮像部12の撮像パラメーターを変更する構成に代えて、投射部5が投射画像を投射する際の投射パラメーターを変更する構成であってもよい。この場合、撮像条件変更部369は、例えば、投射部5が投射画像を投射する際の当該投射画像の輝度を、現在の輝度に第1領域比と第2領域比とのうち少なくとも一方に基づく値を乗じた値に変更する。これにより、三次元計測装置30は、第1領域の大きさと第2領域の大きさとの少なくとも一方に基づいて、投射パラメーターを変化させ、対象物Oの光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、上述では、撮像条件変更部369は、ステップS180において第1領域比及び第2領域比に基づいて撮像部10の撮像パラメーター又は投射部5の投射パラメーターを変更する構成に代えて、第1領域比及び第2領域比に基づく値に基づいて当該撮像パラメーター又は当該投射パラメーターを変更する構成であってもよい。第1領域比及び第2領域比に基づく値は、例えば、第1領域比と第2領域比との平均値であるが、これに限られず、第1領域比及び第2領域比に基づく他の値であってもよい。
また、撮像条件変更部369は、ステップS180において第1領域比及び第2領域比に基づいて撮像部10の撮像パラメーター又は投射部5の投射パラメーターを変更する構成に代えて、ステップS180において第1領域比及び第2領域比に基づいて撮像部10の撮像パラメーター及び投射部5の投射パラメーターの両方を変更する構成であってもよい。
三次元点群生成部375は、領域検出部367が算出した第1領域比と第2領域比とのうち少なくとも1つが所定の判定条件を満たすか否かを判定する(ステップS190)。以下では、一例として、ステップS190において、第1領域比が所定の判定条件を満たすか否かを三次元点群生成部375が判定する場合について説明する。ここで、所定の判定条件は、第1領域比が第3所定閾値以上又は0であることである。第3所定閾値は、例えば、0.95である。なお、第3所定閾値は、これに代えて、0.95以外の値であってもよい。第1領域比が第3所定閾値以上の場合、第1対象領域の大きさと、第1領域(すなわち、白画素領域)の大きさとは、ほぼ等しく、第1対象領域の大きさが十分小さいと考えられる。これは、当該場合が、第1対象領域の大きさと第1領域の大きさとがほぼ等しくなった場合であり、ステップS110からステップS190までの繰り返し処理によって第1領域を小さくすることがほぼ限界に達している場合であるためである。また、第1領域比が0の場合は、第1対象領域において白画素領域が無い。すなわち、ステップS190の判定は、第1領域比が所定の判定条件を満たすか否かによって、第1撮像画像及び第2撮像画像における白飛びが生じている領域の有無の判定である。換言すると、ステップS190の判定は、ステップS130において取得された最新の第1撮像画像及び第2撮像画像に基づいて、対象物Oの三次元形状を精度よく表す三次元点群を生成することが可能であるか否かを判定する判定である。
ステップS190において、三次元点群生成部375は、第1領域比が所定の判定条件を満たすと判定した場合(ステップS190−YES)、ステップS130において画像取得部365が取得した最新の第1撮像画像及び第2撮像画像に白飛びが生じている領域が無い(又はほぼ無い)と判定し、ステップS130において取得した最新の第1撮像画像及び第2撮像画像に基づいて、対象物Oの三次元点群を生成する(ステップS200)。第1撮像画像及び第2撮像画像に基づいて三次元点群を生成する方法は、既知の方法であってもよく、これから開発される方法であってもよい。
一方、第1領域比が所定の判定条件を満たさないと判定した場合(ステップS190−NO)、三次元点群生成部375は、ステップS130において画像取得部365が取得した最新の第1撮像画像及び第2撮像画像に白飛びが生じている領域が有ると判定する。そして、投射制御部361は、ステップS110に遷移し、再び投射部5に投射画像を投射範囲PAへ投射させる。すなわち、制御部36は、領域検出部367が算出した第1領域比が所定の判定条件を満たすまでの間、ステップS110からステップS180までの処理を繰り返し行う。このため、制御部36が当該処理を繰り返し行う度、第1対象領域は、領域検出部367が検出した第1領域にステップS170において更新される。また、制御部36が当該処理を繰り返し行う度、第2対象領域は、領域検出部367が検出した第2領域にステップS170において更新される。なお、制御部36は、第2領域比が所定の判定条件を満たすまでの間、当該処理を繰り返し行う構成であってもよい。この場合、所定の判定条件は、例えば、第2領域比が第4所定閾値以上又は0であることである。なお、第4所定閾値は、第3所定閾値と同じ値であってもよく、第3所定閾値と異なる値であってもよい。また、制御部36は、第1領域比及び第2領域比が所定の判定条件を満たすまでの間、当該処理を繰り返し行う構成であってもよい。この場合、所定の判定条件は、例えば、第1領域比が第3所定閾値以上又は0であるとともに、第2領域比が第4所定閾値以上又は0であることである。
ここで、制御部36は、この一例において、領域検出部367が算出した第1領域比が所定の判定条件を満たすまでの間、1回の当該処理を行う度に、撮像条件の異なる第1撮像画像及び第2撮像画像を1回取得する。例えば、制御部36は、ステップS110からステップS180までの処理を2回行った場合、撮像条件の異なる第1撮像画像及び第2撮像画像を2回取得する。このため、ステップS200において、三次元点群生成部375は、画像取得部365が取得した最新の第1撮像画像及び第2撮像画像に基づいて、対象物Oの三次元点群を生成する構成に代えて、画像取得部365が取得した複数の第1撮像画像及び複数の第2撮像画像の一部又は全部に基づいて、対象物Oの三次元点群を生成する構成であってもよい。この場合、三次元点群生成部375は、例えば、ある第1撮像画像及び第2撮像画像に含まれる白飛びが生じている領域によって当該第1撮像画像及び第2撮像画像に基づいて三次元点群が生成できなかった領域が存在する際に、他の第1撮像画像及び第2撮像画像に基づいて当該領域に対応する三次元点群を生成する。
次に、位置姿勢算出部377は、ステップS200において生成された対象物Oの三次元点群に基づいて、対象物Oのワールド座標系WCにおける位置及び姿勢を算出し(ステップS210)、処理を終了する。位置姿勢算出部377が当該三次元点群に基づいて対象物Oの位置及び姿勢を算出する方法は、既知の方法であってもよく、これから開発される方法であってもよい。
このように、三次元計測装置30は、第1撮像画像と第2撮像画像に基づいて、第1撮像画像内において所定処理を行う対象となる第1対象領域のうち所定条件を満たす第1領域の大きさと、第2撮像画像内において所定処理を行う対象となる第2対象領域のうち所定条件を満たす第2領域の大きさとの少なくとも一方に基づいて、第1撮像部及び第2撮像部が対象物を撮像する際の撮像条件を変化させ三次元計測を行う。これにより、三次元計測装置30は、対象物Oが光沢を有する物体や半透明な物体であっても、対象物Oの光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
<三次元計測装置が取得する撮像画像及び三次元計測装置が生成する三次元点群の例>
以下、図8〜図11を参照し、三次元計測装置30が取得する第1撮像画像と、当該第1撮像画像に基づいて生成される三次元点群について説明する。
まず、図8は、撮像条件変更部369が第1撮像部11の撮像パラメーターを変更した後の第1撮像部11により撮像された第1撮像画像の一例を示す図である。図8に示した第1撮像画像P1は、当該第1撮像画像の一例である。また、図8では、第1撮像画像P1における黒い領域である領域R11が、白飛びが生じている領域を表している。図9は、撮像条件変更部369が第1撮像部11の撮像パラメーターを変更する前の第1撮像部11により撮像された第1撮像画像の一例を示す図である。図9に示した第1撮像画像P2は、当該第1撮像画像の一例である。また、図9では、第1撮像画像P2における黒い領域である領域R21が、白飛びが生じている領域を表している。
図8に示した第1撮像画像P1と、図9に示した第1撮像画像P2とを比較すると、第1撮像画像P1は、ステップS180において撮像条件が変更されることにより、白飛びが生じている領域が小さくなっていることが分かる。これはすなわち、三次元計測装置30が、図5に示したフローチャートにおけるステップS110からステップS190までの処理を繰り返すことにより、第1撮像部11により撮像される第1撮像画像内において白飛びが生じている領域を小さくすることができていることを示している。なお、図8及び図9では、第1撮像画像を例に挙げて説明したが、第2撮像画像についても同様であるため説明を省略する。
次に、図10は、撮像条件変更部369が第1撮像部11の撮像パラメーターを変更した後の第1撮像部11により撮像された第1撮像画像と、図示しない第2撮像画像に基づいて生成された三次元点群の一例を示す図である。当該第2撮像画像は、当該第1撮像画像とともにステレオ撮像された第2撮像画像である。図10に示した三次元点群P11は、当該三次元点群の一例である。また、図10では、三次元点群P11における黒い領域である領域R111が、当該第1撮像画像及び当該第2撮像画像において白飛びが生じている領域によって点群が生成できなかった領域を表している。また、図10では、ハッチングによって三次元点群P11に含まれる点のそれぞれを表している。図11は、撮像条件変更部369が第1撮像部11の撮像パラメーターを変更する前の第1撮像部11により撮像された第1撮像画像と、図示しない第2撮像画像に基づいて生成された三次元点群の一例を示す図である。当該第2撮像画像は、当該第1撮像画像とともにステレオ撮像された第2撮像画像である。図11に示した三次元点群P21は、当該三次元点群の一例である。また、図11では、三次元点群P21における黒い領域である領域R211が、当該第1撮像画像及び当該第2撮像画像において白飛びが生じている領域によって点群が生成できなかった領域を表している。また、図11では、ハッチングによって三次元点群P21に含まれる点のそれぞれを表している。
図10に示した三次元点群P11は、図8に示した第1撮像画像P1において白飛びが生じている領域が、図9に示した第1撮像画像P2において白飛びが生じている領域よりも小さいため、図11に示した三次元点群P21よりも対象物Oの三次元形状を表す点の数が多い。これはすなわち、三次元計測装置30が、図5に示したフローチャートにおけるステップS110からステップS190までの処理を繰り返すことにより、対象物Oの三次元形状を精度よく示す三次元点群を生成することができることを示している。
<実施形態の変形例>
以下、図12を参照し、実施形態の変形例について説明する。なお、実施形態の変形例では、実施形態と同様な構成部に対して同じ符号を付して説明を省略する。
図12は、実施形態の変形例に係るロボットシステム2の構成の一例を示す図である。ロボットシステム2は、投射部5と、撮像部10と、ロボット20と、ロボット制御装置50を備える。また、ロボット制御装置50は、三次元計測装置30を備える。より具体的には、ロボット制御装置50は、三次元計測装置30が備える各機能部を備える。
ロボット20は、アームAと、アームAを支持する支持台Bを備える単腕ロボットである。単腕ロボットは、この一例におけるアームAのような1本のアーム(腕)を備えるロボットである。なお、ロボット20は、単腕ロボットに代えて、複腕ロボットであってもよい。複腕ロボットは、2本以上のアーム(例えば、2本以上のアームA)を備えるロボットである。なお、複腕ロボットのうち、2本のアームを備えるロボットは、双腕ロボットとも称される。すなわち、ロボット20は、2本のアームを備える双腕ロボットであってもよく、3本以上のアーム(例えば、3本以上のアームA)を備える複腕ロボットであってもよい。また、ロボット20は、スカラロボットや、円筒型ロボット等の他のロボットであってもよい。
アームAは、エンドエフェクターEと、マニピュレーターMを備える。
エンドエフェクターEは、この一例において、物体を把持可能な指部を備えるエンドエフェクターである。なお、エンドエフェクターEは、当該指部を備えるエンドエフェクターに代えて、空気の吸引や磁力、治具等によって物体を持ち上げることが可能なエンドエフェクターや、他のエンドエフェクターであってもよい。
エンドエフェクターEは、ケーブルによってロボット制御装置50と通信可能に接続されている。これにより、エンドエフェクターEは、ロボット制御装置50から取得される制御信号に基づく動作を行う。なお、ケーブルを介した有線通信は、例えば、イーサネット(登録商標)やUSB等の規格によって行われる。また、エンドエフェクターEは、Wi−Fi(登録商標)等の通信規格により行われる無線通信によってロボット制御装置50と接続される構成であってもよい。
マニピュレーターMは、6つの関節を備える。また、当該6つの関節はそれぞれ、図示しないアクチュエーターを備える。すなわち、マニピュレーターMを備えるアームAは、6軸垂直多関節型のアームである。アームAは、支持台Bと、エンドエフェクターEと、マニピュレーターMと、マニピュレーターMが備える6つの関節それぞれのアクチュエーターとによる連携した動作によって6軸の自由度の動作を行う。なお、アームAは、5軸以下の自由度で動作する構成であってもよく、7軸以上の自由度で動作する構成であってもよい。
マニピュレーターMが備える6つの(関節に備えられた)アクチュエーターはそれぞれ、ケーブルによってロボット制御装置50と通信可能に接続されている。これにより、当該アクチュエーターは、ロボット制御装置50から取得される制御信号に基づいて、マニピュレーターMを動作させる。なお、ケーブルを介した有線通信は、例えば、イーサネット(登録商標)やUSB等の規格によって行われる。また、マニピュレーターMが備える6つのアクチュエーターのうちの一部又は全部は、Wi−Fi(登録商標)等の通信規格により行われる無線通信によってロボット制御装置50と接続される構成であってもよい。
ロボット制御装置50は、この一例において、ロボットを制御する装置である。ロボット制御装置50は、予め入力された動作プログラムに基づいて制御信号を生成する。ロボット制御装置50は、生成した制御信号をロボット20に送信し、ロボット20に所定作業を行わせる。所定作業は、この一例において、ロボット20がアームAを動作させ、作業台TBの上面に載置された対象物Oを把持し、把持した対象物Oを図示しない給材領域に配置する作業である。なお、所定作業は、これに代えて、他の作業であってもよい。
ロボット制御装置50は、所定作業をロボット20に行わせる際、対象物Oを含む撮像範囲CAであって第1撮像部11及び第2撮像部12により撮像可能な撮像範囲CAに投写画像が投射部5により投射され、投射された投射画像を含む撮像範囲CAが第1撮像部11により撮像された第1撮像画像と、第2撮像部12により撮像された第2撮像画像とに基づく三次元計測を行う。この三次元計測により、ロボット制御装置50は、対象物Oの三次元点群を生成する。ロボット制御装置50は、生成した当該三次元点群に基づいて、対象物Oの位置及び姿勢を算出する。そして、ロボット制御装置50は、算出した対象物Oの位置及び姿勢に基づいて、ロボット20に所定作業を行わせる。なお、ロボット制御装置50が対象物Oの三次元計測を行うための処理は、図5に示したフローチャートの処理の説明においてワールド座標系WCをロボット座標系RCに読み替えた場合の処理と同様の処理であるため説明を省略する。
このように、ロボット制御装置50は、実施形態において説明した三次元計測装置30を備え、三次元計測装置30が算出した対象物Oの位置及び姿勢に基づいて、ロボット20に所定作業を行わせる。これにより、ロボット制御装置50は、高い精度で所定作業をロボット20に行わせることができる。
なお、ロボットシステム2において、ロボット制御装置50と三次元計測装置30とは、別体であってもよい。この場合、ロボット制御装置50は、三次元計測装置30から三次元計測装置30が算出した対象物Oの位置及び姿勢を取得し、取得した対象物Oの位置及び姿勢に基づいてロボット20に所定作業を行わせる。
以上のように、三次元計測装置30は、対象物(この一例において、対象物O)を含む撮像領域(この一例において、撮像範囲CA)が第1撮像部(この一例において、第1撮像部11)により撮像された第1撮像画像と、撮像領域が第2撮像部(この一例において、第2撮像部12)により撮像された第2撮像画像とに基づいて対象物の三次元形状を計測し、第1撮像画像と第2撮像画像に基づいて、第1撮像画像内において所定処理を行う対象となる第1対象領域のうち所定条件を満たす第1領域の大きさと、第2撮像画像内において所定処理を行う対象となる第2対象領域のうち所定条件を満たす第2領域の大きさとの少なくとも一方に基づいて、第1撮像部及び第2撮像部が対象物を撮像する際の撮像条件を変化させ三次元計測する。これにより、三次元計測装置30は、対象物が光沢を有する物体や、透明又は半透明な物体であっても、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、三次元計測装置30は、第1対象領域を第1領域の大きさに応じて変化させ、第2対象領域を第2領域の大きさに応じて変化させる。これにより、三次元計測装置30は、第1領域の大きさに応じて変化させた第1対象領域のうちの所定条件を満たす第1領域の大きさと、第2領域の大きさに応じて変化させた第2対象領域のうちの所定条件を満たす第2領域の大きさとの少なくとも一方に基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、三次元計測装置30では、第1領域の大きさは、第1領域に含まれる画素数によって表され、第2領域の大きさは、第2領域に含まれる画素数によって表される。これにより、三次元計測装置30は、第1領域に含まれる画素数と、第2領域に含まれる画素数の少なくとも一方に基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、三次元計測装置30は、第1領域の大きさと第2領域の大きさとの少なくとも一方に基づいて、撮像パラメーターを変化させる。これにより、三次元計測装置30は、第1領域の大きさと第2領域の大きさとの少なくとも一方に基づく撮像パラメーターに基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、三次元計測装置30は、第1対象領域に対する第1領域の大きさの割合(この一例において、第1領域比)と、第2対象領域に対する第2領域の大きさの割合(この一例において、第2領域比)との少なくとも一方に基づいて撮像パラメーターを変化させる。これにより、三次元計測装置30は、第1対象領域に対する第1領域の大きさの割合と、第2対象領域に対する第2領域の大きさの割合との少なくとも一方に基づく撮像パラメーターに基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、三次元計測装置30は、第1領域の大きさと第2領域の大きさとの少なくとも一方に基づいて、投射パラメーターを変化させる。これにより、三次元計測装置30は、第1領域の大きさと第2領域の大きさとの少なくとも一方に基づく投射パラメーターに基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、三次元計測装置30では、第1対象領域に対する第1領域の大きさの割合と、第2対象領域に対する第2領域の大きさの割合との少なくとも一方に基づいて投射パラメーターを変化させる。これにより、三次元計測装置30は、第1領域の大きさの割合と、第1対象領域に対する第1領域の大きさの割合との少なくとも一方に基づいて投射パラメーターを変化させ、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、三次元計測装置30は、第1撮像画像と第2撮像画像に基づいて、第1撮像画像内において所定処理を行う対象となる第1対象領域のうち第1所定閾値(この一例において、所定閾値)以上の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域である第1領域の大きさと、第2撮像画像内において所定処理を行う対象となる第2対象領域のうち第2所定閾値(この一例において、所定閾値)以下の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域である第2領域の大きさとの少なくとも一方に基づいて、第1撮像部及び第2撮像部が対象物を撮像する際の撮像条件を変化させ三次元計測を行う。これにより、三次元計測装置30は、第1対象領域のうち第1所定閾値以上の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域である第1領域の大きさと、第2対象領域のうち第2所定閾値以下の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域である第2領域の大きさとの少なくとも一方に基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、三次元計測装置30は、第1撮像画像と第2撮像画像に基づいて、白飛びが生じている領域である第1領域の大きさと、白飛びが生じている領域である第2領域の大きさとの少なくとも一方に基づいて、第1撮像部及び第2撮像部が対象物を撮像する際の撮像条件を変化させ三次元計測を行う。これにより、三次元計測装置は、対象物の光学特性によって白飛びが生じている領域に基づいて、対象物の光学特性による誤差を抑制し、三次元計測を精度よく行うことができる。
また、三次元計測装置30は、撮像条件を変化させた後に第1撮像部によって撮像された第1撮像画像と、撮像条件を変化させた後に第2撮像部によって撮像された第2撮像画像とに基づいて対象物の三次元形状を表す三次元点群を生成し、生成した三次元点群に基づいて対象物の位置及び姿勢を算出する。これにより、三次元計測装置30は、精度よく算出した対象物の位置及び姿勢を他の装置に出力することができる。
また、ロボット20は、三次元計測装置30が三次元計測を行った結果に基づいて所定作業を行う。これにより、ロボット20は、高い精度で所定作業を行うことができる。
また、ロボット制御装置50は、三次元計測装置30が三次元計測を行った結果に基づいてロボット20に所定作業を行わせる。これにより、ロボット制御装置50は、高い精度で所定作業をロボットに行わせることができる。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。
また、以上に説明した装置(例えば、三次元計測装置30、ロボット制御装置50)における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD(Compact Disk)−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
1…三次元計測システム、2…ロボットシステム、5…投射部、10…撮像部、11…第1撮像部、12…第2撮像部、20…ロボット、30…三次元計測装置、31…CPU、32…記憶部、33…入力受付部、34…通信部、35…表示部、36…制御部、50…ロボット制御装置、361…投射制御部、363…撮像制御部、365…画像取得部、367…領域検出部、369…撮像条件変更部、375…三次元点群生成部、377…位置姿勢算出部

Claims (10)

  1. 対象物を含む撮像領域が第1撮像部により撮像された第1撮像画像と、前記撮像領域が第2撮像部により撮像された第2撮像画像とに基づいて前記対象物の三次元形状を計測する三次元計測装置であって、
    前記第1撮像画像と前記第2撮像画像に基づいて、前記第1撮像画像内において所定処理を行う対象となる第1対象領域のうち所定条件を満たす第1領域の大きさと、前記第2撮像画像内において前記所定処理を行う対象となる第2対象領域のうち前記所定条件を満たす第2領域の大きさとの少なくとも一方に基づいて、前記第1撮像部及び前記第2撮像部が前記対象物を撮像する際の撮像条件を変化させ三次元計測する、三次元計測装置であり、
    前記第1対象領域を前記第1領域の大きさに応じて変化させ、前記第2対象領域を前記第2領域の大きさに応じて変化させる、ものであって、
    前記第1対象領域を前記第1領域の大きさに応じて小さくし、前記第2対象領域を前記第2領域の大きさに応じて小さくする、
    三次元計測装置。
  2. 前記第1領域の大きさは、前記第1領域に含まれる画素数によって表され、
    前記第2領域の大きさは、前記第2領域に含まれる画素数によって表される、
    請求項に記載の三次元計測装置。
  3. 前記撮像条件は、前記第1撮像部と前記第2撮像部との少なくとも一方の撮像に関するパラメーターである撮像パラメーターによって表され、
    前記第1領域の大きさと前記第2領域の大きさとの少なくとも一方に基づいて、前記撮像パラメーターを変化させる、
    請求項1又は2に記載の三次元計測装置。
  4. 前記第1対象領域に対する前記第1領域の大きさの割合と、前記第2対象領域に対する前記第2領域の大きさの割合との少なくとも一方に基づいて前記撮像パラメーターを変化させる、
    請求項に記載の三次元計測装置。
  5. 前記撮像領域には、投射部から投射画像が投射され、
    前記撮像条件は、前記投射部の投射に関するパラメーターである投射パラメーターによって表され、
    前記第1領域の大きさと前記第2領域の大きさとの少なくとも一方に基づいて、前記投射パラメーターを変化させる、
    請求項1からのうちいずれか一項に記載の三次元計測装置。
  6. 前記第1対象領域に対する前記第1領域の大きさの割合と、前記第2対象領域に対する前記第2領域の大きさの割合との少なくとも一方に基づいて前記投射パラメーターを変化させる、
    請求項に記載の三次元計測装置。
  7. 前記所定条件は、第1所定閾値以上の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域であることと、第2所定閾値以下の輝度値の画素のみを含む領域であって所定大きさ以上の大きさの当該領域であることとのうち少なくとも一方である、
    請求項1からのうちいずれか一項に記載の三次元計測装置。
  8. 前記第1領域及び前記第2領域は、白飛びが生じている領域である、
    請求項1からのうちいずれか一項に記載の三次元計測装置。
  9. 前記撮像条件を変化させた後に前記第1撮像部によって撮像された前記第1撮像画像と、前記撮像条件を変化させた後に前記第2撮像部によって撮像された前記第2撮像画像とに基づいて前記対象物の三次元形状を表す三次元点群を生成し、生成した三次元点群に基づいて前記対象物の位置及び姿勢を算出する、
    請求項1からのうちいずれか一項に記載の三次元計測装置。
  10. 対象物を含む撮像領域が第1撮像部により撮像された第1撮像画像と、前記撮像領域が第2撮像部により撮像された第2撮像画像とに基づいて前記対象物の三次元形状を計測する三次元物体認識方法であって、
    前記第1撮像画像と前記第2撮像画像に基づいて、前記第1撮像画像内において所定処理を行う対象となる第1対象領域のうち所定条件を満たす第1領域の大きさと、前記第2撮像画像内において前記所定処理を行う対象となる第2対象領域のうち前記所定条件を満たす第2領域の大きさとの少なくとも一方に基づいて、前記第1撮像部及び前記第2撮像部が前記対象物を撮像する際の撮像条件を変化させ三次元計測する、三次元物体認識方法であり、
    前記第1対象領域を前記第1領域の大きさに応じて変化させ、前記第2対象領域を前記第2領域の大きさに応じて変化させる、ものであって、
    前記第1対象領域を前記第1領域の大きさに応じて小さくし、前記第2対象領域を前記第2領域の大きさに応じて小さくする、
    三次元物体認識方法。
JP2016149401A 2016-07-29 2016-07-29 三次元計測装置及び三次元物体認識方法 Active JP6772630B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016149401A JP6772630B2 (ja) 2016-07-29 2016-07-29 三次元計測装置及び三次元物体認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016149401A JP6772630B2 (ja) 2016-07-29 2016-07-29 三次元計測装置及び三次元物体認識方法

Publications (3)

Publication Number Publication Date
JP2018017653A JP2018017653A (ja) 2018-02-01
JP2018017653A5 JP2018017653A5 (ja) 2019-06-13
JP6772630B2 true JP6772630B2 (ja) 2020-10-21

Family

ID=61075882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016149401A Active JP6772630B2 (ja) 2016-07-29 2016-07-29 三次元計測装置及び三次元物体認識方法

Country Status (1)

Country Link
JP (1) JP6772630B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6770254B2 (ja) * 2018-02-07 2020-10-14 オムロン株式会社 3次元測定装置、3次元測定方法及び3次元測定プログラム
KR102314742B1 (ko) * 2020-08-19 2021-10-20 다래비젼주식회사 다관절 로봇용 dlp 시스템의 제어방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL230517D0 (en) * 2014-01-19 2014-04-30 Mantisvision Ltd Synchronizing 3d imaging devices
JP6470506B2 (ja) * 2014-06-09 2019-02-13 株式会社キーエンス 検査装置
JP2016075658A (ja) * 2014-10-03 2016-05-12 株式会社リコー 情報処理システムおよび情報処理方法

Also Published As

Publication number Publication date
JP2018017653A (ja) 2018-02-01

Similar Documents

Publication Publication Date Title
US10132613B2 (en) Information processing apparatus, method for controlling information processing apparatus, gripping system, and storage medium
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
JP5928114B2 (ja) ロボットシステム、ロボットシステムのキャリブレーション方法、ロボット
US9652660B2 (en) Control system, robot system, and control method
EP2963513A2 (en) Teaching apparatus and robot system
JP2015168040A (ja) ロボット、ロボットシステム、制御装置、及び制御方法
CN106945035B (zh) 机器人控制设备及其控制方法和机器人系统
JP6772630B2 (ja) 三次元計測装置及び三次元物体認識方法
JP6364836B2 (ja) ロボット、ロボットシステム、及び制御装置
JP2016186469A (ja) 情報処理装置、情報処理方法、プログラム
JP6699097B2 (ja) ロボット及び制御装置
JP2017219365A (ja) 位置姿勢算出装置、ロボット制御装置、及びロボット
JP2018001333A (ja) 校正ボード、ロボット、及び検出方法
JP2015087321A (ja) 制御装置、ロボット、制御システム、制御方法、及び制御プログラム
JP2020075327A (ja) 制御システム
JP2019063907A (ja) ロボット、制御装置、及びロボットシステム
JP6897398B2 (ja) 三次元形状測定装置、ロボットシステム、及び三次元形状測定方法
JP2017202549A (ja) ロボット制御装置、ロボット、及びロボットシステム
JP6488571B2 (ja) 教示装置、及びロボットシステム
US20180215044A1 (en) Image processing device, robot control device, and robot
JP2018017610A (ja) 三次元計測装置、ロボット、ロボット制御装置、及びロボットシステム
JP2016217778A (ja) 制御システム、ロボットシステム、及び制御方法
JP2016013590A (ja) 教示装置、及びロボットシステム
JP2016120558A (ja) ロボット、及びロボットシステム
JP2016120557A (ja) ロボット、及びロボット校正システム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190509

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200914

R150 Certificate of patent or registration of utility model

Ref document number: 6772630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150