JP6584139B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6584139B2 JP6584139B2 JP2015105774A JP2015105774A JP6584139B2 JP 6584139 B2 JP6584139 B2 JP 6584139B2 JP 2015105774 A JP2015105774 A JP 2015105774A JP 2015105774 A JP2015105774 A JP 2015105774A JP 6584139 B2 JP6584139 B2 JP 6584139B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- geometric feature
- information
- dimensional
- geometric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
対象物体の3次元の形状情報を利用して、対象を観察した距離情報や2次元画像から対象物体の位置姿勢を推定する技術がある。非特許文献1では、部品のCADモデルを基本形状に分解して、その基本形状を距離情報から探索する技術が開示されている。この技術によれば、3次元の形状を利用した位置姿勢推定では、3次元形状のことをモデルと呼び、対象を撮像した画像からモデルと幾何特徴との対応付けを行う。また、この技術では、対応付けられた幾何特徴の3次元空間での距離や、画面へ投影した差異を評価値として位置姿勢のパラメータを推定する。この位置姿勢推定の技術により、例えばロボットによる部品のピッキングのためのハンド位置を計算することができる。
モデルとして利用される3次元の形状情報は、製品の設計時に使われるCADモデルを利用することが一般的である。
モデルとして利用される3次元の形状情報は、製品の設計時に使われるCADモデルを利用することが一般的である。
KATSUSHI IKEUCHI,"Generating an Interpretation Tree from a CAD Model for 3D−Object Recognition in Bin−Picking Tasks,"International Journal of Computer Vision,Vol.1,No.2,pp.145−165,1987.
位置姿勢推定の際に、対象物体のCADモデルが必ず用意できるとは限らない。非特許文献1のような位置姿勢推定では、位置姿勢のパラメータにより剛体変換したCADモデルと観測対象との差を小さくするように位置姿勢のパラメータを推定するために、CADモデルそのものが無い場合には推定そのものができない。
本発明は、CADモデルが無い対象物体の位置姿勢推定を、少ない手間で実現するための技術を提供することを目的とする。
本発明は、CADモデルが無い対象物体の位置姿勢推定を、少ない手間で実現するための技術を提供することを目的とする。
そこで、本発明の情報処理装置は、対象物体の表面までの距離情報を取得する取得手段と、前記取得手段により取得された前記距離情報に基づいて前記対象物体の概略形状を生成する生成手段と、前記取得手段により取得された前記距離情報に基づいて前記対象物体の幾何特徴を抽出する抽出手段と、前記抽出手段により抽出された前記対象物体の幾何特徴を前記生成手段により生成された前記概略形状に配置する配置手段と、を有する。
本発明によれば、CADモデルが無い対象物体の位置姿勢推定を、少ない手間で実現するための技術を提供することができる。
以下、本発明の実施形態について図面に基づいて説明する。
<実施形態1>
図1は、情報処理装置100のハードウェア構成の一例を示す図である。
図1において、CPU101は、システムバス104に接続された各種デバイスの制御を行う。
ROM102は、BIOSのプログラムやブートプログラムを記憶する。
RAM103は、CPU101の主記憶装置として使用される。
キーボードコントローラ(KBC)105は、マウス等のポインティングデバイス(PD)109や、キーボード(KB)110からの情報等の入力に係る処理を行う。
表示制御部(CRTC)106は、内部にビデオメモリを有し、CPU101からの指示に従ってそのビデオメモリに描画すると共に、ビデオメモリに描画されたイメージデータをビデオ信号としてCRT111に出力する。なお、図1において表示装置としてCRT111を例示しているが、液晶表示装置等、その表示装置の種類は問わない。
ディスクコントローラ(DKC)107は、ハードディスク(HDD)112へのアクセスを行う。
ネットワークインタフェースカード(NIC)108は、ネットワークに接続し、ネットワークを介しての情報通信を行うものである。
なお、HDD112には、OSのプログラムやOS上で動作する各種アプリケーションのプログラム等が格納される。HDD112は、記憶領域の一例である。
上記構成において、情報処理装置100の電源がONになると、CPU101は、ROM102に格納されたブートプログラムに従って、HDD112からOSのプログラムをRAM103に読み込み、処理を実行することによって、各装置の機能を実現する。
つまり、情報処理装置100のCPU101がプログラムに基づき処理を実行することによって、情報処理装置100のソフトウェア構成及び後述するフローチャートの処理が実現される。
図1は、情報処理装置100のハードウェア構成の一例を示す図である。
図1において、CPU101は、システムバス104に接続された各種デバイスの制御を行う。
ROM102は、BIOSのプログラムやブートプログラムを記憶する。
RAM103は、CPU101の主記憶装置として使用される。
キーボードコントローラ(KBC)105は、マウス等のポインティングデバイス(PD)109や、キーボード(KB)110からの情報等の入力に係る処理を行う。
表示制御部(CRTC)106は、内部にビデオメモリを有し、CPU101からの指示に従ってそのビデオメモリに描画すると共に、ビデオメモリに描画されたイメージデータをビデオ信号としてCRT111に出力する。なお、図1において表示装置としてCRT111を例示しているが、液晶表示装置等、その表示装置の種類は問わない。
ディスクコントローラ(DKC)107は、ハードディスク(HDD)112へのアクセスを行う。
ネットワークインタフェースカード(NIC)108は、ネットワークに接続し、ネットワークを介しての情報通信を行うものである。
なお、HDD112には、OSのプログラムやOS上で動作する各種アプリケーションのプログラム等が格納される。HDD112は、記憶領域の一例である。
上記構成において、情報処理装置100の電源がONになると、CPU101は、ROM102に格納されたブートプログラムに従って、HDD112からOSのプログラムをRAM103に読み込み、処理を実行することによって、各装置の機能を実現する。
つまり、情報処理装置100のCPU101がプログラムに基づき処理を実行することによって、情報処理装置100のソフトウェア構成及び後述するフローチャートの処理が実現される。
図2は、実施形態1の情報処理装置100のソフトウェア構成等の一例を示す図である。
情報処理装置100は、少なくとも、ソフトウェア構成として、距離情報取得部10と、2次元画像取得部20と、概略形状生成部30と、幾何特徴抽出部40と、幾何特徴選択部50と、幾何特徴配置部60と、視点別特徴保持部70と、を含む。
距離情報取得部10は、プロジェクタ等により取得された対象物体を含む距離画像から対象物体の表面までの距離情報を取得する。例えば、プロジェクタは、構造的なパターンを対象物体に投影して、対象面に反射した画像を取得する。距離情報取得部10は、この画像からパターンを復号することによりプロジェクタの投影位置を特定する。そして、距離情報取得部10は、撮像位置と投影位置との関係から三角測量により対象物体の距離を計算し、距離情報を取得する。但し、このことは本実施の形態を制限するものではなく、距離情報取得部10は、他の方法を用いて距離情報を取得するようにしても良い。例えば、距離情報取得部10は、ラインレーザーを利用して、対象を直線運動させたときのレーザーの反射位置を計測し、三次元の位置情報に変換した距離情報を取得するようにしても良い。
2次元画像取得部20は、撮像デバイスで撮像された対象物体を含む2次元画像の画像データを取得する。撮像デバイスは、例えば、レンズ歪み等のカメラパラメータを事前校正したCCDやCMOS等の撮像素子によるカメラ等である。2次元画像は、例えば、3色のカラーフィルターを利用したカラー画像である。また、情報処理装置100が2台以上のカメラと通信可能であれば、カメラ間の相対的な位置姿勢を事前に校正しておくことでステレオカメラを構成することができる。複数の視点の画像を利用することで、部品同士の遮蔽による影響を低減することができる。
情報処理装置100は、少なくとも、ソフトウェア構成として、距離情報取得部10と、2次元画像取得部20と、概略形状生成部30と、幾何特徴抽出部40と、幾何特徴選択部50と、幾何特徴配置部60と、視点別特徴保持部70と、を含む。
距離情報取得部10は、プロジェクタ等により取得された対象物体を含む距離画像から対象物体の表面までの距離情報を取得する。例えば、プロジェクタは、構造的なパターンを対象物体に投影して、対象面に反射した画像を取得する。距離情報取得部10は、この画像からパターンを復号することによりプロジェクタの投影位置を特定する。そして、距離情報取得部10は、撮像位置と投影位置との関係から三角測量により対象物体の距離を計算し、距離情報を取得する。但し、このことは本実施の形態を制限するものではなく、距離情報取得部10は、他の方法を用いて距離情報を取得するようにしても良い。例えば、距離情報取得部10は、ラインレーザーを利用して、対象を直線運動させたときのレーザーの反射位置を計測し、三次元の位置情報に変換した距離情報を取得するようにしても良い。
2次元画像取得部20は、撮像デバイスで撮像された対象物体を含む2次元画像の画像データを取得する。撮像デバイスは、例えば、レンズ歪み等のカメラパラメータを事前校正したCCDやCMOS等の撮像素子によるカメラ等である。2次元画像は、例えば、3色のカラーフィルターを利用したカラー画像である。また、情報処理装置100が2台以上のカメラと通信可能であれば、カメラ間の相対的な位置姿勢を事前に校正しておくことでステレオカメラを構成することができる。複数の視点の画像を利用することで、部品同士の遮蔽による影響を低減することができる。
概略形状生成部30は、距離情報取得部10で得られた距離情報から対象物体の3次元形状を再構成する。距離情報を格子状に配置された対象までの距離値とすれば、概略形状生成部30は、隣接する格子点を頂点とするメッシュを生成することができる。また、概略形状生成部30は、複数視点から撮像された結果の距離情報を統合しても良い。この場合、概略形状生成部30は、距離情報の距離点群同士の相対的な位置姿勢を、ICP(Iterative Closest Points)等のアルゴリズムを用いることで算出することができる。また、概略形状生成部30は、ボクセルの格子点を利用してメッシュを生成する方法や、点群に対してドロネー三角形によりメッシュを生成する方法等を用いることができる。予め対象物体の形状メッシュデータが入手可能な場合には、概略形状生成部30は、形状メッシュデータを利用して概略形状を生成しても良い。例えば、概略形状生成部30は、対象物体の形状メッシュデータを、ネットワーク等を介してダウロードし、取得して、HDD112等に記憶し、利用する。
幾何特徴選択部50は、2次元画像や距離情報に含まれる対象物体が撮像されている範囲にある幾何特徴の抽出方法を選択する。例えば、幾何特徴選択部50は、予め設定された抽出方法やCRT111、KB110等を介して利用者により設定された抽出方法を幾何特徴抽出部40で利用する抽出方法として選択する。2次元画像から幾何特徴を抽出する方法としては、以下のようなものがある。コーナー点を抽出するHarris オペレータ、エッジを抽出するSobelやCannyオペレータ、テクスチャの密度や方向を抽出する方法、色のヒストグラムや局所的な領域の勾配ヒストグラムを用いる方法等である。また、距離情報から幾何特徴を抽出する方法としては、注目領域の周辺の法線ベクトルを円柱に投影したときのヒストグラムによる識別や、2点間の奥行きの差を用いる方法や、局所領域の曲率を計算する方法等ある。幾何特徴選択部50は、複数の抽出方法を選択しても良い。
幾何特徴抽出部40は、幾何特徴選択部50により選択されている幾何特徴抽出方法に基づいて対象物体が撮像されている2次元画像、距離情報に対して画像処理を行う。そして、幾何特徴抽出部40は、その結果を2次元画像であれば幾何特徴の2次元位置情報、距離情報であれば幾何特徴の3次元位置情報として複数の幾何特徴の抽出を行う。なお、複数の幾何特徴抽出方法を用いることで、2次元画像、距離情報、共に扱うことができたり、幾何特徴の対応付けの精度を向上させることができたりする。
幾何特徴配置部60は、幾何特徴抽出部40で抽出された幾何特徴の位置情報と概略形状生成部30で生成された概略形状との関連付けを行う。例えば撮像デバイスが対象物を撮像した場合、平面に模様が描かれている台座部や、指標となる構造物が一緒に撮像する。このようにすることで、撮像画像より撮像時の撮像デバイスの位置姿勢を求めることができる。幾何特徴配置部60は、撮像時の撮像デバイスの位置姿勢と概略形状生成部30で生成した概略形状との剛体変換を、指標が配置されている環境に変更が無く対象物体が動かなければ、行うことができる。ここで、剛体変換は、オブジェクト(対象物)の位置と方向とは変更しても形状は変更しない座標変換のことである。距離情報から抽出された幾何特徴の3次元位置情報は、撮像デバイス中心の座標系となっている。したがって、幾何特徴配置部60は、3次元位置情報に先ほどの撮像時の撮像デバイスの位置姿勢の逆変換を乗算することで、対象部品の基準座標系に変換することができる。これにより、様々な視点から撮像された距離情報から抽出された幾何特徴の3次元位置情報を、対象物体のモデル座標系基準の3次元位置情報として統合することができる。2次元画像から抽出された幾何特徴は画面上の位置と撮像デバイス原点とを結ぶ直線上に特徴点が存在する。そこで、幾何特徴配置部60は、撮像デバイス原点と幾何特徴の画面上の位置とを結ぶ直線と、概略形状生成部30で生成された概略形状のメッシュモデルの各ポリゴン面との交点があるかどうかの判定を行い、交点の中で最も撮像デバイス原点に近い位置を求める。なお、メッシュモデルは、撮像デバイスの位置姿勢とモデル座標系とに応じて配置しておく。ポリゴン面との交点は撮像デバイス座標系(カメラ座標系)なので、撮像デバイスの撮像時の位置姿勢の逆変換を乗じることで、モデル座標系での位置に変換できる。以下、概略形状に幾何特徴が配置されたものを幾何モデルともいう。
視点別特徴保持部70は、抽出された幾何特徴を保持するデータベースをHDD112等に登録、管理する。視点別特徴保持部70は、幾何特徴配置部60で用いられた撮像デバイスの位置姿勢をテーブルのキーとして、モデル座標系に変換された各幾何特徴の3次元位置情報をリストとするデータベースを構築し、管理する。撮像デバイスと対象物体との相対的な位置姿勢の情報を保持しておくことで、実際に観察される幾何特徴のみを効率的に登録することができる。視点別特徴保持部70は、登録する際の撮像デバイスの位置姿勢を、できるだけ重複がないようにする。
以下、情報処理装置100が実行する実施形態1の情報処理の一例を図3に示す。
ステップS10において、距離情報取得部10は、対象物体を含む距離画像を取得し、前記距離画像から対象物体の表面までの距離情報を取得する。例えば、距離情報取得部10は、対象物体に投影されたパターン光に基づき、パターンのそれぞれの位置を特定し、撮像デバイスで撮像した位置との対応から三角測量により対象物体の距離を計算し、距離情報を取得する。
ステップS20において、2次元画像取得部20は、撮像デバイスで撮像された対象物体を含む2次元画像の画像データを取得する。
ステップS30において、概略形状生成部30は、距離情報取得部10で得られた距離情報から対象物体の3次元形状を再構成する。一方向からの距離情報では対象物体の見えていない面等も存在するため、概略形状生成部30は、異なる視点から撮像された距離画像から取得された距離情報を張り合わせて概略形状を生成する。
ステップS40において、幾何特徴選択部50は、距離情報や2次元画像からの幾何特徴の抽出方法を選択する。例えば、幾何特徴選択部50は、予め設定された抽出方法やCRT111、KB110等を介して利用者により設定された抽出方法を幾何特徴抽出部40で利用する抽出方法として選択する。ここで、情報処理装置100は、位置姿勢推定に用いられる幾何特徴だけを抽出すれば良い。したがって、幾何特徴選択部50は、位置姿勢推定に必要な幾何特徴だけを抽出する幾何特徴の抽出方法を選択する。
ステップS10において、距離情報取得部10は、対象物体を含む距離画像を取得し、前記距離画像から対象物体の表面までの距離情報を取得する。例えば、距離情報取得部10は、対象物体に投影されたパターン光に基づき、パターンのそれぞれの位置を特定し、撮像デバイスで撮像した位置との対応から三角測量により対象物体の距離を計算し、距離情報を取得する。
ステップS20において、2次元画像取得部20は、撮像デバイスで撮像された対象物体を含む2次元画像の画像データを取得する。
ステップS30において、概略形状生成部30は、距離情報取得部10で得られた距離情報から対象物体の3次元形状を再構成する。一方向からの距離情報では対象物体の見えていない面等も存在するため、概略形状生成部30は、異なる視点から撮像された距離画像から取得された距離情報を張り合わせて概略形状を生成する。
ステップS40において、幾何特徴選択部50は、距離情報や2次元画像からの幾何特徴の抽出方法を選択する。例えば、幾何特徴選択部50は、予め設定された抽出方法やCRT111、KB110等を介して利用者により設定された抽出方法を幾何特徴抽出部40で利用する抽出方法として選択する。ここで、情報処理装置100は、位置姿勢推定に用いられる幾何特徴だけを抽出すれば良い。したがって、幾何特徴選択部50は、位置姿勢推定に必要な幾何特徴だけを抽出する幾何特徴の抽出方法を選択する。
ステップS50において、幾何特徴抽出部40は、幾何特徴選択部50により選択されている幾何特徴抽出方法に基づいて対象物体が撮像されている2次元画像から2次元の幾何特徴を抽出する。以下、説明の簡略化のため、2次元の幾何特徴として、エッジ上の点とその方向とを例に説明を行う。
ステップS60において、幾何特徴抽出部40は、幾何特徴選択部50により選択されている幾何特徴抽出方法に基づいて対象物体を含む距離画像から3次元の幾何特徴を抽出する。以下、説明の簡略化のため、3次元の幾何特徴として、面上の点とその法線とを例に説明を行う。
ステップS60において、幾何特徴抽出部40は、幾何特徴選択部50により選択されている幾何特徴抽出方法に基づいて対象物体を含む距離画像から3次元の幾何特徴を抽出する。以下、説明の簡略化のため、3次元の幾何特徴として、面上の点とその法線とを例に説明を行う。
ここで、位置合わせをする際には、推定する位置姿勢に応じて、位置の変換を行うため、エッジは2次元ではなく3次元の点でなくてはならない。
したがって、ステップS70において、幾何特徴配置部60は、ステップS50で抽出されたエッジの画像上の位置をステップS30で生成された概略形状に投影した際の3次元の位置を計算する。より具体的に説明すると、幾何特徴配置部60は、対象物体を撮像する撮像デバイスを基準に対象物体の画像上のエッジの位置を3次元の概略形状に投射した際のエッジの3次元の概略形状における3次元位置情報を求める。
ステップS80において、視点別特徴保持部70は、撮像デバイスの位置姿勢の情報(位置姿勢情報)をテーブルのキーとして、ステップS60で抽出された3次元の幾何特徴とステップS70で3次元位置情報を求めた2次元の幾何特徴とを登録する。
したがって、ステップS70において、幾何特徴配置部60は、ステップS50で抽出されたエッジの画像上の位置をステップS30で生成された概略形状に投影した際の3次元の位置を計算する。より具体的に説明すると、幾何特徴配置部60は、対象物体を撮像する撮像デバイスを基準に対象物体の画像上のエッジの位置を3次元の概略形状に投射した際のエッジの3次元の概略形状における3次元位置情報を求める。
ステップS80において、視点別特徴保持部70は、撮像デバイスの位置姿勢の情報(位置姿勢情報)をテーブルのキーとして、ステップS60で抽出された3次元の幾何特徴とステップS70で3次元位置情報を求めた2次元の幾何特徴とを登録する。
本実施形態の処理によれば、対象物体の2次元画像や距離情報から幾何特徴を抽出し、位置姿勢推定のための幾何モデルを生成することができる。即ち、対象物体を復元可能なモデルを生成するわけではないため、少ない手間でCADモデルが無い対象物体の位置姿勢推定を実現するための技術を提供することができる。
<実施形態2>
図4は、実施形態2の情報処理装置100のソフトウェア構成等の一例を示す図である。
情報処理装置100は、ソフトウェア構成として、実施形態1の構成に加え、視点別特徴選択部80と、位置姿勢推定部90と、を含む。
後述する位置姿勢推定部90における位置姿勢推定では、生成された幾何モデルを用いて画像中の対象物体の位置姿勢が求められる。対象物体が3次元形状である場合、物体自身による遮蔽や反対側の面を観測することができないので、予め観察視点からの観測される特徴量のみを列挙しておくことで位置姿勢推定の効率を良くすることができる。
視点別特徴選択部80は、位置姿勢推定が実行される際に、撮像デバイスと対象物体との位置姿勢情報が得られたときに、視点別特徴保持部70に保持されているテーブルから登録時の位置姿勢情報であるキーとの類似度を計算する。そして、視点別特徴選択部80は、類似度の高い位置姿勢情報を候補として選択する。視点別特徴選択部80は、類似度の計算として、以下の処理を行う。即ち、視点別特徴選択部80は、問い合わせている位置姿勢情報と、テーブルに登録されているキーである位置姿勢情報とのうち、モデル原点から撮像デバイス原点へ向かうベクトルを求め、単位ベクトル同士の内積を計算する。そして、視点別特徴選択部80は、より大きい値を有するものを少なくとも1つ以上求める。類似度の高い位置姿勢情報を複数、利用する場合には、視点別特徴選択部80は、内積に応じて幾何特徴の重みを付与することで、幾何特徴の線形補間を行うことができる。
図4は、実施形態2の情報処理装置100のソフトウェア構成等の一例を示す図である。
情報処理装置100は、ソフトウェア構成として、実施形態1の構成に加え、視点別特徴選択部80と、位置姿勢推定部90と、を含む。
後述する位置姿勢推定部90における位置姿勢推定では、生成された幾何モデルを用いて画像中の対象物体の位置姿勢が求められる。対象物体が3次元形状である場合、物体自身による遮蔽や反対側の面を観測することができないので、予め観察視点からの観測される特徴量のみを列挙しておくことで位置姿勢推定の効率を良くすることができる。
視点別特徴選択部80は、位置姿勢推定が実行される際に、撮像デバイスと対象物体との位置姿勢情報が得られたときに、視点別特徴保持部70に保持されているテーブルから登録時の位置姿勢情報であるキーとの類似度を計算する。そして、視点別特徴選択部80は、類似度の高い位置姿勢情報を候補として選択する。視点別特徴選択部80は、類似度の計算として、以下の処理を行う。即ち、視点別特徴選択部80は、問い合わせている位置姿勢情報と、テーブルに登録されているキーである位置姿勢情報とのうち、モデル原点から撮像デバイス原点へ向かうベクトルを求め、単位ベクトル同士の内積を計算する。そして、視点別特徴選択部80は、より大きい値を有するものを少なくとも1つ以上求める。類似度の高い位置姿勢情報を複数、利用する場合には、視点別特徴選択部80は、内積に応じて幾何特徴の重みを付与することで、幾何特徴の線形補間を行うことができる。
又は、視点別特徴選択部80は、コンピュータグラフィックスの描画用機能を用いて登録されている幾何特徴を選択しても良い。テーブルとして保持している他の視点のデータを利用する場合、視点別特徴選択部80は、概略形状生成部30により生成された概略形状を推定する位置姿勢情報に合わせて撮像デバイス視点でメッシュとして描画を行い、幾何特徴の位置に指標となる図形を描画する。各幾何特徴の指標となる図形が、メッシュの裏側や他の部位に遮蔽されている場合、視点別特徴選択部80は、グラフィックスの奥行き判定により観察できないことを利用することで、観察される可能性の高い幾何特徴のみをテーブルから抽出できる。
これにより、位置姿勢推定部90における位置姿勢推定で利用される幾何特徴を見えている状態に応じて利用できるようにすることができる。更に、幾何特徴は局所的な平面を既定している場合が多く、観察方向の変化によっては検出の位置がずれる場合がある。それらの位置を補正する方法として、例えば、視点別特徴選択部80は、バンドル調整法を利用することができる。バンドル調整法は、複数視点で観察される注目点の画面への投影誤差を最小化するように、撮像デバイスの位置姿勢情報と注目点の3次元位置とを補正するものである。本実施形態の処理においても複数の視点で観測された情報があるので、バンドル調整法を適用することができる。これにより、幾何特徴の3次元位置の曖昧性を低減することができ、位置姿勢推定の幾何モデルとして精度を向上することができる。
これにより、位置姿勢推定部90における位置姿勢推定で利用される幾何特徴を見えている状態に応じて利用できるようにすることができる。更に、幾何特徴は局所的な平面を既定している場合が多く、観察方向の変化によっては検出の位置がずれる場合がある。それらの位置を補正する方法として、例えば、視点別特徴選択部80は、バンドル調整法を利用することができる。バンドル調整法は、複数視点で観察される注目点の画面への投影誤差を最小化するように、撮像デバイスの位置姿勢情報と注目点の3次元位置とを補正するものである。本実施形態の処理においても複数の視点で観測された情報があるので、バンドル調整法を適用することができる。これにより、幾何特徴の3次元位置の曖昧性を低減することができ、位置姿勢推定の幾何モデルとして精度を向上することができる。
位置姿勢推定部90は、視点別特徴選択部80により選択された複数の幾何特徴と、前記幾何特徴のそれぞれに対応する対象物体の幾何特徴と、の差が少なくなるように前記対象物体の位置姿勢を推定する。即ち、位置姿勢推定部90は、幾何特徴抽出部40で抽出された幾何特徴と対象の概略位置姿勢に基づいて視点別特徴選択部80で選択されたモデル座標系の幾何特徴との位置に基づいて、幾何モデルの撮像デバイス座標系の位置姿勢情報をパラメータとして最適化計算を行う。位置姿勢推定部90は、3次元の幾何特徴の位置に関して、推定している位置姿勢情報の6パラメータを行列表現したものを乗じることで、撮像デバイス座標系に変換することができる。位置姿勢推定部90は、幾何特徴抽出部40で抽出された幾何特徴との差を評価値として、前記差を小さくするように位置姿勢情報のパラメータを推定する。推定する方法としては、非線形最適化法であるガウス・ニュートン法等を適用すれば良い。また、3次元の位置同士の対応が既知であれば、DLT(Direct Linear Transform)等の固有値分解を用いた方法でも位置姿勢情報を求めることができる。また、ノイズが含まれている場合には、最小二乗推定の推定精度が低下するため、M推定等のロバスト推定法による計測情報の分散による重み付けを行うことも有効である。更に、複数の幾何特徴を利用できる場合、位置姿勢情報のパラメータを推定する3点以上の点の組み合わせをランダムに選択し、そこから複数のセットによるパラメータのうち、最も残差が少ないパラメータを利用するRANSAC法を用いることも効果的である。
以下、情報処理装置100が実行する実施形態2の情報処理の一例を図5に示す。
図5のステップS10〜ステップS80の処理は、実施形態1の図3のステップS10〜ステップS80の処理と同様である。
ステップS90において、視点別特徴選択部80は、幾何特徴の分布の方向や幾何特徴周辺の輝度分布等を用いて対象物体の観察位置姿勢情報の概略値を算出し、ステップS80で登録されたテーブルのキーである位置姿勢情報に類似するレコードを検索する。前記レコードには、幾何特徴を登録した際の2次元の幾何特徴と距離情報に係る幾何特徴の複数の情報が格納されているものとする。
ステップS100において、位置姿勢推定部90は、ステップS90で参照した幾何特徴のリストのそれぞれの三次元位置を、推定中の位置姿勢情報の値を用いて座標変換する。2次元画像から得られた幾何特徴に対応付けするには、位置姿勢推定部90は、三次元空間をカメラの座標系に合わせるように射影変換を行えば良い。位置姿勢推定部90は、射影変換された幾何特徴とステップS50で抽出された幾何特徴の画面上で近いもの同士を対応づけする。距離情報に対しても同様で、位置姿勢推定部90は、距離の近いものを対応付けする。対応づけられた登録された幾何特徴と観察された幾何特徴とは、対応する点の距離を小さくする指標を用いて位置姿勢情報のパラメータを推定することができる。これらのアルゴリズムは、一般的にICPと呼ばれる開示された技術を利用すれば良い。一般には、座標変換は非線形であるため、線形近似をして反復解法するガウス・ニュートン法等で解を求めることができる。
図5のステップS10〜ステップS80の処理は、実施形態1の図3のステップS10〜ステップS80の処理と同様である。
ステップS90において、視点別特徴選択部80は、幾何特徴の分布の方向や幾何特徴周辺の輝度分布等を用いて対象物体の観察位置姿勢情報の概略値を算出し、ステップS80で登録されたテーブルのキーである位置姿勢情報に類似するレコードを検索する。前記レコードには、幾何特徴を登録した際の2次元の幾何特徴と距離情報に係る幾何特徴の複数の情報が格納されているものとする。
ステップS100において、位置姿勢推定部90は、ステップS90で参照した幾何特徴のリストのそれぞれの三次元位置を、推定中の位置姿勢情報の値を用いて座標変換する。2次元画像から得られた幾何特徴に対応付けするには、位置姿勢推定部90は、三次元空間をカメラの座標系に合わせるように射影変換を行えば良い。位置姿勢推定部90は、射影変換された幾何特徴とステップS50で抽出された幾何特徴の画面上で近いもの同士を対応づけする。距離情報に対しても同様で、位置姿勢推定部90は、距離の近いものを対応付けする。対応づけられた登録された幾何特徴と観察された幾何特徴とは、対応する点の距離を小さくする指標を用いて位置姿勢情報のパラメータを推定することができる。これらのアルゴリズムは、一般的にICPと呼ばれる開示された技術を利用すれば良い。一般には、座標変換は非線形であるため、線形近似をして反復解法するガウス・ニュートン法等で解を求めることができる。
本実施形態の処理によれば、CADモデルが無くとも、生成した幾何モデルを用いて対象物体の位置姿勢推定を行うことができる。
<実施形態3>
ロボット等の生産自動化を行う場合に、新しい部品が追加されたり、ロットごとに形状が多少異なる場合に変更を加えたり、位置姿勢推定の形状モデルが自動的に追加・更新されると利便性が向上する。
図6は、実施形態3の情報処理装置100のソフトウェア構成等の一例を示す図である。
情報処理装置100は、ソフトウェア構成として、実施形態2の構成に加え、幾何特徴対応探索部95を含む。
幾何特徴対応探索部95は、部品のカテゴリとして未知のものや、これまでに登録されていない視点からの幾何特徴であるかどうかを判断する。幾何特徴対応探索部95は、新たな部品であれば、位置姿勢推定の幾何モデルを新規に作成し、これまでの修正で済む範囲であれば、既存の位置姿勢計測の幾何モデルを更新するよう制御する。そのために幾何特徴対応探索部95は、登録されている全ての幾何特徴との相関計算を行い、数量等により正規化した値を尤度として計算し、ユーザー又はシステムにより設定されている閾値を越えるかどうかで処理を行う。幾何特徴対応探索部95は、視点別特徴選択部80から視点別特徴保持部70に登録されている幾何特徴と3次元位置の配置の差異を計算する。幾何特徴対応探索部95は、最も差の少ない幾何特徴を用いたときの差が設定された閾値より大きい場合には、位置姿勢用の特徴点のデータを、新規又は更新されたものとして、視点別特徴保持部70に、検出された幾何特徴を追加登録する。幾何特徴対応探索部95は、これまでに対象となっている以外の未登録のカテゴリの部品の場合、全体の尤度が低いことから、位置姿勢推定のモデル構造を新規に生成して、カテゴリと共に登録すれば良い。事前に位置姿勢情報が登録されて無い場合、幾何特徴対応探索部95は、新たに位置姿勢情報をキーとして登録して、検出した幾何特徴の3次元位置をデータとして追加する。また、観察方向として既に登録されている視線方向に対して、視線のなす角度が大きい場合、幾何特徴対応探索部95は、部品の形状が変更されたものとして、差が大きい幾何特徴のデータを削除し、検出した新しい幾何特徴の3次元位置を追加する。このことで、データを更新することができる。
ロボット等の生産自動化を行う場合に、新しい部品が追加されたり、ロットごとに形状が多少異なる場合に変更を加えたり、位置姿勢推定の形状モデルが自動的に追加・更新されると利便性が向上する。
図6は、実施形態3の情報処理装置100のソフトウェア構成等の一例を示す図である。
情報処理装置100は、ソフトウェア構成として、実施形態2の構成に加え、幾何特徴対応探索部95を含む。
幾何特徴対応探索部95は、部品のカテゴリとして未知のものや、これまでに登録されていない視点からの幾何特徴であるかどうかを判断する。幾何特徴対応探索部95は、新たな部品であれば、位置姿勢推定の幾何モデルを新規に作成し、これまでの修正で済む範囲であれば、既存の位置姿勢計測の幾何モデルを更新するよう制御する。そのために幾何特徴対応探索部95は、登録されている全ての幾何特徴との相関計算を行い、数量等により正規化した値を尤度として計算し、ユーザー又はシステムにより設定されている閾値を越えるかどうかで処理を行う。幾何特徴対応探索部95は、視点別特徴選択部80から視点別特徴保持部70に登録されている幾何特徴と3次元位置の配置の差異を計算する。幾何特徴対応探索部95は、最も差の少ない幾何特徴を用いたときの差が設定された閾値より大きい場合には、位置姿勢用の特徴点のデータを、新規又は更新されたものとして、視点別特徴保持部70に、検出された幾何特徴を追加登録する。幾何特徴対応探索部95は、これまでに対象となっている以外の未登録のカテゴリの部品の場合、全体の尤度が低いことから、位置姿勢推定のモデル構造を新規に生成して、カテゴリと共に登録すれば良い。事前に位置姿勢情報が登録されて無い場合、幾何特徴対応探索部95は、新たに位置姿勢情報をキーとして登録して、検出した幾何特徴の3次元位置をデータとして追加する。また、観察方向として既に登録されている視線方向に対して、視線のなす角度が大きい場合、幾何特徴対応探索部95は、部品の形状が変更されたものとして、差が大きい幾何特徴のデータを削除し、検出した新しい幾何特徴の3次元位置を追加する。このことで、データを更新することができる。
本実施形態の処理によれば、位置姿勢推定を実行中の距離情報・2次元画像を用いてデータを更新することができるため、利用者がモデルを生成するための指示を与えなくても自動的に位置姿勢推定モデルが更新され手間を減らすことができる。また、形状差異による位置姿勢推定モデルの精度を低減することができるため、形状差異による位置姿勢推定の失敗が減少し、システムの停止時間を短縮することができる。
<実施形態4>
上述した実施形態の処理をロボットによるバラ積みピッキングや組立作業のシステムとして利用することで、従来のCADによる設計情報を使わなくても対象部品のピッキングが可能となり、教示の手間の低減や、把持動作に対して安定性を向上することができる。
本実施形態の位置決め機構としてのロボットアームによるシステムの構成図を図7に示す。
情報処理装置100は、ロボットアーム600のエンドエフェクタ部に装着された撮像デバイス510とプロジェクタ520とに接続されている。プロジェクタ520から空間コード化パターンや、ランダムドットパターン等の投影位置が識別するコードを含むパターン図形を対象物体700に投影する。投影された反射像を撮像デバイス510で撮像する。また、撮像デバイス510は、パターンを投影しない、又は全点灯したときの反射像を2次元画像として撮像する。情報処理装置100は、撮像デバイス510及びプロジェクタ520を制御する。視点別特徴保持部70のテーブルを、外部記憶装置に登録しておくことで、永続的にデータを利用することが可能となる。ロボットアームの手先位置は、ロボットアームのエンコーダ情報を用いれば計算することができるので、その計算結果を撮像デバイスの位置姿勢情報として利用することができる。
位置姿勢推定部90により推定された対象物体の位置姿勢情報のパラメータは、エンドエフェクタのハンド部と撮像デバイスとの相対位置姿勢を事前に校正して求めておくことで、ロボットアームの手先位置に変換できる。情報処理装置100は、その変換後のロボットアームの手先位置をロボットアーム600の手先位置指令値として伝えることで、現在の位置からロボットアームを動かして対象部品を把持することができる。計測対象の形状が未知の場合、情報処理装置100は、対象物体を複数の視点で観察できるようにロボットアーム位置を動かして、距離情報と2次元画像を取得して、位置姿勢推定用の幾何特徴のテーブルを生成することができる。これにより、CADモデルが無い場合でも、一連の手続きにより位置姿勢推定が可能となる。
上述した実施形態の処理をロボットによるバラ積みピッキングや組立作業のシステムとして利用することで、従来のCADによる設計情報を使わなくても対象部品のピッキングが可能となり、教示の手間の低減や、把持動作に対して安定性を向上することができる。
本実施形態の位置決め機構としてのロボットアームによるシステムの構成図を図7に示す。
情報処理装置100は、ロボットアーム600のエンドエフェクタ部に装着された撮像デバイス510とプロジェクタ520とに接続されている。プロジェクタ520から空間コード化パターンや、ランダムドットパターン等の投影位置が識別するコードを含むパターン図形を対象物体700に投影する。投影された反射像を撮像デバイス510で撮像する。また、撮像デバイス510は、パターンを投影しない、又は全点灯したときの反射像を2次元画像として撮像する。情報処理装置100は、撮像デバイス510及びプロジェクタ520を制御する。視点別特徴保持部70のテーブルを、外部記憶装置に登録しておくことで、永続的にデータを利用することが可能となる。ロボットアームの手先位置は、ロボットアームのエンコーダ情報を用いれば計算することができるので、その計算結果を撮像デバイスの位置姿勢情報として利用することができる。
位置姿勢推定部90により推定された対象物体の位置姿勢情報のパラメータは、エンドエフェクタのハンド部と撮像デバイスとの相対位置姿勢を事前に校正して求めておくことで、ロボットアームの手先位置に変換できる。情報処理装置100は、その変換後のロボットアームの手先位置をロボットアーム600の手先位置指令値として伝えることで、現在の位置からロボットアームを動かして対象部品を把持することができる。計測対象の形状が未知の場合、情報処理装置100は、対象物体を複数の視点で観察できるようにロボットアーム位置を動かして、距離情報と2次元画像を取得して、位置姿勢推定用の幾何特徴のテーブルを生成することができる。これにより、CADモデルが無い場合でも、一連の手続きにより位置姿勢推定が可能となる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述した各実施形態の処理によれば、対象物体の位置合わせの技術を製造ラインの現場で利用する際に、対象物体の3次元情報としてCADモデルが利用できない場合であっても、位置姿勢推定が可能となる。例えば、既製の汎用部品で2次元の図面しか存在しない場合や、設計部門の設計情報が製造部門で機密のため利用できない場合等、対象部品のCADモデルがそもそも利用できない場合でも、位置姿勢計測用のモデルを作ることができる。また、既にCADデータがある場合であっても、概略形状生成部においてメッシュのデータとして本装置の構成を変更せずに利用することができる。また、対象部品に対して複数の部品が組み付けられた複数の部品が結合した状態等、設計時のCADモデルの3次元形状とは異なる場合には結合した状態のモデルを改めてCADのデザインツールで再配置を行う手間がかかる。そのため、上述した実施形態の手法により結合した状態の一つの位置姿勢推定のモデルとして登録することで手間を解消することができる。
更に、リバースエンジニアリングによる形状再構成には、高価な撮像機材を現場に搬入し、撮像のための手続きやアプリケーションの習熟が必要で、製造ラインで汎用的に用いることがコスト面で困難であったことが解消される。
よって、CADモデルが無い対象物体の位置姿勢推定を、少ない手間で実現するための技術を提供することができる。
更に、リバースエンジニアリングによる形状再構成には、高価な撮像機材を現場に搬入し、撮像のための手続きやアプリケーションの習熟が必要で、製造ラインで汎用的に用いることがコスト面で困難であったことが解消される。
よって、CADモデルが無い対象物体の位置姿勢推定を、少ない手間で実現するための技術を提供することができる。
100 情報処理装置
101 CPU
112 HDD
101 CPU
112 HDD
Claims (9)
- 対象物体の表面までの距離情報を取得する取得手段と、
前記距離情報に基づいて前記対象物体の概略形状を生成する生成手段と、
前記対象物体の画像を取得する画像取得手段と、
前記距離情報に基づいて前記対象物体の幾何特徴を抽出すると共に、前記画像に基づいて前記対象物体の幾何特徴を抽出する抽出手段と、
前記抽出手段により抽出された前記対象物体の幾何特徴を前記生成手段により生成された前記概略形状に配置する配置手段と、
を有する情報処理装置。 - 前記生成手段は、前記距離情報に基づいて前記対象物体の3次元の概略形状を生成し、
前記抽出手段は、前記距離情報に基づいて前記対象物体の3次元の幾何特徴を抽出し、
前記配置手段は、前記対象物体の3次元の幾何特徴を前記3次元の概略形状に配置する請求項1記載の情報処理装置。 - 前記画像取得手段は、前記対象物体の2次元画像を取得し、
前記抽出手段は、前記2次元画像に基づいて前記対象物体の2次元の幾何特徴を抽出し、
前記配置手段は、前記対象物体を撮像する撮像デバイスを基準に前記対象物体の2次元の幾何特徴を前記3次元の概略形状に投射した際の前記2次元の幾何特徴の前記3次元の概略形状における3次元位置情報を求め、前記3次元位置情報に応じて前記2次元の幾何特徴を更に前記3次元の概略形状に配置する請求項2記載の情報処理装置。 - 前記抽出手段による幾何特徴の抽出方法を選択する選択手段を更に有し、
前記抽出手段は、前記選択手段により選択された抽出方法に応じて前記対象物体の幾何特徴を抽出する請求項1乃至3何れか1項記載の情報処理装置。 - 前記対象物体を撮像するデバイスの位置姿勢情報に関連付けて前記配置手段により前記概略形状に配置された複数の幾何特徴を記憶領域に記憶する記憶手段を更に有する請求項1乃至4何れか1項記載の情報処理装置。
- 対象物体を撮像するデバイスの位置姿勢情報に基づいて前記位置姿勢情報に類似する位置姿勢情報と関連付けて前記記憶領域に記憶されている複数の幾何特徴を選択する幾何特徴選択手段と、
前記幾何特徴選択手段により選択された複数の幾何特徴と、前記幾何特徴のそれぞれに対応する対象物体の幾何特徴と、の差が少なくなるように前記対象物体の位置姿勢を推定する推定手段と、
を更に有する請求項5記載の情報処理装置。 - 前記幾何特徴選択手段により選択された複数の幾何特徴と、前記幾何特徴のそれぞれに対応する前記対象物体の幾何特徴と、の差が閾値より大きい場合、前記対象物体の複数の幾何特徴を、前記対象物体を撮像するデバイスの位置姿勢情報に関連付けて前記記憶領域に登録する登録手段を更に有する請求項6記載の情報処理装置。
- 情報処理装置が実行する情報処理方法であって、
対象物体の表面までの距離情報を取得する取得ステップと、
前記距離情報に基づいて前記対象物体の概略形状を生成する生成ステップと、
前記対象物体の画像を取得する画像取得ステップと、
前記距離情報に基づいて前記対象物体の幾何特徴を抽出すると共に、前記画像に基づいて前記対象物体の幾何特徴を抽出する抽出ステップと、
前記抽出ステップにより抽出された前記対象物体の幾何特徴を前記生成ステップにより生成された前記概略形状に配置する配置ステップと、
を含む情報処理方法。 - コンピュータを、請求項1乃至7何れか1項記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015105774A JP6584139B2 (ja) | 2015-05-25 | 2015-05-25 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015105774A JP6584139B2 (ja) | 2015-05-25 | 2015-05-25 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016218920A JP2016218920A (ja) | 2016-12-22 |
JP6584139B2 true JP6584139B2 (ja) | 2019-10-02 |
Family
ID=57581332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015105774A Active JP6584139B2 (ja) | 2015-05-25 | 2015-05-25 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6584139B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6938201B2 (ja) * | 2017-04-26 | 2021-09-22 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7000940B2 (ja) * | 2018-03-22 | 2022-01-19 | 株式会社Jvcケンウッド | 形状測定装置、形状測定方法及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5253066B2 (ja) * | 2008-09-24 | 2013-07-31 | キヤノン株式会社 | 位置姿勢計測装置及び方法 |
JP5746477B2 (ja) * | 2010-02-26 | 2015-07-08 | キヤノン株式会社 | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム |
JP5924862B2 (ja) * | 2010-12-15 | 2016-05-25 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6004809B2 (ja) * | 2012-03-13 | 2016-10-12 | キヤノン株式会社 | 位置姿勢推定装置、情報処理装置、情報処理方法 |
-
2015
- 2015-05-25 JP JP2015105774A patent/JP6584139B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016218920A (ja) | 2016-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5297403B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体 | |
US20200096317A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
JP6426968B2 (ja) | 情報処理装置およびその方法 | |
JP5624394B2 (ja) | 位置姿勢計測装置、その計測処理方法及びプログラム | |
JP6271953B2 (ja) | 画像処理装置、画像処理方法 | |
JP6465789B2 (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
KR101643079B1 (ko) | 데이터를 위치 맞춤하는 방법 | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
CN107155341B (zh) | 三维扫描系统和框架 | |
JP6370038B2 (ja) | 位置姿勢計測装置及び方法 | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
JP6092530B2 (ja) | 画像処理装置、画像処理方法 | |
JP5627325B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
CN109785373B (zh) | 一种基于散斑的六自由度位姿估计系统及方法 | |
JP2011085971A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び画像処理システム | |
JP2016170050A (ja) | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム | |
JP4938748B2 (ja) | 画像認識装置及びプログラム | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP5698815B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP6584139B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6228239B2 (ja) | プリミティブの組を用いてデータをレジストレーションする方法 | |
JP2015135333A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
WO2019058487A1 (ja) | 3次元復元画像処理装置、3次元復元画像処理方法及び3次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体 | |
JP6890422B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP2011022084A (ja) | 三次元姿勢測定装置および三次元姿勢測定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190903 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6584139 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |