JP6635690B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6635690B2 JP6635690B2 JP2015125898A JP2015125898A JP6635690B2 JP 6635690 B2 JP6635690 B2 JP 6635690B2 JP 2015125898 A JP2015125898 A JP 2015125898A JP 2015125898 A JP2015125898 A JP 2015125898A JP 6635690 B2 JP6635690 B2 JP 6635690B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- orientation
- information processing
- target object
- measurement data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Geometry (AREA)
Description
位置合わせモデルを生成するのに利用する対象物体の3次元形状モデルを複数の位置姿勢から計測した距離画像から生成するリバースエンジニアリング技術がある。リバースエンジニアリングによる形状再構成は、一般的には、以下の作業により行われる。即ち、多数回、位置姿勢を変えた距離計測装置による距離画像の撮影、それら膨大な距離画像の距離点群から専用のソフトウェアによるノイズ除去や各距離画像(3次元点群)の位置合わせ、曲面当てはめ等の作業である。また2次元画像を撮影するカメラを用いて、多数回、位置姿勢を変えて対象物体を撮影した画像群から、対象物体の3次元形状を再構成する多視点画像からの3次元復元技術もある。
本発明は、対象物体の計測に係る時間と労力とを削減することを目的とする。
以下の実施形態の説明で用いる言葉について説明する。まず、位置合わせモデルとは、対象物体の位置姿勢をモデルフィッティングによって算出する際に用いる対象物体の3次元の形状情報であり、3次元形状を表す幾何特徴の集合からなるものである。また、幾何特徴とは、距離画像又は濃淡画像や3次元形状モデルに含まれる計測の対象物体の撮影領域に含まれる図形的な特徴である。エッジ、コーナー等の特徴や、曲率や法線の分布等の3次元的な特徴も幾何特徴に含まれる。また、距離画像とは、特定の視点から観測された計測の対象物体の表面までの距離値を保持した画像であり、格子状の画像形状になっている場合や、リスト形状になっている場合がある。また、濃淡画像とは、特定の視点から観測された計測の対象物体表面による反射像である。各画素に輝度を格納した輝度画像だけでなく、R(赤)、G(緑)、B(青)等の可視光や赤外光のように波長ごとの輝度を各画素に格納した画像も含まれる。また、3次元形状モデルとは、対象物体の3次元形状を表すモデルである。解析曲面の集合である3次元CADモデルや、3次元点群とその連結情報とからなる局所平面の集合であるメッシュモデル、3次元点の集合や、3次元点とその法線情報との集合等、対象物体の3次元形状を表す情報のことをいう。また、位置姿勢において、位置はユークリッド空間の3次元の表現として(X,Y,Z)で表現でき、姿勢は各軸まわりの回転量の6自由度のパラメータとして表現できる。また、計測位置姿勢とは、対象物体に対する計測装置の相対位置姿勢である。また、位置合わせとは、計測データ間の相対位置姿勢を求め、一つの座標系に変換する位置姿勢パラメータを求めることをいう。また、位置決め機構とは、駆動することができるアクチュエータを含み、指令値により所定の位置に移動する制御機構を含むシステムをいう。一般的な産業用ロボットでは、複数の関節軸を有し、各軸のモータを、回転角度を検出するエンコーダの値を用いてフィードバック制御することにより、所定の位置・角度の姿勢を再現することができる。
本実施形態では対象物体の計測データから対象物体の位置姿勢推定のための位置合わせモデルを作成する情報処理について説明する。
本実施形態のイメージ図を図1に示す。対象物体10を周囲から計測装置20を用いて多数回計測し、複数の計測データを統合して対象物体の位置姿勢推定に用いる位置合わせモデルを作成する。計測装置20はロボットアーム等の位置決め機構により任意の位置姿勢に移動し計測することができ、最初に設定した計測パス30上を移動する。そして対象物体の位置姿勢推定に用いる位置合わせモデルに登録する幾何特徴を含む注目領域40を密に、それ以外の領域は疎に計測することによって、前記位置合わせモデルを生成するのに必要十分な計測を行う。これにより均一な間隔で計測するよりも計測回数を減らすことができ、計測にかかる時間と手間とを軽減することができる。
モデルフィッティングによる対象物体の位置姿勢推定では、情報処理装置は、計測データから検出した幾何特徴と、位置合わせモデルに登録されている3次元幾何特徴とを対応付け、対応する幾何特徴間の距離を最小化する。このことによって、情報処理装置は、位置姿勢のパラメータを算出する。よって、計測データから検出される幾何特徴に対応する3次元幾何特徴が位置合わせモデルに登録されている必要がある。そこで本実施形態では、計測データから幾何特徴が多く検出される領域を注目領域とし、その注目領域を密に計測する方法について述べる。
本実施形態における位置合わせモデルは、対象物体の3次元形状モデルから、法線情報を持つ表面上の3次元点からなる幾何特徴と、方向情報を持つ輪郭上の3次元点からなる幾何特徴と、をサンプリングしたもので構成される。表面上の3次元点と法線情報とは距離画像に当てはめる際に、輪郭上の3次元点と方向情報とは濃淡画像に当てはめる際に用いられる。
上記構成において、情報処理装置1の電源がONになると、CPU11は、ROM12に格納されたブートプログラムに従って、HDD17からOSのプログラム等をRAM13に読み込み、処理を実行することによって、情報処理装置1の機能を実現する。つまり、情報処理装置1のCPU11がプログラムに基づき処理を実行することによって、情報処理装置1のソフトウェア構成及び後述するフローチャートの処理が実現される。
図2のハードウェア構成は一例であって、情報処理装置1は例えば、CPUやHDD、通信I/F等を複数有していても良い。
計測データ取得部110は、投影装置と撮像装置とで構成された計測装置102を介して、計測の対象物体101を含む距離画像と濃淡画像とを取得する。距離画像の取得方法としては、例えば、投影装置から構造的なパターンを投影する。そして、計測データ取得部110は、対象面に反射した像を撮像装置で撮影した画像からパターンを復号することにより投影装置の投影位置を特定し、撮像と投影との画像位置関係から三角測量による距離を計算する。計測データ取得部110は、投影装置からパターン無しの光を投影させるか、又は投影を行わずに撮像装置で撮像することで濃淡画像を取得できる。撮像装置は、CCDやCMOS等の撮像素子によるカメラを用いることができる。
位置姿勢推定に輪郭情報を用いる場合、情報処理装置1は、濃淡画像から検出したエッジと位置合わせモデルに登録している輪郭の3次元点とその向きからなる3次元エッジとを対応付けて、その対応間距離を最小化して位置姿勢を算出する。そのため検出したエッジに対応する3次元エッジが位置合わせモデルに登録される必要がある。濃淡画像からエッジが多数検出されるような、空間的に高周波な形状部分は距離計測がしにくいため、計測データに欠損が発生しやすい。よってそのような領域は複数の視点から多数回計測し欠損を補って形状を取得する必要がある。
濃淡画像からエッジが検出される画像領域の画像周波数は高い傾向がある。そこで、注目領域抽出部120は、濃淡画像の局所領域ごとにFFT等により周波数変換を行い、エッジ検出オペレータに応じた周波数フィルタを適用する。ここでは、注目領域抽出部120は、暗電流ノイズ等の画素ノイズに反応する高周波成分と、距離計測しやすくエッジが検出されない低周波成分と、を除くバンドパスフィルタを適用する。そして、注目領域抽出部120は、バンドパスフィルタの出力の総和を特徴量とする。この特徴量が大きい領域は対象物体の位置姿勢推定に用いる計測データの幾何特徴であるエッジが検出されやすい。したがって、注目領域抽出部120は、対象物体の距離計測しにくい領域を抽出できる。注目領域抽出部120は、バンドパスフィルタの設計値を、使用する撮像装置の暗電流ノイズや撮影環境の光源条件、計測装置20の最小計測面積等から決めることができる。前記特徴量は、画像特徴に関する特徴量の一例である。
計測位置姿勢変更部140は、対象物体と計測データ取得部110で用いる計測装置との相対位置姿勢を変更する。対象物体101は、ワークスペースに静止状態で設置される。計測装置102の位置決め機構としてアームの先端に計測装置102を設置したロボットアーム103を用い、事前に設定したパス上の位置姿勢から対象物体の計測を可能にする。計測位置姿勢変更部140は、ロボットコントローラー104に計測位置姿勢決定部130で決定した位置姿勢に計測装置102を移動するように指示を出力する。ロボットコントローラー104は、この指示に基づき、計測装置102を計測位置姿勢決定部130で決定された位置姿勢に移動させる。
モデル生成部160は、位置合わせ部150で位置合わせされた計測データの3次元メッシュモデルから、部品位置姿勢推定に用いる位置合わせモデルを生成する。モデル生成部160は、メッシュモデルから指定した密度で表面点の3次元点とその法線及び輪郭の3次元点とその向きとをサンプリングし、位置合わせモデルに登録する。このときモデル生成部160が各幾何特徴を観測可能な視点毎に登録を行うことにより、対象物体の位置姿勢を推定する際に幾何特徴の可視判定の処理を省略することができる。
まずS1010で、計測データ取得部110は、対象物体の計測データを取得する。即ち、計測データ取得部110は、対象物体を含む距離画像及び濃淡画像を取得する。
次にS1020で、注目領域抽出部120は、計測データに基づいて、対象物体の計測すべき部分領域(注目領域)を抽出する。即ち注目領域抽出部120は、部品位置姿勢計測に用いるような幾何特徴を含む局所領域を濃淡画像から抽出する。
そしてS1030で、計測位置姿勢決定部130は、次に対象物体を計測する位置姿勢を決定する。即ち、計測位置姿勢決定部130は、前記注目領域が検出されていれば最小刻み幅先のパス上の位置姿勢を、前記注目領域が検出されなければ最大刻み幅先のパス上の位置姿勢を次の計測位置姿勢として決定する。
次にS1040で、計測位置姿勢変更部140は、対象物体と計測装置との相対位置姿勢をS1030で決定された位置姿勢に変更する。
次にS1050で、計測データ取得部110は、再び計測データを取得する。即ち計測データ取得部110は、対象物体を含む距離画像及び濃淡画像を取得する。
S1070で、位置合わせ部150は、今まで取得した全計測データ同士の位置合わせを行う。即ち、位置合わせ部150は、距離画像同士の座標系を統一し、そのメッシュモデルを出力する。
最後にS1080で、モデル生成部160は、計測データから生成したメッシュモデルから部品位置姿勢計測に用いる幾何特徴を抽出する。即ち、モデル生成部160は、メッシュモデルから表面点の3次元点とその法線、輪郭の3次元点とその向きをサンプリングし、位置合わせモデルとして出力する。この処理により均一な間隔で計測するよりも計測回数を減らすことができ、計測にかかる時間と手間とを軽減することができる。
評価値は位置合わせに用いる特徴が多いと大きくなる。上記のように見えの変化の影響を受けやすい位置合わせ特徴の場合は、特徴を多く含む、即ち、評価値が大きい注目領域を密に計測した方が良い。逆に見えの変化の影響が少ない位置合わせ特徴の場合は、特徴が少ない部分、即ち、評価値の小さい注目領域を密に計測しても良い。それにより、少ない位置合わせ特徴を多く計測でき、安定した位置合わせを可能にする位置合わせモデルの計測にかかる時間と手間とを軽減できる。
本実施形態で述べたモデル生成部160は、1つの座標系に統合した計測データから対象物体の位置姿勢推定に用いる幾何特徴を抽出し、その幾何特徴を登録した位置合わせモデルを生成できれば良い。メッシュモデルからではなく3次元点群から直接サンプリングしても良いし、濃淡画像から検出した特徴点を他の濃淡画像から検出した特徴点と対応づけて三角測量により特徴点の3次元位置を算出し登録しても良い。
本実施形態では、位置合わせモデルを生成するまでの処理について述べたが、S1060の計測終了判定で計測が終了したと判定したところで処理を終わらせ、計測データをHDD17等の記憶装置に保存して終了しても良い。その場合は後で計測データを記憶装置から読みだして、S1070の位置合わせ処理とS1080のモデル生成処理とを行えば良い。
実施形態1では情報処理装置は1フレーム前に計測した計測データに基づいて次の計測位置姿勢を決定していた。本実施形態では情報処理装置が計測済みの複数の計測データから注目領域と計測位置姿勢とを決定する方法について述べる。これにより、十分計測した領域を何度も計測しなくて済むようになり、計測にかかる時間が少なくなる。
本実施形態における情報処理装置2のハードウェア構成は、実施形態1の情報処理装置1のハードウェ空構成と同様である。情報処理装置2のソフトウェア構成を図5に示す。情報処理装置2は、ソフトウェア構成として、計測データ取得部210、注目領域抽出部220、計測位置姿勢決定部230、計測位置姿勢変更部240、位置合わせ部250、モデル生成部260を含む。各構成は、それぞれ実施形態1の計測データ取得部110、注目領域抽出部120、計測位置姿勢決定部130、計測位置姿勢変更部140、位置合わせ部150、モデル生成部160とほぼ同様である。但し、注目領域抽出部220、計測位置姿勢決定部230が、位置合わせ部250からの位置合わせ済みの計測データ又はメッシュモデルに基づいて処理を行うところが異なる。ロボットアーム203等も実施形態1と同様である。
S2020では、注目領域抽出部220は、1つ以上の計測データを位置合わせして統合したメッシュモデルと撮影位置姿勢が既知の濃淡画像とから、対象物体の注目領域、即ち計測すべき領域を決定する。より具体的に説明すると、注目領域抽出部220は、S1020で述べた方法で濃淡画像から注目領域を抽出し、注目領域が計測されているかを統合したメッシュモデルから判定する。計測した濃淡画像の撮影位置姿勢(カメラ位置姿勢)は位置合わせ部250の処理により算出されている。そのため、位置合わせ部250で計測済みのデータから作成したメッシュモデルをカメラ座標系に変換し、濃淡画像に投影させることができる。注目領域抽出部220は、注目領域に投影されたメッシュモデルに欠損がどれだけあるかを示す未計測度を算出し、判定する。注目領域抽出部220は、背景領域を除き、注目領域の画素に表面以外、即ち裏面や穴が投影されていれば、その個所の3次元計測ができていないと判定できる。より具体的に説明すると、濃淡画像にメッシュモデルを投影して描画し、注目領域の各画素に投影されたメッシュの法線とその画素へのカメラ原点からの視線ベクトルとのなす角度が90度以上であれば裏面が投影されている。したがって、注目領域抽出部220は、その画素は未計測であると判断する。加えて、注目領域抽出部220は、その画素にメッシュが投影されていなくても未計測だと判断する。注目領域抽出部220は、未計測と判断した画素の数をその注目領域の未計測度とする。注目領域抽出部220は、もし未計測度が0である、即ち未計測画素がなければ、その領域は注目領域から除外し、未計測度が0より大きい領域を注目領域とする。但し判定方法は上記に限られない。注目領域抽出部220は、未計測度が閾値以下である領域を注目領域から除外しても良い。また、未計測度は未計測画素の数でなくても面積や密度であっても良い。
また、ボクセル内の点群のばらつき(分散)や面当てはめ誤差が大きい場合は計測が困難でノイズが多く発生している領域であると考えられる。そこでその領域を多数回計測して中心極限定理によりノイズを軽減するために、注目領域抽出部220は、ばらつきや面当てはめ残差が大きく、かつ点群の密度も低い場合を未計測であると判定しても良い。また、注目領域抽出部220は、ボクセル内の点群のばらつきや面当てはめ誤差を直接注目領域かどうかの判定基準に用いても良い。バラツキや面当てはめ誤差が閾値以上であれば注目領域として選択するようにすれば、注目領域が3次元の領域として抽出できるため、以下に示す実施形態3で述べる計測可能性の判定の確度が高くなる。なお、計測データには全ての計測データを用いても良いし、現在の計測装置202の位置姿勢に空間的に(又は時間的に)近い位置姿勢で計測された計測データの部分集合を用いても良い。ここで、空間的に近い位置姿勢とは、例えば、空間的に設定された範囲内にある位置姿勢である。また、時間的に近い位置姿勢とは、例えば、時間的に設定された範囲内にある位置姿勢である。これらの設定に係る値は、例えば、HDD17等に記憶されている。例えば、CPU11は、入力装置16等を介したユーザ操作に応じて、前記値を変更することができる。
上述した実施形態1では計測位置姿勢決定部130で、計測データに応じて次の計測位置姿勢のパス上の刻み幅を決めていた。本実施形態では情報処理装置は、計測位置姿勢のパス上に複数の計測位置姿勢候補を考え、1つ以上の取得済みの計測データを用いて、その計測位置姿勢から対象物体がどう見えるかを予測し、計測位置姿勢を決定する。これにより、注目領域が計測可能かどうかをより高い確度で判定できるため、計測にかかる時間が少なくなる。
S2030では、計測位置姿勢決定部230は、現在の計測装置の位置姿勢からパスの進行方向上の計測位置姿勢を決定する。より具体的に説明すると、計測位置姿勢決定部230は、パス上でランダムに1つ以上の計測位置姿勢候補を生成する。但し現在の位置姿勢から離れ過ぎても計測データ間の位置合わせが難しくなるため、現在の位置姿勢からどれだけ離れても良いかの上限は設定されているものとする。そして、計測位置姿勢決定部230は、各計測位置姿勢候補から注目領域が計測可能かどうかを判定する。計測位置姿勢決定部230は、対象物体が設置されてある平面(ワークスペース)に注目領域を投影させて判定を行う。計測位置姿勢決定部230は、ワークスペースに投影された注目領域が各位置姿勢候補から計測可能かどうかを、ワークスペースの位置姿勢を事前に求めておくことで容易に判定することができる。つまり、計測位置姿勢決定部230は、ワークスペースに投影された注目領域を更にカメラ座標系に変換し、カメラの画像座標に投影させることでカメラの画角内に注目領域が収まっているかどうかを判定する。これは対象物体の厚さを0と仮定して、対象物体の可視判定を行うことと等価である。計測位置姿勢決定部230は、注目領域の全体、又は閾値で指定された割合や面積以上の領域が、カメラの画角内に収まっていない、又は収まっていても注目領域の面積が閾値よりも小さければ計測不可能な位置姿勢であると判定する。そして、計測位置姿勢決定部230は、その計測位置姿勢を候補から除外する。計測位置姿勢決定部230は、残った位置姿勢候補のうち、現在の計測位置姿勢から最も近い候補を選択し次の計測位置姿勢とする。これにより、注目領域が計測可能かをより高い確度で判定できるため、計測にかかる時間と手間とを軽減することができる。
実施形態3では情報処理装置は対象物体の位置姿勢推定に重要な幾何特徴を含む領域及び、まだ十分に計測していない領域の少なくとも一方を計測可能な位置姿勢を計測位置姿勢として決定していた。本実施形態では情報処理装置が他の計測データと十分な精度で位置合わせできるかを考慮して、次の計測位置姿勢を決定する方法について述べる。これにより、他の計測データと位置合わせできないためにモデル生成に使われない無駄な計測を減らせるため、計測にかかる時間を減らすことができる。ここでは、位置合わせ部150が、距離画像から生成したメッシュモデル同士の位置合わせを、対応する点と面との距離を最小化するICPアルゴリズムを用いて行うものとする。また、本実施形態の情報処理装置のハードウェア構成は実施形態1と同様である。また、本実施形態の情報処理装置のソフトウェア構成は実施形態2と同様であり、情報処理を示すフローチャートも図6に示すものである。
計測位置姿勢決定部230は、位置合わせ部250が出力したメッシュモデルから抽出した幾何特徴のヤコビ行列から求めた位置合わせの曖昧性に基づいて位置合わせ可能度Sfを算出する。ここでは計測位置姿勢決定部230は、幾何特徴としてメッシュモデルからサンプリングした表面点の3次元位置と法線を用いる。幾何特徴のヤコビ行列とは、位置合わせを行う際に着目する幾何特徴の対応間距離が変化したときに、位置姿勢6自由度のパラメータが変化する度合いを表す値である。より具体的に説明すると、3次元空間中での点と平面との距離を位置及び姿勢の関数としたときの、位置及び姿勢の各要素に関する一次の偏微分係数を要素とする行列である。幾何特徴のヤコビ行列をみることで、その幾何特徴が位置姿勢6自由度のどのパラメータに影響を与え易いかがわかる。ヤコビ行列の特定のパラメータが小さい場合、そのパラメータへの影響が小さい、即ちそのパラメータが決まらず位置合わせに失敗する、又は十分な精度で位置合わせができないことを表す。以下では幾何特徴のヤコビ行列の導出方法と位置合わせ可能度Sfの導出方法を示す。
計測データの偶然誤差及びデータ量・空間分布とモデルフィッティングの偶然誤差との関係は、Hoffらにより、各計測データの偶然誤差による位置姿勢推定結果の偶然誤差への伝播としてモデル化する手法が提案されている。以下では、この誤差伝播の枠組みを利用して、計測データの偶然誤差(σrange)、観測できる計測データ(メッシュモデル)の幾何特徴の数、観測できる計測データ(メッシュモデル)の幾何特徴の空間分布(観測できるメッシュモデルの表面点の位置)から、位置姿勢の偶然誤差を位置合わせ可能度Sfとして算出する枠組みについて述べる。
位置合わせ可能度Sfを推奨度として、推奨度の最も高い計測位置姿勢候補を次の計測位置姿勢とすることで、計測しても他の計測データと位置合わせができないためにモデル生成に使われない計測データを減らすことができる。その結果、計測にかかる時間と手間とを軽減することができる。
上述した実施形態では情報処理装置は事前に計測位置のパスを設定していた。本実施形態では情報処理装置が計測位置のパスは設定せずに、又は設定してあっても逐次パスを変更する方法について述べる。
本実施形態の情報処理装置のハードウェア構成は実施形態1と同様である。また、本実施形態の情報処理装置のソフトウェア構成は実施形態2と同様であり、情報処理を示すフローチャートも図6に示すものである。
実施形態3や4ではS2030の計測位置姿勢決定の処理で、計測パス上で位置姿勢の候補をランダムに生成してその中から最適なものを選択していた。本実施形態では計測位置姿勢決定部230は、現在の位置姿勢の近傍からランダムに計測位置姿勢の候補を生成し、その中から実施形態4で述べた推奨度が最も高いものを選択する。本実施形態の情報処理装置はこの処理をS2070の計測終了判定処理で、未計測領域がなくなる、又は未計測領域の面積が閾値以下になるまで繰り返す。近傍の計測位置姿勢とは、例えば、現在の位置姿勢から所定範囲内の計測位置姿勢のことである。
これにより、計測のパスを事前に設定する手間を軽減でき、また対象物体の形状に合わせたパスで計測が可能となるため、計測にかかる手間と時間とを軽減できる。
また、計測位置姿勢決定部230は、対象物体を中心としたジオデシックドームの頂点を計測位置候補としても良い。その場合、計測位置姿勢決定部230は、ドームの中心を向くように姿勢を設定する。更に、例えば、計測位置姿勢変更部240は、計測の終了判定処理(S2070)において、以下のように処理しても良い。即ち、計測位置姿勢変更部240は、ジオデシックドームのどの頂点から計測したとしても未計測領域が検出されない、又は未計測領域の面積が閾値以下になった場合に計測を終了し、S2080の処理に移行するようにしても良い。また、計測位置姿勢変更部240は、注目領域内の3次元点の密度等閾値以上であれば計測を終了し、S2080の処理に移行するようにしても良い。
上述した実施形態では情報処理装置は計測データや計測データを統合したメッシュモデルから対象物体の位置姿勢計測に重要な幾何特徴と相関のある特徴量を算出し、その特徴量を多く含む領域を注目領域として次の計測位置姿勢を算出していた。そして情報処理装置は注目領域を計測密度や計測回数等に基づいて十分計測したかどうかを判断していた。本実施形態では、情報処理装置が逐次位置合わせモデルを生成し、計測データから検出した対象物体の位置姿勢計測に用いる幾何特徴が位置合わせモデルに登録してあるかどうかを確認する。そして、情報処理装置が登録していなければ検出した幾何特徴を含む領域を注目領域とする方法について述べる。これにより、確実に計測漏れを減らすことができるため、再計測にかかる手間と時間とを軽減できる。
本実施形態の情報処理装置3のハードウェア構成は実施形態1と同様である。情報処理装置3のソフトウェア構成を図7に示す。情報処理装置3は、ソフトウェア構成として、計測データ取得部310、注目領域抽出部320、計測位置姿勢決定部330、計測位置姿勢変更部340、位置合わせ部350、モデル生成部360を含む。各構成は、それぞれ実施形態1の計測データ取得部110、注目領域抽出部120、計測位置姿勢決定部130、計測位置姿勢変更部140、位置合わせ部150、モデル生成部160とほぼ同様である。但し、注目領域抽出部320、計測位置姿勢決定部330が、モデル生成部360からの位置合わせモデルに基づいて処理を行うところが異なる。ロボットアーム303等も実施形態1と同様である。
S3020では、注目領域抽出部320は、S3070で生成された位置合わせモデルに、対象物体の位置姿勢計測に用いる計測データから検出した幾何特徴が登録されているかをチェックする。より具体的に説明すると注目領域抽出部320は、以下のように処理を行う。対象物体の位置姿勢推定に用いる幾何特徴として濃淡画像の輪郭情報と距離画像の3次元点とを用いる場合を説明する。計測データはS3060で位置合わせ済みである。そのため、注目領域抽出部320は、濃淡画像のカメラ位置姿勢は既知である。よって、注目領域抽出部320は、位置合わせモデルに登録してある輪郭情報を濃淡画像に投影させる。並行して、注目領域抽出部320は、濃淡画像からエッジ検出を行う。濃淡画像から検出したエッジと投影させた輪郭情報とが重なる場合、つまり両者の対応間距離が閾値以下になる場合、その幾何特徴は位置合わせモデルに登録されているということである。それに対して検出したエッジに対応する幾何特徴が見つからなかった場合、その幾何特徴は位置合わせモデルにその幾何特徴は登録されていないということである(背景領域は除く)。そこで、注目領域抽出部320は、対応が見つからなかったエッジを含む領域を注目領域として設定する。距離画像の3次元点の場合も同様に、注目領域抽出部320は、計測データの距離画像と位置合わせモデルとを対応付け、対象物体領域の内で対応がとれなかった3次元点を含む領域を注目領域とする。S3070の終了判定では、計測位置姿勢変更部340は、全ての計測済みのデータに対して注目領域があるかどうかをチェックし、注目領域がなければ検出される幾何特徴が全て位置合わせモデルに登録されているので処理を終了する。なお、ループの最初で位置合わせモデルをまだ生成していない場合、情報処理装置3は、S3020の処理をスキップする。
これにより、位置合わせモデルに幾何特徴が登録されているかどうかを確認することで、計測漏れを減らすことができ、再計測の手間と時間とを軽減できる。
また、S3030の計測位置姿勢決定処理において、実施形態4で述べたように計測位置姿勢候補の推奨度を算出する場合、計測位置姿勢決定部330は、以下のような評価値を算出しても良い。未計測度Suとして上述の注目領域の数や、位置合わせモデルに登録されていない幾何特徴の数や密度であっても良い。また、計測位置姿勢決定部230は、未計測度Suと位置合わせ可能度Sfとのみの重み付き和や積を評価値としても良い。また、S3070の終了判定も、計測位置姿勢変更部340は、注目領域の数が閾値以下になった場合に終了するようにしても良いし、全ての計測済みデータではなく、一部の計測済みデータから判定しても良い。更に、情報処理装置3は、位置合わせ処理S3060やモデル生成処理S3070では計算速度の速い簡易的な計算を行い、終了判定後に時間をかけて高精度に計算し直しても良い。
上述の実施形態ではロボットアーム等の位置決め機構により計測装置と対象物体との相対位置姿勢を変更していた。本実施形態ではユーザが計測装置又は対象物体を把持し、それらの相対位置姿勢を変更する場合を想定し、計測装置はほぼ一定間隔で計測データを取得するとする。このとき注目領域を密に取得するために、本実施形態の情報処理装置は、ユーザに位置姿勢変更をゆっくり行うように注意を促す。これにより、計測漏れや計測しても他の計測データと位置合わせができないためにモデル生成に使われない計測データを取得することを減らすことができ、計測にかかる時間と手間とを軽減することができる。
本実施形態の情報処理装置4のハードウェア構成は実施形態1と同様である。情報処理装置4のソフトウェア構成を図9に示す。情報処理装置4は、ソフトウェア構成として、計測データ取得部410、注目領域抽出部420、位置合わせ部440、モデル生成部450を含む。各部の処理は、上述した実施形態に示した対応する部の処理と同様である。また、情報処理装置4は、ソフトウェア構成として、更に、指示部430を含む。本実施形態では、ワークスペース404上に静止状態で設置した対象物体401を、ユーザ403が把持した計測装置402で、その位置姿勢を変更しながら多数回計測する。また計測装置402には表示装置405及び音声出力装置406が付加されており、指示部430は、ユーザ403に計測装置402をゆっくり動かすように注意を促す表示及び音声の双方又は何れか一方を出力する。ここでは表示装置405としてLED、音声出力装置406としてスピーカーが付加されているとする。指示部430は、計測データに基づいて、密に計測したい場合にはユーザ403にゆっくり計測装置402を動かすようにLEDを点灯又は点滅させ、スピーカーから警告音を発声させるように指示する。
実施形態6と同様にS4020では、注目領域抽出部420は、生成された位置合わせモデルに、対象物体の位置姿勢計測に用いる計測データから検出した幾何特徴が登録されているかをチェックし、登録されていない領域を注目領域として抽出する。
S4030では、注目領域抽出部420は、注目領域の面積の総和を注目度Spとし、実施形態4で述べた未計測度Suと位置合わせ可能度Sfとの重み付き和を推奨度として算出する。
そしてS4040で推奨度が閾値以上であればユーザ403にゆっくり計測装置402を動かすように注意を促すため、指示部430は、表示装置405を点灯させ、音声出力装置406から警告音を発生させる。ユーザ403はそれに従い、注目領域や未計測領域、位置合わせの精度が低くなりそうな領域を密に計測するようにゆっくり計測装置402を動かす。これにより、計測漏れや計測しても他の計測データと位置合わせができないためにモデル生成に使われない計測データを軽減でき、計測の手間と時間とを軽減できる。
また推奨度は注目度Sp、未計測度Su、位置合わせ可能度Sfの何れかであっても良いし、それらの組み合わせの積や重み付き和であっても良い。注目度Spも位置合わせモデルから算出しなくとも、1フレーム前の計測データや位置合わせ済みの計測データ、メッシュモデルから算出しても良い。情報処理装置4は、注目領域と推奨度との算出方法に応じて、位置合わせ処理S4060とモデル生成処理S4070とは計測終了判定S4080の後で行っても良いし、これらの処理は行わずに計測データをHDD17等の記憶装置に保存しても良い。
実施形態7では情報処理装置は表示装置や音声出力装置でユーザに指示を与えていた。本実施形態では情報処理装置は対象物体に注目領域の範囲を投影させることで、注目領域を密に計測することを促す。これにより計測漏れを減らすことができ、計測にかかる時間と手間とを軽減することができる。
本実施形態の情報処理装置のハードウェア構成は実施形態1と同様である。情報処理装置のソフトウェア構成は実施形態7と同様であり、情報処理のフローチャートも実施形態7と同様である。本実施形態の計測装置402は実施形態1で述べたように投影装置と撮像装置とで構成されている。そこで本実施形態では投影装置から注目領域の範囲を投影する。注目領域の算出方法等は実施形態7と同様である。
S4040において推奨度が閾値以上で合った場合、指示部430は、S4020で求めた注目領域の範囲を投影装置から投影させるよう指示を行う。注目領域は撮像装置で撮像された2次元画像上の領域であるが、投影装置と撮像装置とは距離計測のために校正済みで内部パラメータ(焦点距離や歪みパラメータ等)、外部パラメータ(投影装置と撮像装置の相対位置姿勢)は算出されている。そのため、指示部430は、撮像装置の画像上の範囲を投影装置の画像上の範囲に変換できる。注目領域が対象物体に投影されれば、ユーザはそれを見て注目領域周辺を、計測装置をゆっくり動かして密に計測する。
これにより、計測漏れを減らすことができ、計測にかかる時間と手間とを軽減することができる。
本実施形態の情報処理装置は、実施形態7で述べた表示装置や音声出力装置からの指示と併用しても良いし、しなくても良い。しない場合は表示装置405や音声出力装置406はシステム構成として不要である。また投影装置は計測装置を構成するものを使わなくても、別途計測装置に投影装置を取り付けても良いし、投影装置は計測装置でなくワークスペースに設置しても良い。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
例えば、上述した情報処理装置のソフトウェア構成の一部又は全てをハードウェアとして情報処理装置に実装しても良い。また、上述したハードウェア構成は一例であって、情報処理装置は、複数のCPUや通信I/F、表示装置、入力装置等を有していても良い。また、情報処理装置にロボットコントローラーの機能を含めるようにしても良い。
また、上述した実施形態を任意に組み合わせて実施しても良い。
また、計測の対象物体の位置姿勢を算出するための形状情報を生成することができる。これによりCADモデルが利用できない物体であっても位置姿勢計測が可能となるため、ロボットアームによるピッキング等の作業教示の負担が軽減される。
10 対象物体
11 CPU
17 HDD
20 計測装置
Claims (13)
- 計測装置から対象物体の計測データを取得する取得手段と、
前記取得手段により取得された1つ以上の計測データに基づいて、前記対象物体の位置姿勢推定に用いる幾何特徴を含む対象物体の部分領域のうち、前記部分領域あたりの前記幾何特徴と相関のある特徴量を所定の値より多く含む注目領域を抽出する抽出手段と、
前記部分領域を計測する前記計測装置の位置姿勢を決定する決定手段と、
前記対象物体と前記計測装置との相対位置姿勢を前記決定手段で決定された位置姿勢を出力する出力手段と、
を有し、
前記決定手段は、前記抽出手段によって前記注目領域が抽出された場合、予め定められた間隔より密な間隔で前記注目領域を計測する前記計測装置の位置姿勢を決定し、前記抽出手段によって前記注目領域が抽出されなかった場合、前記予め定められた間隔で前記注目領域ではない前記部分領域を計測する前記計測装置の位置姿勢を決定する情報処理装置。 - 前記対象物体と前記計測装置との相対位置姿勢を、前記出力手段によって出力される位置姿勢に変更する変更手段を更に有する請求項1記載の情報処理装置。
- 前記取得手段により取得された2つ以上の計測データの位置合わせを行う位置合わせ手段と、
前記位置合わせ手段により位置合わせされた計測データから前記対象物体の位置姿勢推定に用いる形状モデルを生成する生成手段と、
を更に有する請求項1又は2記載の情報処理装置。 - 前記抽出手段は、前記計測データから検出する画像特徴に関する特徴量が、設定された値より大きい計測データの部分領域を抽出する請求項1乃至3何れか1項記載の情報処理装置。
- 前記抽出手段は、前記計測データの3次元点群のばらつきに関する特徴量が、設定された値より大きい計測データの部分領域を抽出する請求項1乃至3何れか1項記載の情報処理装置。
- 前記抽出手段は、幾何特徴を、1つ以上の計測データから作成した前記対象物体の位置姿勢推定に用いる形状モデルと対応付け、対応が見つからなかった幾何特徴を含む領域を抽出する請求項1乃至5何れか1項記載の情報処理装置。
- 前記決定手段は、前記計測装置の複数の位置姿勢候補を生成し、前記取得手段により取得された1つ以上の計測データに応じて評価値を求め、評価値に応じて、前記複数の位置姿勢候補の中から前記計測装置の次に計測する位置姿勢を決定する請求項1乃至6何れか1項記載の情報処理装置。
- 前記決定手段は、前記計測装置の複数の位置姿勢候補を生成し、前記抽出手段により抽出された部分領域に応じて評価値を求め、評価値に応じて、前記複数の位置姿勢候補の中から前記計測装置の次に計測する位置姿勢を決定する請求項1乃至6何れか1項記載の情報処理装置。
- 前記決定手段は、前記取得手段により取得された1つ以上の計測データ、又は前記取得手段により取得された2つ以上の計測データから作成された前記対象物体の位置姿勢推定に用いる形状モデルに基づいて、観測可能な計測データと、計測済みデータと、の位置合わせのしやすさを表わす評価値を求め、評価値に応じて、前記複数の位置姿勢候補の中から前記計測装置の次に計測する位置姿勢を決定する請求項7記載の情報処理装置。
- 前記取得手段は、前記計測装置から対象物体の計測データとして距離画像を取得する請求項1乃至9何れか1項記載の情報処理装置。
- 前記取得手段は、前記計測装置から対象物体の計測データとして濃淡画像を取得する請求項1乃至9何れか1項記載の情報処理装置。
- 情報処理装置が実行する情報処理方法であって、
計測装置から対象物体の計測データを取得する取得ステップと、
前記取得ステップにより取得された1つ以上の計測データに基づいて、前記対象物体の位置姿勢推定に用いる幾何特徴を含む対象物体の部分領域のうち、前記部分領域あたりの前記幾何特徴と相関のある特徴量を所定の値より多く含む注目領域を抽出する抽出ステップと、
前記部分領域を計測する前記計測装置の位置姿勢を決定する決定ステップと、
前記対象物体と前記計測装置との相対位置姿勢を前記決定ステップで決定された位置姿勢を出力する出力ステップと、
を含み、
前記決定ステップでは、前記抽出ステップで前記注目領域が抽出された場合、予め定められた間隔より密な間隔で前記注目領域を計測する前記計測装置の位置姿勢を決定し、前記抽出ステップで前記注目領域が抽出されなかった場合、前記予め定められた間隔で前記注目領域ではない前記部分領域を計測する前記計測装置の位置姿勢を決定する情報処理方法。 - コンピュータを、請求項1乃至11何れか1項記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015125898A JP6635690B2 (ja) | 2015-06-23 | 2015-06-23 | 情報処理装置、情報処理方法及びプログラム |
US15/187,381 US10288418B2 (en) | 2015-06-23 | 2016-06-20 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015125898A JP6635690B2 (ja) | 2015-06-23 | 2015-06-23 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017010327A JP2017010327A (ja) | 2017-01-12 |
JP6635690B2 true JP6635690B2 (ja) | 2020-01-29 |
Family
ID=57601162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015125898A Active JP6635690B2 (ja) | 2015-06-23 | 2015-06-23 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10288418B2 (ja) |
JP (1) | JP6635690B2 (ja) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9977992B2 (en) * | 2012-02-28 | 2018-05-22 | Snell Advanced Media Limited | Identifying points of interest in an image |
US10179407B2 (en) * | 2014-11-16 | 2019-01-15 | Robologics Ltd. | Dynamic multi-sensor and multi-robot interface system |
JP6632208B2 (ja) * | 2015-03-24 | 2020-01-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
KR101679741B1 (ko) * | 2015-05-06 | 2016-11-28 | 고려대학교 산학협력단 | 외곽 공간 특징 정보 추출 방법 |
EP3156942A1 (en) * | 2015-10-16 | 2017-04-19 | Thomson Licensing | Scene labeling of rgb-d data with interactive option |
JP6681800B2 (ja) * | 2016-07-15 | 2020-04-15 | 株式会社日立製作所 | 制御装置、制御システム、および制御方法 |
US10834377B2 (en) * | 2016-08-29 | 2020-11-10 | Faro Technologies, Inc. | Forensic three-dimensional measurement device |
JP2018051728A (ja) * | 2016-09-30 | 2018-04-05 | ファナック株式会社 | 対象物の三次元位置を検出する検出方法および検出装置 |
JP6805733B2 (ja) * | 2016-10-31 | 2020-12-23 | オムロン株式会社 | 制御システム、その制御方法およびそのコンピュータ読取可能な記憶媒体 |
US10360531B1 (en) * | 2016-12-19 | 2019-07-23 | Amazon Technologies, Inc. | Robot implemented item manipulation |
JP6814053B2 (ja) * | 2017-01-19 | 2021-01-13 | 株式会社日立エルジーデータストレージ | 物体位置検出装置 |
JP6846950B2 (ja) * | 2017-03-03 | 2021-03-24 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6846949B2 (ja) * | 2017-03-03 | 2021-03-24 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6496361B2 (ja) * | 2017-07-20 | 2019-04-03 | ファナック株式会社 | ワークを取出し装置に供給する供給装置および供給装置を備える搬送装置 |
CN107368690B (zh) * | 2017-08-09 | 2022-01-18 | 贵阳朗玛信息技术股份有限公司 | 医学影像图片的预处理方法及装置 |
JP6884077B2 (ja) * | 2017-09-12 | 2021-06-09 | 日立Astemo株式会社 | 表面検査装置及び表面検査方法 |
JP7035401B2 (ja) * | 2017-09-15 | 2022-03-15 | ソニーグループ株式会社 | 画像処理装置およびファイル生成装置 |
JP2019117434A (ja) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | 画像生成装置 |
JP7333445B2 (ja) * | 2017-12-26 | 2023-08-24 | パイオニア株式会社 | 画像生成装置 |
JP6888580B2 (ja) | 2018-04-05 | 2021-06-16 | オムロン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN112204383A (zh) * | 2018-05-30 | 2021-01-08 | 株式会社尼康 | 信息处理装置、信息处理方法、信息处理程序以及显微镜 |
JPWO2020008538A1 (ja) * | 2018-07-03 | 2020-07-27 | 三菱電機株式会社 | 材質推定装置及びロボット |
JP7161875B2 (ja) * | 2018-07-10 | 2022-10-27 | 株式会社Screenホールディングス | 画像処理方法、コンピュータプログラムおよび記録媒体 |
CN109697734B (zh) * | 2018-12-25 | 2021-03-09 | 浙江商汤科技开发有限公司 | 位姿估计方法及装置、电子设备和存储介质 |
US10456915B1 (en) | 2019-01-25 | 2019-10-29 | Mujin, Inc. | Robotic system with enhanced scanning mechanism |
US10870204B2 (en) | 2019-01-25 | 2020-12-22 | Mujin, Inc. | Robotic system control method and controller |
CN111470244B (zh) * | 2019-01-25 | 2021-02-02 | 牧今科技 | 机器人系统的控制方法以及控制装置 |
JP7378934B2 (ja) | 2019-01-29 | 2023-11-14 | キヤノン株式会社 | 情報処理装置、情報処理方法及びシステム |
US11475571B2 (en) * | 2019-03-13 | 2022-10-18 | Canon Kabushiki Kaisha | Apparatus, image processing apparatus, and control method |
KR20200137227A (ko) * | 2019-05-29 | 2020-12-09 | 엘지이노텍 주식회사 | 카메라 모듈 |
JP2020193945A (ja) * | 2019-05-30 | 2020-12-03 | 本田技研工業株式会社 | 計測装置、把持システム、計測装置の制御方法及びプログラム |
EP3998582A4 (en) * | 2019-07-09 | 2022-12-07 | Panasonic Intellectual Property Management Co., Ltd. | METHOD FOR CREATING A THREE-DIMENSIONAL MODEL AND APPARATUS FOR CREATING A THREE-DIMENSIONAL MODEL |
CN110555385B (zh) * | 2019-08-01 | 2022-11-11 | 福州国化智能技术有限公司 | 一种基于变步长曲率滤波的焊缝特征点求取方法 |
US10614340B1 (en) * | 2019-09-23 | 2020-04-07 | Mujin, Inc. | Method and computing system for object identification |
WO2021059438A1 (ja) * | 2019-09-26 | 2021-04-01 | 株式会社Fuji | 高さ測定装置 |
JP7120512B2 (ja) * | 2019-11-22 | 2022-08-17 | Smc株式会社 | 軌跡制御装置 |
CN115087843A (zh) * | 2020-02-17 | 2022-09-20 | 发那科株式会社 | 生成三维点位置信息的三维测定装置 |
JP7401648B2 (ja) * | 2020-03-05 | 2023-12-19 | ファナック株式会社 | 3次元測定装置、及び3次元測定方法 |
CN113111723B (zh) * | 2021-03-18 | 2023-10-13 | 深圳市人工智能与机器人研究院 | 图像处理方法、装置、智能终端及计算机可读存储介质 |
CN113179387B (zh) * | 2021-03-31 | 2022-07-26 | 深圳市紫光照明技术股份有限公司 | 一种智能监控系统和方法 |
US20230179311A1 (en) * | 2021-12-07 | 2023-06-08 | Shasta Cloud, Inc. | Parameter Determination for Radio-Frequency Modeling |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5248806B2 (ja) * | 2007-04-25 | 2013-07-31 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP5058686B2 (ja) * | 2007-06-14 | 2012-10-24 | キヤノン株式会社 | 情報処理方法及び情報処理装置 |
EP2053539B1 (de) * | 2007-10-26 | 2012-01-25 | Sick Ag | Klassifizieren von Objekten sowie Erkennung von deren Position und Orientierung im Raum |
JP5393318B2 (ja) | 2009-07-28 | 2014-01-22 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
JP5127787B2 (ja) * | 2009-07-30 | 2013-01-23 | 富士フイルム株式会社 | 複眼撮影装置及びその制御方法 |
JP5618569B2 (ja) * | 2010-02-25 | 2014-11-05 | キヤノン株式会社 | 位置姿勢推定装置及びその方法 |
JP5548482B2 (ja) * | 2010-02-26 | 2014-07-16 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体 |
FI20105732A0 (fi) * | 2010-06-24 | 2010-06-24 | Zenrobotics Oy | Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä |
JP5671281B2 (ja) * | 2010-08-20 | 2015-02-18 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム |
JP5839929B2 (ja) * | 2010-11-19 | 2016-01-06 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
JP5269972B2 (ja) * | 2011-11-29 | 2013-08-21 | 株式会社東芝 | 電子機器及び三次元モデル生成支援方法 |
JP6000579B2 (ja) * | 2012-03-09 | 2016-09-28 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP6323993B2 (ja) * | 2012-08-28 | 2018-05-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びコンピュータプログラム |
JP6370038B2 (ja) * | 2013-02-07 | 2018-08-08 | キヤノン株式会社 | 位置姿勢計測装置及び方法 |
JP6529302B2 (ja) * | 2015-03-24 | 2019-06-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2015
- 2015-06-23 JP JP2015125898A patent/JP6635690B2/ja active Active
-
2016
- 2016-06-20 US US15/187,381 patent/US10288418B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017010327A (ja) | 2017-01-12 |
US10288418B2 (en) | 2019-05-14 |
US20160379370A1 (en) | 2016-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6635690B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6465789B2 (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
JP6594129B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5132832B1 (ja) | 計測装置および情報処理装置 | |
JP5624394B2 (ja) | 位置姿勢計測装置、その計測処理方法及びプログラム | |
JP6092530B2 (ja) | 画像処理装置、画像処理方法 | |
JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
JP2012123781A (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
JP2015184767A (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
JP2019185730A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017203701A (ja) | 情報処理装置、計測システム、情報処理方法およびプログラム | |
JP6180158B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP7298687B2 (ja) | 物体認識装置及び物体認識方法 | |
JP2015206654A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6381262B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2009244229A (ja) | 三次元画像処理方法、三次元画像処理装置および三次元画像処理プログラム | |
JP6822086B2 (ja) | シミュレーション装置、シミュレーション方法およびシミュレーションプログラム | |
JP2005106491A (ja) | 頭部の三次元形状計測システム | |
KR20140099622A (ko) | 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법 | |
JP6061631B2 (ja) | 計測装置、情報処理装置、計測方法、情報処理方法、および、プログラム | |
JP2018041169A (ja) | 情報処理装置およびその制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191217 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6635690 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |