JP6708917B1 - 形状検出方法、形状検出システム、プログラム - Google Patents
形状検出方法、形状検出システム、プログラム Download PDFInfo
- Publication number
- JP6708917B1 JP6708917B1 JP2020018325A JP2020018325A JP6708917B1 JP 6708917 B1 JP6708917 B1 JP 6708917B1 JP 2020018325 A JP2020018325 A JP 2020018325A JP 2020018325 A JP2020018325 A JP 2020018325A JP 6708917 B1 JP6708917 B1 JP 6708917B1
- Authority
- JP
- Japan
- Prior art keywords
- shape
- dimensional
- point cloud
- cloud data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Program-controlled manipulators
- B25J9/16—Program controls
- B25J9/1679—Program controls characterised by the tasks executed
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40564—Recognize shape, contour of object, extract position and orientation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45061—Measuring robot
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Analysis (AREA)
Abstract
【課題】対象物上の所定の形状を簡易かつ迅速に検出できるようにする。
【解決手段】対象物の形状を検出する形状検出方法であって、前記対象物からセンサにより三次元点群データを取得するステップと、前記三次元点群データを端末の表示領域に表示するステップと、前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、を含む、ことを特徴とする形状検出方法である。
【選択図】図７
【解決手段】対象物の形状を検出する形状検出方法であって、前記対象物からセンサにより三次元点群データを取得するステップと、前記三次元点群データを端末の表示領域に表示するステップと、前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、を含む、ことを特徴とする形状検出方法である。
【選択図】図７
Description
本発明は、形状検出方法、形状検出システム、プログラムに関する。
従来から、物体の形状を検出する方法として、接触式または非接触式の形状検出方法が存在していた（例えば、特許文献１を参照）。
しかしながら、従来の形状検出方法では、全体の形状を検出することは容易に行われるが、対象物上の所定の形状を見つけ出すことは困難であり、例えば三次元モデルを用いて所定の形状を目視にて確認したり、三次元モデル自体を直接解析したりすることは可能であっても、前者においては作業者の労力や時間の面で負荷が大きく、かつ、所定形状の確認が漏れる可能性もあり、後者においては解析に用いる端末の解析処理の負荷も大きいため、それらが簡易かつ迅速な方法とはいえなかった。
本発明はこのような背景を鑑みてなされたものであり、対象物上の所定の形状を簡易かつ迅速に検出することのできる技術を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、対象物の形状を検出する形状検出方法であって、前記対象物からセンサにより三次元点群データを取得するステップと、前記三次元点群データを端末の表示領域に表示するステップと、前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、を含む、ことを特徴とする形状検出方法である。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、対象物上の所定の形状を簡易かつ迅速に検出することができる。
本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を備える。
［項目１］
対象物の形状を検出する形状検出方法であって、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、
を含む、ことを特徴とする形状検出方法。
［項目２］
項目１に記載の形状検出方法であって、
前記二次元画像データの二次元座標は、前記三次元点群データの三次元座標と対応付けされており、
さらに、前記検出された所定の形状の位置が、前記対象物の三次元データ上で把握可能に前記表示領域に表示するステップを含む、
ことを特徴とする形状検出方法。
［項目３］
項目１または２に記載の形状検出方法であって、
前記二次元画像データを取得時の表示領域の大きさを記憶するステップをさらに含む、
ことを特徴とする形状検出方法。
［項目４］
項目１ないし３に記載の形状検出方法であって、
前記二次元画像データを取得時に表示領域の大きさの変更を禁止するステップをさらに含む、
ことを特徴とする形状検出方法。
［項目５］
項目１ないし４に記載の形状検出方法であって、
前記所定の形状は、対象物の凹部形状である、
ことを特徴とする形状検出方法。
［項目６］
項目１ないし４に記載の形状検出方法であって、
前記所定の形状は、対象物の凸部形状である、
ことを特徴とする形状検出方法。
［項目７］
項目１ないし４に記載の形状検出方法であって、
前記対象物は、二以上の構成物が重なったものであり、
前記所定の形状は、前記構成物同士の境界形状である
ことを特徴とする形状検出方法。
［項目８］
項目１ないし７に記載の形状検出方法であって、
前記二次元画像データ上の任意の位置間の長さを測定する、
ことを特徴とする形状検出方法。
［項目９］
対象物の形状を検出する形状検出システムであって、
前記対象物からセンサにより三次元点群データを取得する三次元点群データ取得部と、
前記三次元点群データを端末の表示領域に表示する三次元点群データ表示部と、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得する二次元画像データ取得部と、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出する画像解析部と、
を含む、ことを特徴とする形状検出システム。
［項目１０］
対象物の形状を検出する形状検出方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記形状検出方法として、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。
対象物の形状を検出する形状検出方法であって、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、
を含む、ことを特徴とする形状検出方法。
［項目２］
項目１に記載の形状検出方法であって、
前記二次元画像データの二次元座標は、前記三次元点群データの三次元座標と対応付けされており、
さらに、前記検出された所定の形状の位置が、前記対象物の三次元データ上で把握可能に前記表示領域に表示するステップを含む、
ことを特徴とする形状検出方法。
［項目３］
項目１または２に記載の形状検出方法であって、
前記二次元画像データを取得時の表示領域の大きさを記憶するステップをさらに含む、
ことを特徴とする形状検出方法。
［項目４］
項目１ないし３に記載の形状検出方法であって、
前記二次元画像データを取得時に表示領域の大きさの変更を禁止するステップをさらに含む、
ことを特徴とする形状検出方法。
［項目５］
項目１ないし４に記載の形状検出方法であって、
前記所定の形状は、対象物の凹部形状である、
ことを特徴とする形状検出方法。
［項目６］
項目１ないし４に記載の形状検出方法であって、
前記所定の形状は、対象物の凸部形状である、
ことを特徴とする形状検出方法。
［項目７］
項目１ないし４に記載の形状検出方法であって、
前記対象物は、二以上の構成物が重なったものであり、
前記所定の形状は、前記構成物同士の境界形状である
ことを特徴とする形状検出方法。
［項目８］
項目１ないし７に記載の形状検出方法であって、
前記二次元画像データ上の任意の位置間の長さを測定する、
ことを特徴とする形状検出方法。
［項目９］
対象物の形状を検出する形状検出システムであって、
前記対象物からセンサにより三次元点群データを取得する三次元点群データ取得部と、
前記三次元点群データを端末の表示領域に表示する三次元点群データ表示部と、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得する二次元画像データ取得部と、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出する画像解析部と、
を含む、ことを特徴とする形状検出システム。
［項目１０］
対象物の形状を検出する形状検出方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記形状検出方法として、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。
＜実施の形態の詳細＞
本発明の一実施形態に係る形状検出システム１００の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
本発明の一実施形態に係る形状検出システム１００の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
図１は、本実施形態の形状検出システム１００の一例を示す図である。図１に示されるように、本実施形態の形状検出システム１００では、端末１と、作業用ロボット２とを有している。作業用ロボット２は、少なくともアーム２１、ツール２２、センサ２３を有している。端末１と作業用ロボット２とは、有線または無線にて互いに通信可能に接続されている。
＜端末１＞
図２は、端末１のハードウェア構成を示す図である。端末１は、例えばパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
図２は、端末１のハードウェア構成を示す図である。端末１は、例えばパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
端末１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
プロセッサ１０は、端末１全体の動作を制御し、少なくとも作業用ロボット２とのデータ等の送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、端末１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。
送受信部１３は、端末１を少なくとも作業用ロボット２と接続し、プロセッサの指示に従い、データ等の送受信を行う。なお、送受信部１３は、有線または無線により構成されおり、無線である場合には、例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースにより構成されていてもよい。
入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
＜作業用ロボット２＞
図１に戻り、本実施形態に係る作業用ロボット２について説明する。
図１に戻り、本実施形態に係る作業用ロボット２について説明する。
上述のとおり、作業用ロボット２は、アーム２１と、ツール２２と、センサ２３とを有する。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
アーム２１は、三次元のロボット座標系に基づき、端末１にその動作を制御される。また、アーム２１は、有線または無線で作業用ロボット２と接続されたコントローラ（不図示）をさらに備え、これによりその動作を制御されてもよい。
ツール２２は、三次元のツール座標系に基づき、端末１にその動作を制御される。また、ツール２２の構成は、用途に合わせて何れのツールを備えていてもよく、例えば、溶接用トーチや塗装用塗料噴射装置、把持装置、掘削装置、研磨装置などであってもよい。
センサ２３は、三次元のセンサ座標系に基づき、対象物のセンシングを行う。センサ２３は、例えば三次元スキャナとして動作するレーザセンサであり、センシングにより対象物の三次元点群データを取得する。三次元点群データは、例えば、図４に示されるようなものであり、それぞれの点データがセンサ座標を有し、点群により対象物の形状を把握することが可能となる。
なお、より具体的には、作業前に所定のキャリブレーションを行い、ロボット座標系及びツール座標系、センサ座標系を互いに関連付け、例えばセンサ座標系を基にユーザが位置を指定することにより、アーム２１やツール２２が対応した位置を基に動作制御されるように構成をなしてもよい。
＜端末１の機能＞
図３は、端末１に実装される機能を例示したブロック図である。本実施の形態においては、端末１のプロセッサ１０は、三次元点群データ取得部１０１、三次元点群データ表示部１０２、二次元画像データ取得部１０３、画像解析部１０４を有している。また、端末１のストレージ１２は、三次元点群データ記憶部１２１、二次元画像データ記憶部１２２、画像解析結果情報記憶部１２３を有している。
図３は、端末１に実装される機能を例示したブロック図である。本実施の形態においては、端末１のプロセッサ１０は、三次元点群データ取得部１０１、三次元点群データ表示部１０２、二次元画像データ取得部１０３、画像解析部１０４を有している。また、端末１のストレージ１２は、三次元点群データ記憶部１２１、二次元画像データ記憶部１２２、画像解析結果情報記憶部１２３を有している。
三次元点群データ取得部１０１は、端末１の入出力部１４からの指示により、作業用ロボット２を制御し、センサ２３により対象物の三次元点群データを取得する。取得した三次元点群データは、例えばセンサ座標系に基づく三次元座標情報データであり、三次元点群データ記憶部１２１に記憶される。
三次元点群データ表示部１０２は、三次元点群データ取得部１０１により取得された三次元点群データを、例えば図４に例示されるような表示領域Ｖに表示する。ユーザは、表示領域Ｖ内に表示された三次元点群データを任意の方向から視認可能であり、例えば入出力部１４に接続されたキーボード・マウス類等の情報入力機器にて、当該任意の方向を指定可能である。
また、三次元点群データ表示部１０２は、後述の画像解析部１０４によって検出された所定の形状を構成する座標データ（例えば、二次元画像データ上の二次元座標）に基づき、例えば図５に示されるように当該所定の形状が認識可能なように表示領域Ｖに表示する（例えば、表示領域Ｖ上の所定の形状を構成する座標データ部分に、白色部分に赤等で色付けを行うなど）。ユーザは、表示領域Ｖ内に表示された三次元点群データを任意の方向から視認可能であり、例えば入出力部１４に接続されたキーボード・マウス類等の情報入力機器にて、当該任意の方向を指定可能である。
二次元画像データ取得部１０３は、表示領域Ｖの表示を、いわゆるスクリーンショットのように二次元画像データとして取得する。取得した二次元画像データは、例えばビットマップデータのような汎用的な画像データであり、二次元画像データ記憶部１２２に記憶される。
画像解析部１０４は、二次元画像データ取得部１０３により取得された二次元画像データを所定の条件下で画像解析し、当該所定の条件により指定された所定の形状を検出する。そして、所定の形状を構成する座標データ（例えば、二次元画像データ上の二次元座標）を画像解析結果情報記憶部１２３に記憶する。所定の条件は、例えば、所定の色の点群が密集することにより生じた所定の色の特徴点の大きさや長さが所定値以上であることを判定するものである。
ここで、所定の色の点群が密集した状態について、例えば、金属加工分野や樹脂成型分野において、材料の成形収縮等により生じる微小な凹部形状（いわゆる、ヒケ）を有し得る対象物に対して三次元スキャンを行って得た三次元点群データを確認する場合を基に説明する。例えば、図６の仮想ユーザ位置４２から三次元点群データ４１を確認する場合には、全体として概ね１つ程度の点データが見えるため、密集度合いは概ね一様となり、特徴点は存在しないに等しい。一方で、図６の仮想ユーザ位置４３から三次元点群データ４１を確認する場合には、２以上の点データが密集する部分が存在するため、このような部分が特徴点として現れてくる。その結果、例えば図４の凹部形状３１や凸部形状３２のように、例えば白色の特徴部分が画像解析により検出することが可能となる。
また、画像解析部１０４は、同一または類似の条件により、対象物が二以上の構成物が重なったものである場合においても、構成物同士の境界形状を検出可能である。すなわち、二以上の構成物が重なったものに対して三次元スキャンを行うと、境界形状は一種の凹部形状のような点群データが取得できるため、上述と同様に画像解析により構成物同士の境界形状を検出することが可能となる。
さらに、画像解析部１０４は、同一または類似の条件により、対象物の端面やエッジも検出可能である。すなわち、対象物の端面やエッジは一種の凸部形状のような点群データが取得できるため、上述と同様に画像解析により対象物の端面やエッジを検出することが可能となる。
なお、画像解析部１０４は、機械学習や深層学習により、凹部形状や境界形状、凸部形状などの所定の形状（特徴部分）が現れやすい部分と三次元点群データの関係を学習することで、ユーザが所定の形状を指定するだけで画像解析により二次元画像データ上の所定の形状を検出することを可能としてもよい。
＜形状検出方法のフローチャート＞
図７は、本実施形態の形状検出システム１００における形状検出方法のフローチャートである。
図７は、本実施形態の形状検出システム１００における形状検出方法のフローチャートである。
まず、ユーザは、端末１またはコントローラ（不図示）により作業用ロボット２を操作し、端末１の三次元点群データ取得部１０１による制御に基づき、センサ２３により、例えば作業台上に位置する対象物の三次元点群データを取得する（ＳＱ１０１）。
次に、三次元点群データ表示部１０２により取得した三次元点群データを表示領域Ｖへ表示し、二次元画像データ取得部１０３により当該表示領域Ｖの画像データを取得する（ＳＱ１０２）。
次に、画像解析部１０４により取得した二次元画像データを所定の条件下で画像解析し、ユーザ指定の所定の形状を検出する（ＳＱ１０３）。
次に、三次元点群データ表示部１０２は、検出された所定の形状を構成する座標データ（例えば、二次元画像データ上の二次元座標）に基づき、表示領域Ｖ上で当該所定の形状が認識可能なように表示する（ＳＱ１０４）。
したがって、二次元画像データの解析を行うだけで対象物上の所定の形状を検出可能であるため、本実施形態の形状検出システム１００は、対象物上の所定の形状を簡易かつ迅速に検出できるものである。
なお、二次元画像データを取得するステップ（ＳＱ１０２）時に取得した二次元画像データ上の二次元座標を基に画像解析結果を反映していることを鑑みれば、例えば、二次元画像データ取得時の表示領域Ｖの大きさを記憶しておくことにより、もし表示領域Ｖの大きさが画像解析後に変更されていたとしても、現在の表示領域Ｖの大きさ（および／またはその二次元座標）と、二次元画像データ取得時の表示領域Ｖの大きさ（および／またはその二次元座標）を対応付けすることにより、画像解析結果を反映することが可能である。そのほか、少なくとも画像データ取得後には、表示領域Ｖの大きさを変更不可とするように設定してもよい。
＜他の実施の形態１＞
上述の形状検出システム１００では、画像解析結果として得られた所定の形状を構成する座標データ（例えば、二次元画像データ上の二次元座標）に基づき、表示領域Ｖ上で当該所定の形状が認識可能なように表示している。これに加えて（または代えて）、三次元点群データ表示部１０２が、ユーザが三次元点群データを何れの方向から視認しているか、表示領域Ｖにはどの三次元点群データが何れの位置に表示されているかを把握することで、表示領域Ｖ上の二次元座標系の所定位置と、三次元点群データの三次元座標系の所定位置とが、互いに対応付けされ、三次元点群データ上に画像解析結果を反映させてもよい。
上述の形状検出システム１００では、画像解析結果として得られた所定の形状を構成する座標データ（例えば、二次元画像データ上の二次元座標）に基づき、表示領域Ｖ上で当該所定の形状が認識可能なように表示している。これに加えて（または代えて）、三次元点群データ表示部１０２が、ユーザが三次元点群データを何れの方向から視認しているか、表示領域Ｖにはどの三次元点群データが何れの位置に表示されているかを把握することで、表示領域Ｖ上の二次元座標系の所定位置と、三次元点群データの三次元座標系の所定位置とが、互いに対応付けされ、三次元点群データ上に画像解析結果を反映させてもよい。
より具体的には、例えば、図８を参照すると、ユーザが指定した任意の方向とは、仮想ユーザ位置６１からの方向であり、仮想ユーザ位置６１から当該任意の方向へ所定長さ進んだ位置での所定範囲の平面領域を仮想表示領域６２とし、これを表示領域Ｖへ表示する。そして、例えば仮想ユーザ位置６１から仮想表示領域６２のある点Ｎが位置する二次元位置６３へと仮想直線（図８の一点鎖線）を引き、当該仮想直線を延長して三次元点群データのうち最初に交わる点Ｍを求め、点Ｍと点Ｎの各座標間の対応関係を記憶するようにしてもよい。
その後、画像解析部１０４の画像解析により、二次元画像データ上の所定の形状を構成する座標データが得られた場合には、上述の対応関係を用いて、三次元点群データ内の対応する点データを検出し、当該点データが表示領域Ｖ上で色付けされるなどして確認可能なように表示されてもよい。
このような構成をなすことにより、表示領域Ｖ上に表示された解析結果が、画像解析時の二次元画像データ上に限らず、例えば入出力部１４に接続されたキーボード・マウス類等の情報入力機器にて、当該任意の方向を指定された場合であっても、表示領域Ｖ上で所定の形状を確認可能となる。
また、プロセッサ１０は、特に、三次元点群データ上または表示領域Ｖ上の解析した任意の点間の長さを把握することも可能である。これにより、ユーザが認識したい位置間の長さを把握することも可能になり、例えば所定形状が溝等の凹部形状である場合には、その凹部形状間の長さや幅なども確認することが可能である。
＜他の実施の形態２＞
上述の形状検出方法は、特に、複数の対象物に対して基準を満たさない形状となっていないかを判定することに用いると有用である。すなわち、基準を満たさない形状の対象物（例えば、凹部形状３１が所定の部分に現れているなど）に対して、いずれの方向（仮想ユーザ位置）から点群データを確認すると特徴部分が画像解析にて検出可能かを記憶することにより、全ての対象物に対して、同様の基準を満たさない形状となっていないかを容易に確認可能である。
上述の形状検出方法は、特に、複数の対象物に対して基準を満たさない形状となっていないかを判定することに用いると有用である。すなわち、基準を満たさない形状の対象物（例えば、凹部形状３１が所定の部分に現れているなど）に対して、いずれの方向（仮想ユーザ位置）から点群データを確認すると特徴部分が画像解析にて検出可能かを記憶することにより、全ての対象物に対して、同様の基準を満たさない形状となっていないかを容易に確認可能である。
＜他の実施の形態３＞
上述の形状検出方法は、特に、複数の対象物に対して基準を満たす形状となっているかどうかを判定することに用いると有用である。すなわち、基準を満たしている形状か確認可能なように対象物周囲の多方向に仮想ユーザ位置を設定して記憶し、それらの方向から取得した画像の解析結果を、基準を満たすものの画像解析結果と比較して、例えば形状変形やスクラッチなどの有無の判定を行うようにしてもよい。
上述の形状検出方法は、特に、複数の対象物に対して基準を満たす形状となっているかどうかを判定することに用いると有用である。すなわち、基準を満たしている形状か確認可能なように対象物周囲の多方向に仮想ユーザ位置を設定して記憶し、それらの方向から取得した画像の解析結果を、基準を満たすものの画像解析結果と比較して、例えば形状変形やスクラッチなどの有無の判定を行うようにしてもよい。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
１ 端末
２ 作業用ロボット
２１ アーム
２２ ツール
２３ センサ
２ 作業用ロボット
２１ アーム
２２ ツール
２３ センサ
Claims (16)
- 対象物の形状を検出する形状検出方法であって、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得して記憶し、前記三次元点群データの三次元座標と、前記二次元画像データの二次元座標との対応関係を記憶するステップと、
前記記憶された二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を前記画像解析により検出するステップと、
前記画像解析により検出した前記所定の形状に対応する前記二次元画像データ内の二次元座標データを記憶するステップと、
前記所定の形状に対応する二次元座標データと前記記憶された対応関係に基づき、前記三次元点群データ内の前記所定の形状に対応する点データを検出し、当該点データを前記表示領域上で確認可能に表示するステップと、
を含む、ことを特徴とする形状検出方法。 - 対象物の形状を検出する形状検出方法であって、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
前記二次元画像データ内の所定条件下の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を前記画像解析により検出するステップと、
を含む、形状検出方法であって、
前記所定の条件下の所定の形状は、前記二次元画像データ内の所定の特徴点の大きさまたは長さが所定値以上の形状である、
ことを特徴とする形状検出方法。 - 対象物の形状を検出する形状検出方法であって、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、
を含む、形状検出方法であって、
前記対象物は、二以上の構成物が重なったものであり、
前記所定の形状は、前記構成物同士の境界形状である、
ことを特徴とする形状検出方法。 - 請求項２または３に記載の形状検出方法であって、
前記二次元画像データの二次元座標は、前記三次元点群データの三次元座標と対応付けされており、
さらに、前記検出された所定の形状の位置が、前記対象物の三次元データ上で把握可能に前記表示領域に表示するステップを含む、
ことを特徴とする形状検出方法。 - 請求項１ないし４に記載の形状検出方法であって、
前記二次元画像データを取得時の表示領域の大きさを記憶するステップをさらに含む、
ことを特徴とする形状検出方法。 - 請求項１ないし５に記載の形状検出方法であって、
前記二次元画像データを取得時に表示領域の大きさの変更を禁止するステップをさらに含む、
ことを特徴とする形状検出方法。 - 請求項１、２、４ないし６の少なくともいずれか１つに記載の形状検出方法であって、
前記所定の形状は、対象物の凹部形状である、
ことを特徴とする形状検出方法。 - 請求項１、２、４ないし６の少なくともいずれか１つに記載の形状検出方法であって、
前記所定の形状は、対象物の凸部形状である、
ことを特徴とする形状検出方法。 - 請求項１、２、４ないし６の少なくともいずれか１つに記載の形状検出方法であって、
前記対象物は、二以上の構成物が重なったものであり、
前記所定の形状は、前記構成物同士の境界形状である
ことを特徴とする形状検出方法。 - 請求項１ないし９に記載の形状検出方法であって、
前記二次元画像データ上の任意の位置間の長さを測定する、
ことを特徴とする形状検出方法。 - 対象物の形状を検出する形状検出システムであって、
前記対象物からセンサにより三次元点群データを取得する三次元点群データ取得部と、
前記三次元点群データを端末の表示領域に表示する三次元点群データ表示部と、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得する二次元画像データ取得部と、
前記二次元画像データを記憶する二次元画像データ記憶部と、
前記三次元点群データの三次元座標と、前記二次元画像データの二次元座標との対応関係を記憶する対応関係記憶部と、
前記記憶された二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を前記画像解析により検出する画像解析部と、
前記画像解析により検出した前記所定の形状に対応する前記二次元画像データ内の二次元座標データを記憶する画像解析結果情報記憶部と、
を含む、形状検出システムであって、
前記三次元点群データ表示部は、さらに、
前記所定の形状に対応する二次元座標データと前記記憶された対応関係に基づき、前記三次元点群データ内の前記所定の形状に対応する点データを検出し、当該点データを前記表示領域上で確認可能に表示する、
ことを特徴とする形状検出システム。 - 対象物の形状を検出する形状検出システムであって、
前記対象物からセンサにより三次元点群データを取得する三次元点群データ取得部と、
前記三次元点群データを端末の表示領域に表示する三次元点群データ表示部と、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得する二次元画像データ取得部と、
前記二次元画像データ内の所定条件下の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を前記画像解析により検出する画像解析部と、
を含む、形状検出システムであって、
前記所定の条件下の所定の形状は、前記二次元画像データ内の所定の特徴点の大きさまたは長さが所定値以上の形状である、
ことを特徴とする形状検出システム。 - 対象物の形状を検出する形状検出システムであって、
前記対象物からセンサにより三次元点群データを取得する三次元点群データ取得部と、
前記三次元点群データを端末の表示領域に表示する三次元点群データ表示部と、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得する二次元画像データ取得部と、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出する画像解析部と、
を含む、形状検出システムであって、
前記対象物は、二以上の構成物が重なったものであり、
前記所定の形状は、前記構成物同士の境界形状である、
ことを特徴とする形状検出システム。 - 対象物の形状を検出する形状検出方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記形状検出方法として、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得して記憶し、前記三次元点群データの三次元座標と、前記二次元画像データの二次元座標との対応関係を記憶するステップと、
前記記憶された二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を前記画像解析により検出するステップと、
前記画像解析により検出した前記所定の形状に対応する前記二次元画像データ内の二次元座標データを記憶するステップと、
前記所定の形状に対応する二次元座標データと前記記憶された対応関係に基づき、前記三次元点群データ内の前記所定の形状に対応する点データを検出し、当該点データを前記表示領域上で確認可能に表示するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。 - 対象物の形状を検出する形状検出方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記形状検出方法として、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
前記二次元画像データ内の所定条件下の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を前記画像解析により検出するステップと、
をコンピュータに実行させる、プログラムであって、
前記所定の条件下の所定の形状は、前記二次元画像データ内の所定の特徴点の大きさまたは長さが所定値以上の形状である、
ことを特徴とするプログラム。 - 対象物の形状を検出する形状検出方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記形状検出方法として、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、
をコンピュータに実行させる、プログラムであって、
前記対象物は、二以上の構成物が重なったものであり、
前記所定の形状は、前記構成物同士の境界形状である、
ことを特徴とするプログラム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020018325A JP6708917B1 (ja) | 2020-02-05 | 2020-02-05 | 形状検出方法、形状検出システム、プログラム |
| JP2020078006A JP2021124485A (ja) | 2020-02-05 | 2020-04-27 | 形状検出方法、形状検出システム、プログラム |
| CN202180002343.XA CN113544741A (zh) | 2020-02-05 | 2021-01-27 | 形状检测方法、形状检测系统以及程序 |
| PCT/JP2021/002877 WO2021157446A1 (ja) | 2020-02-05 | 2021-01-27 | 形状検出方法、形状検出システム、プログラム |
| US17/600,512 US12033344B2 (en) | 2020-02-05 | 2021-01-27 | Shape detection method, shape detection system, and program |
| EP21750625.2A EP4102176A4 (en) | 2020-02-05 | 2021-01-27 | SHAPE RECOGNITION METHOD, SHAPE RECOGNITION SYSTEM AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020018325A JP6708917B1 (ja) | 2020-02-05 | 2020-02-05 | 形状検出方法、形状検出システム、プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020078006A Division JP2021124485A (ja) | 2020-02-05 | 2020-04-27 | 形状検出方法、形状検出システム、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6708917B1 true JP6708917B1 (ja) | 2020-06-10 |
| JP2021124400A JP2021124400A (ja) | 2021-08-30 |
Family
ID=70976378
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020018325A Active JP6708917B1 (ja) | 2020-02-05 | 2020-02-05 | 形状検出方法、形状検出システム、プログラム |
| JP2020078006A Pending JP2021124485A (ja) | 2020-02-05 | 2020-04-27 | 形状検出方法、形状検出システム、プログラム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020078006A Pending JP2021124485A (ja) | 2020-02-05 | 2020-04-27 | 形状検出方法、形状検出システム、プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US12033344B2 (ja) |
| EP (1) | EP4102176A4 (ja) |
| JP (2) | JP6708917B1 (ja) |
| CN (1) | CN113544741A (ja) |
| WO (1) | WO2021157446A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11435269B1 (en) * | 2019-01-03 | 2022-09-06 | Honeywell Federal Manufacturings Technologies, Llc | In situ data acquisition and real-time analysis system |
| CN120198440B (zh) * | 2025-05-27 | 2025-09-09 | 西安威尔精密技术有限公司 | 基于机器视觉的注塑件缺陷检测方法及系统 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002277241A (ja) * | 2001-03-16 | 2002-09-25 | Hitachi Eng Co Ltd | 遺構計測方法および装置 |
| JP3910582B2 (ja) * | 2001-07-31 | 2007-04-25 | 株式会社キャドセンター | 三次元構造物形状の自動生成装置、自動生成方法、そのプログラム、及びそのプログラムを記録した記録媒体 |
| JP2004012221A (ja) * | 2002-06-05 | 2004-01-15 | Hitachi Eng Co Ltd | 遺構遺物等の実測二次元図作成方法およびシステム |
| JP2005208868A (ja) * | 2004-01-22 | 2005-08-04 | Hitachi Eng Co Ltd | 点群データ比較方法、点群データ比較装置、点群データ取得装置および点群データ比較システム |
| JP5353837B2 (ja) * | 2010-06-30 | 2013-11-27 | ブラザー工業株式会社 | 通信装置、通信方法、および通信プログラム |
| JP5022508B1 (ja) | 2011-06-02 | 2012-09-12 | 三菱重工業株式会社 | 形状計測方法 |
| KR101717604B1 (ko) * | 2012-03-29 | 2017-03-17 | 인텔 코포레이션 | 제스처를 이용하는 삼차원 그래픽 생성 |
| JP6192938B2 (ja) * | 2013-01-15 | 2017-09-06 | 株式会社東芝 | 三次元合成処理システムおよび三次元合成処理方法 |
| JP6589636B2 (ja) * | 2013-11-06 | 2019-10-16 | 凸版印刷株式会社 | ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム |
| JP5813143B2 (ja) | 2014-01-17 | 2015-11-17 | Dmg森精機株式会社 | 表面形状測定装置およびそれを備えた工作機械 |
| JP2017197942A (ja) * | 2016-04-26 | 2017-11-02 | ライト工業株式会社 | 法面吹付工法 |
| JP2018045587A (ja) * | 2016-09-16 | 2018-03-22 | 株式会社トプコン | 画像処理装置、画像処理方法、画像処理用プログラム |
| JP6868992B2 (ja) * | 2016-09-27 | 2021-05-12 | 株式会社トプコン | 画像処理装置、画像処理方法および画像処理用プログラム |
| JP6419128B2 (ja) * | 2016-10-28 | 2018-11-07 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
| WO2018157286A1 (zh) * | 2017-02-28 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 一种识别方法、设备以及可移动平台 |
| JP6910820B2 (ja) * | 2017-03-02 | 2021-07-28 | 株式会社トプコン | 点群データ処理装置、点群データ処理方法、点群データ処理用プログラム |
| JP2018180687A (ja) * | 2017-04-05 | 2018-11-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP6907061B2 (ja) * | 2017-07-21 | 2021-07-21 | 株式会社タダノ | 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン |
| JP6879168B2 (ja) * | 2017-11-01 | 2021-06-02 | オムロン株式会社 | ３次元測定装置、３次元測定方法及びプログラム |
| JP6879238B2 (ja) * | 2018-03-13 | 2021-06-02 | オムロン株式会社 | ワークピッキング装置及びワークピッキング方法 |
| CN108564874B (zh) * | 2018-05-07 | 2021-04-30 | 腾讯大地通途（北京）科技有限公司 | 地面标志提取的方法、模型训练的方法、设备及存储介质 |
| CN111860060B (zh) * | 2019-04-29 | 2025-02-07 | 顺丰科技有限公司 | 目标检测方法、装置、终端设备及计算机可读存储介质 |
| JP7344289B2 (ja) * | 2019-06-14 | 2023-09-13 | 富士フイルム株式会社 | 点群データ処理装置、点群データ処理方法及びプログラム |
| CN111178191B (zh) * | 2019-11-11 | 2022-01-11 | 贝壳找房(北京)科技有限公司 | 信息播放方法、装置、计算机可读存储介质及电子设备 |
| TWI724696B (zh) * | 2019-12-18 | 2021-04-11 | 財團法人工業技術研究院 | 工件孔洞量測方法 |
-
2020
- 2020-02-05 JP JP2020018325A patent/JP6708917B1/ja active Active
- 2020-04-27 JP JP2020078006A patent/JP2021124485A/ja active Pending
-
2021
- 2021-01-27 US US17/600,512 patent/US12033344B2/en active Active
- 2021-01-27 EP EP21750625.2A patent/EP4102176A4/en active Pending
- 2021-01-27 CN CN202180002343.XA patent/CN113544741A/zh active Pending
- 2021-01-27 WO PCT/JP2021/002877 patent/WO2021157446A1/ja not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| CN113544741A (zh) | 2021-10-22 |
| JP2021124400A (ja) | 2021-08-30 |
| EP4102176A1 (en) | 2022-12-14 |
| US12033344B2 (en) | 2024-07-09 |
| EP4102176A4 (en) | 2024-03-06 |
| US20220164975A1 (en) | 2022-05-26 |
| JP2021124485A (ja) | 2021-08-30 |
| WO2021157446A1 (ja) | 2021-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200033109A1 (en) | Workpiece measurement device, workpiece measurement method and non-transitory computer readable medium recording a program | |
| JP6713700B1 (ja) | 情報処理方法、情報処理システム、プログラム | |
| JP6598814B2 (ja) | 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法 | |
| JP6708917B1 (ja) | 形状検出方法、形状検出システム、プログラム | |
| JP6917096B1 (ja) | 情報処理方法、情報処理システム、プログラム | |
| US7432927B2 (en) | Extended portfolio chart drawing device, processing method and computer-readable medium recording a program of the same | |
| JP6990476B1 (ja) | 溶接検査方法、溶接検査システム、溶接検査プログラム | |
| JP6742661B1 (ja) | 形状検出方法、形状検出システム、プログラム | |
| JP6758696B1 (ja) | 形状検出方法、形状検出システム、プログラム | |
| JP6758695B1 (ja) | 形状検出方法、形状検出システム、プログラム | |
| JP6796899B1 (ja) | 情報処理方法、情報処理システム、プログラム | |
| JP6849262B1 (ja) | 情報処理方法、情報処理システム、プログラム | |
| JP7383999B2 (ja) | 協調作業システム、解析装置および解析プログラム | |
| CN114930388A (zh) | 工件图像解析装置、工件图像解析方法以及程序 | |
| JP7108329B1 (ja) | 情報処理方法、情報処理システム、プログラム | |
| WO2023062792A1 (ja) | 画像処理装置、画像処理方法、記憶媒体 | |
| JP2012146141A (ja) | 画像検査装置及びプログラム | |
| JPH10133859A (ja) | ロボット教示方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200206 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200206 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200427 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6708917 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |