JP7448633B2 - 複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置 - Google Patents
複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置 Download PDFInfo
- Publication number
- JP7448633B2 JP7448633B2 JP2022505175A JP2022505175A JP7448633B2 JP 7448633 B2 JP7448633 B2 JP 7448633B2 JP 2022505175 A JP2022505175 A JP 2022505175A JP 2022505175 A JP2022505175 A JP 2022505175A JP 7448633 B2 JP7448633 B2 JP 7448633B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- pixel
- unit
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 35
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 description 27
- 238000000034 method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000000707 wrist Anatomy 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000032258 transport Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 239000012636 effector Substances 0.000 description 3
- 230000005611 electricity Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000565 sealant Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
- G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
- G01B21/047—Accessories, e.g. for positioning, for tool-setting, for measuring probes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
- G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
- G01B5/008—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points using coordinate measuring machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
23 位置検出器
30 視覚センサ
31 第1のカメラ
32 第2のカメラ
51 処理部
52 輪郭検出部
53 ブロック探索部
54 算出部
55 生成部
56 合成部
61,62,63 ワーク
77 第1の画像
78 第2の画像
81 選定ブロック
82 特定ブロック
85,86,87 画素
85a 選定画素
87a,87b,87c 画素
91,92,93,94 距離画像
96 画像
97 無効画素領域
Claims (3)
- 第1の画像を撮像する第1のカメラおよび第2の画像を撮像する第2のカメラを含む視覚センサと、
物体の輪郭を検出するための輪郭検出センサと、
第1の画像および第2の画像に基づいて、物体の表面の位置情報を検出する処理部とを備え、
前記処理部は、前記輪郭検出センサの出力に基づいて物体の前記輪郭を検出する輪郭検出部と、
第1の画像において選定された1つの選定画素を含む複数の画素にて構成された選定ブロックを設定し、第2の画像において選定ブロックに対応する特定ブロックを探索するブロック探索部と、
選定ブロックにおける選定画素の位置と特定ブロックにおける選定画素に対応する特定画素の位置との視差に基づいて、画素の距離情報を算出する算出部と、
複数の画素の距離情報を含む物体の表面の位置情報を生成する生成部と、
互いに異なる条件にて生成された物体の表面の位置情報を合成する合成部と、を含み、
前記ブロック探索部は、選定ブロックに含まれる画素の値と特定ブロックに含まれる画素の値との差の大きさまたは前記差の2乗の値を積算した積算値を算出し、前記積算値が予め定められた判定値未満である場合に、特定ブロックに含まれる画素が選定ブロックに含まれる画素に対応すると判定し、前記積算値が予め定められた判定値を超える場合または選定ブロックに対応する特定ブロックが検出されない場合に、選定画素の距離情報として無効画素である情報を設定し、
前記積算値に関する第1の判定値と第1の判定値よりも大きな前記積算値に関する第2の判定値とが予め定められており、
前記ブロック探索部、前記算出部、および前記生成部は、第1の画像、第2の画像、および第1の判定値を用いて第1の表面の位置情報を生成し、第1の画像、第2の画像、および第2の判定値を用いて第2の表面の位置情報を生成し、
前記合成部は、前記輪郭検出部にて検出された前記輪郭に基づいて前記輪郭に対応する領域を設定し、前記輪郭に対応する領域に含まれる画素に対して、第1の表面の位置情報に含まれる画素の距離情報を採用し、前記輪郭に対応する領域以外の領域に含まれる画素に対して、第2の表面の位置情報に含まれる画素の距離情報を採用することにより、第1の表面の位置情報と第2の表面の位置情報とを合成した表面の位置情報を生成する、三次元測定装置。 - 第1の画像を撮像する第1のカメラおよび第2の画像を撮像する第2のカメラを含む視覚センサと、
物体の輪郭を検出するための輪郭検出センサと、
第1の画像および第2の画像に基づいて、物体の表面の位置情報を検出する処理部とを備え、
前記処理部は、前記輪郭検出センサの出力に基づいて物体の前記輪郭を検出する輪郭検出部と、
第1の画像において選定された1つの選定画素を含む複数の画素にて構成された選定ブロックを設定し、第2の画像において選定ブロックに対応する特定ブロックを探索するブロック探索部と、
選定ブロックにおける選定画素の位置と特定ブロックにおける選定画素に対応する特定画素の位置との視差に基づいて、画素の距離情報を生成する算出部と、
複数の画素の距離情報を含む物体の表面の位置情報を生成する生成部と、
互いに異なる条件にて生成された物体の表面の位置情報を合成する合成部と、を含み、
第1の選定ブロックと、第1の選定ブロックよりも多くの画素を含む第2の選定ブロックとが予め定められており、
前記ブロック探索部、前記算出部、および前記生成部は、第1の画像、第2の画像、および第1の選定ブロックを用いて第1の表面の位置情報を生成し、第1の画像、第2の画像、および第2の選定ブロックを用いて第2の表面の位置情報を生成し、
前記合成部は、前記輪郭検出部にて検出された前記輪郭に基づいて前記輪郭に対応する領域を設定し、前記輪郭の画素を含む前記輪郭に対応する領域に含まれる画素に対して、第1の表面の位置情報に含まれる画素の距離情報を設定し、前記輪郭に対応する領域以外の領域に含まれる画素に対して、第2の表面の位置情報に含まれる画素の距離情報を設定することにより、第1の表面の位置情報と第2の表面の位置情報とを合成した表面の位置情報を生成する、三次元測定装置。 - 前記輪郭検出センサは、第1のカメラまたは第2のカメラである、請求項1または2に記載の三次元測定装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020038173 | 2020-03-05 | ||
JP2020038173 | 2020-03-05 | ||
PCT/JP2021/007347 WO2021177163A1 (ja) | 2020-03-05 | 2021-02-26 | 複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021177163A1 JPWO2021177163A1 (ja) | 2021-09-10 |
JP7448633B2 true JP7448633B2 (ja) | 2024-03-12 |
Family
ID=77613040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022505175A Active JP7448633B2 (ja) | 2020-03-05 | 2021-02-26 | 複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230129785A1 (ja) |
JP (1) | JP7448633B2 (ja) |
CN (1) | CN115280096A (ja) |
DE (1) | DE112021001440T5 (ja) |
WO (1) | WO2021177163A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114930800B (zh) * | 2020-01-09 | 2024-05-28 | 索尼集团公司 | 图像处理装置、图像处理方法和成像装置 |
US20230419523A1 (en) * | 2022-06-28 | 2023-12-28 | Zebra Technologies Corporation | Method, System and Apparatus for Photometric Stereo Reconstruction of a Surface |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001082927A (ja) | 1999-09-16 | 2001-03-30 | Nippon Telegr & Teleph Corp <Ntt> | 三次元画像処理方法、装置、および三次元画像処理プログラムを記録した記録媒体 |
JP2009293971A (ja) | 2008-06-03 | 2009-12-17 | Fujifilm Corp | 距離測定装置および方法並びにプログラム |
JP2012198712A (ja) | 2011-03-18 | 2012-10-18 | Ricoh Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2015069566A (ja) | 2013-09-30 | 2015-04-13 | 富士重工業株式会社 | フィルタリング装置および環境認識システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3513219B2 (ja) * | 1994-07-12 | 2004-03-31 | キヤノン株式会社 | 対応点マッチング方法および装置 |
-
2021
- 2021-02-26 WO PCT/JP2021/007347 patent/WO2021177163A1/ja active Application Filing
- 2021-02-26 DE DE112021001440.4T patent/DE112021001440T5/de active Pending
- 2021-02-26 US US17/905,330 patent/US20230129785A1/en active Pending
- 2021-02-26 CN CN202180019075.2A patent/CN115280096A/zh active Pending
- 2021-02-26 JP JP2022505175A patent/JP7448633B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001082927A (ja) | 1999-09-16 | 2001-03-30 | Nippon Telegr & Teleph Corp <Ntt> | 三次元画像処理方法、装置、および三次元画像処理プログラムを記録した記録媒体 |
JP2009293971A (ja) | 2008-06-03 | 2009-12-17 | Fujifilm Corp | 距離測定装置および方法並びにプログラム |
JP2012198712A (ja) | 2011-03-18 | 2012-10-18 | Ricoh Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2015069566A (ja) | 2013-09-30 | 2015-04-13 | 富士重工業株式会社 | フィルタリング装置および環境認識システム |
Also Published As
Publication number | Publication date |
---|---|
DE112021001440T5 (de) | 2023-02-09 |
JPWO2021177163A1 (ja) | 2021-09-10 |
CN115280096A (zh) | 2022-11-01 |
US20230129785A1 (en) | 2023-04-27 |
WO2021177163A1 (ja) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9672630B2 (en) | Contour line measurement apparatus and robot system | |
JP4774824B2 (ja) | 3次元計測処理の計測対象範囲の確認方法および計測対象範囲の設定方法ならびに各方法を実施する装置 | |
JP5791976B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7448633B2 (ja) | 複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置 | |
WO2011162388A1 (ja) | 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム | |
JP6892286B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
EP3427232A1 (en) | Image processing method, display device, and inspection system | |
US20140009583A1 (en) | Three-dimensional measurement apparatus and robot system | |
JP2011198349A (ja) | 情報処理方法及びその装置 | |
JPH09187038A (ja) | 3次元形状抽出装置 | |
JP2013167481A (ja) | 画像処理装置およびプログラム | |
US9595095B2 (en) | Robot system | |
CN110926330A (zh) | 图像处理装置和图像处理方法 | |
JP3690581B2 (ja) | 位置検出装置及びその方法、平面姿勢検出装置及びその方法 | |
JPH055041B2 (ja) | ||
JP5093058B2 (ja) | ロボットの座標の結合方法 | |
JP3672970B2 (ja) | 非接触画像計測システム | |
WO2017155005A1 (en) | Image processing method, display device, and inspection system | |
US20220331972A1 (en) | Robot Image Display Method, Recording Medium, And Robot Image Display System | |
JP3953450B2 (ja) | 3次元オブジェクト姿勢操作方法およびプログラム | |
WO2021145304A1 (ja) | 画像処理システム | |
JP6892462B2 (ja) | 機械制御装置 | |
JPH09119819A (ja) | 三次元情報再構成装置 | |
JP2580516B2 (ja) | 実時間3次元運動測定装置およびその方法 | |
JP2012154672A (ja) | 画像処理方法、プログラム、および画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7448633 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |