JP7436633B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP7436633B2 JP7436633B2 JP2022509978A JP2022509978A JP7436633B2 JP 7436633 B2 JP7436633 B2 JP 7436633B2 JP 2022509978 A JP2022509978 A JP 2022509978A JP 2022509978 A JP2022509978 A JP 2022509978A JP 7436633 B2 JP7436633 B2 JP 7436633B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image processing
- image
- reference plane
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 72
- 238000003672 processing method Methods 0.000 title claims description 11
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
このため、検出しようとする物体の面が3次元センサの光軸に対して垂直でない場合に物体を検出しやすくすることが望まれている。
前記距離算出部により算出された前記距離を基に計算された値を画素値とする距離画像を作成する距離画像作成部と、
前記距離画像に対して画像処理を行う画像処理部と、を備えた画像処理装置である。
算出された前記距離を基に計算された値を画素値とする距離画像を作成し、
前記距離画像に対して画像処理を行う、
画像処理装置の画像処理方法である。
図1は本発明の一実施形態の画像処理装置の一構成例を示すブロック図である。
図1に示すように、3次元センサ101は、ワーク20及びワーク20が置かれる載置面30を撮像し、3次元データを基準面算出部102及び距離算出部103に出力する。3次元データは、3次元点群又は距離画像を例示しているが、これに限定されない。他の任意の3次元データを適用してもよい。
基準面算出部102は、3次元センサ101により出力される3次元データに基づいて、3次元センサ101の3次元センサ101の3次元座標系における、3次元センサ101と載置面30上の少なくとも3点、例えば図2に示す載置面30上の3点A1,A2,A3の3次元座標を求める。基準面算出部102はワーク20の周囲の載置面30を検出し、載置面30の3点A1,A2,A3を決定することができる。
基準面算出部102は、図2に示す載置面30上の3点A1,A2,A3の3次元座標値から、3次元センサ101の3次元座標系(以下、「3次元座標系」という)における載置面30の式を求めることができる。載置面30の式はaX+bY+cZ+d=0で表すことができる。以下、3次元座標系における各軸の座標を「3次元座標」という。
具体的には、3次元センサ101に対向するワーク20の面の任意の点の3次元座標(X0,Y0,Z0)からaX+bY+cZ+d=0で表される載置面30までの距離は、数式1(以下の数1)で示される。
例えば、画像処理部105は、距離画像を、載置面30とワーク20の表面の各点との間の距離を基に計算した値(画素値)が輝度となる、画素値を階調で示す画像に変換する。画素値を階調で示す画像は、例えば、単色の有彩色の画像、グレイスケール画像である。
距離画像を、画素値を階調で示す画像に変換すると、図3に示すように、載置面30からワーク20の面20aまでの距離が一定の距離D1であるため、ワーク20の面20aの輝度は面内で同じ輝度になる。図3では画素値を階調で示す画像がグレイスケール画像である場合を示している。ワーク20の面20aの輝度が面内で同じ輝度になることで、ワーク20を検出しやすくなる。なお、本実施形態では、図3に示すように、載置面30から最も距離が長い(載置面30から遠い)ワーク20の面20aの輝度が最も高くなるようにし、載置面30から距離が短くなる(載置面30に近づく)に従って輝度が低くなるようにしている。
比較のために、図4を用いて、3次元センサ101とワーク20の表面の各点との間の距離を基に計算した値を画素値として距離画像を作成する場合について説明する。図4に示すように、3次元センサ101の3次元座標系(X,Y,Z)のZ方向の、ワーク20の面20aの角の点Bと3次元センサ101との間の距離D2と、ワーク20の面20aの角の点Cと3次元センサ101との間の距離D3とでは距離が異なる。よって、ワーク20の面20aと3次元センサ101との間の距離を基に計算した値を画素値とする距離画像を作成し、グレイスケール画像に変換してもワーク20の面20aの輝度は面内で同じ輝度にならない。
さらに、画像処理部105は、変換されたグレイスケール画像等の、画素値を階調で示す画像に対して液晶表示装置等の表示装置に表示するための画像処理を行ってもよい。
ステップS11において、3次元センサ101はワーク20及びワーク20が置かれる載置面30を撮像し、3次元データを基準面算出部102及び距離算出部103に出力する。
そして、基準面算出部102は、3次元センサ101と図2に示す載置面30上の3点A1,A2,A3の3次元座標から、3次元センサ101の座標系における載置面30の式を求める。載置面30の式はaX+bY+cZ+d=0で表すことができる。
基準面算出部102は、求めた載置面30の式(aX+bY+cZ+d=0)を距離算出部103に出力する。
具体的には、3次元センサ101に対向するワーク20の面の任意の点の3次元座標(X0,Y0,Z0)からaX+bY+cZ+d=0で表される載置面30までの距離は、上述した数式1(以下の数1)で示される。
例えば、上述したように、距離画像を、載置面30とワーク20の表面の各点との間の距離を基に計算した値が輝度となるグレイスケール画像に変換する。グレイスケール画像に変換すると、図3に示すように、載置面30からワーク20の面20aまでの距離が一定の距離D1であるため、ワーク20の面20aの輝度は面内で同じ輝度になる。
以上説明した実施形態では基準面を、ワークを載置する載置面又は載置面に平行な面としたが、載置面及び載置面に平行な面以外の任意の面を基準面としてもよい。本例では、基準面を載置面及び載置面に平行な面以外の任意の面とした例について説明する。以下の説明では、ワークが六角柱である場合について説明する。
図6に示すように、基準面は載置面30に対して傾いた六角柱のワーク21の側面とされており、この基準面は3次元センサ101から撮像することができない。
そこで、基準面となる六角柱のワーク21の側面の式を求めるために、3次元センサ101と同様な構成の他の3次元センサを、六角柱のワーク21の側面を観測できるように配置する。他の3次元センサを設けることで、基準面算出部102は、他の3次元センサの座標系におけるワーク21の側面の式を求めることができる。基準面算出部102は、3次元センサ101の座標系と他の3次元センサの座標系とのキャリブレーションを予め行うことで、他の3次元センサの座標系におけるワーク21の側面の式を求め、この側面の式から3次元センサ101の座標系におけるワーク21の側面の式を求めることができる。
図6に示すように、基準面からワーク21の面21aまでの距離は一定の距離D4となる。
さらに、ワークは台形台、六角柱に限定されず、他の形状、例えば、立方体、直方体であってもよい。
前記距離算出部により算出された前記距離を基に計算された値を画素値とする距離画像を作成する距離画像作成部と、
前記距離画像に対して画像処理を行う画像処理部と、を備えた画像処理装置である。
この画像処理装置によれば、3次元センサの光軸に対して物体が傾いていても、物体を検出しやすくなる。
前記基準面は、前記物体の載置面又は前記載置面と平行な面である上記(1)に記載の画像処理装置。
前記基準面は、前記物体の面である上記(1)に記載の画像処理装置。
算出された前記距離を基に計算された値を画素値とする距離画像を作成し、
前記距離画像に対して画像処理を行う、
画像処理装置の画像処理方法である。
この画像処理方法によれば、3次元センサの光軸に対して物体が傾いていても、物体を検出しやすくなる。
20、21 ワーク
30 載置面
101 3次元センサ
102 基準面算出部
103 距離算出部
104 距離画像作成部
105 画像処理部
Claims (6)
- 3次元センサにより取得された、物体が載せられ、基準面である前記物体の載置面の3次元データに基づいて、前記基準面を算出する基準面算出部と、
前記3次元センサにより取得された前記物体の3次元データに基づいて、前記物体の3次元データの中の各点と前記算出された基準面との間の距離を算出する距離算出部と、
前記距離算出部により算出された前記距離を基に計算された値を画素値とする距離画像を作成する距離画像作成部と、
前記距離画像に対して画像処理を行う画像処理部と、を備え、
前記載置面は、前記3次元センサの光軸に対して垂直な方向から傾いており、
前記基準面算出部は、前記3次元センサにより取得された、前記物体の周囲の前記基準面の3次元データに基づいて、前記基準面を算出する、画像処理装置。 - 前記物体は、ワークである請求項1に記載の画像処理装置。
- 前記3次元センサを備えた請求項1又は請求項2に記載の画像処理装置。
- 前記画像処理は、前記距離画像を、前記画素値を階調で示す画像に変換する処理を含む請求項1から3のいずれか1項に記載の画像処理装置。
- 前記画素値を階調で示す画像は、グレイスケール画像である請求項4に記載の画像処理装置。
- 3次元センサにより取得された、物体が載せられ、基準面である前記物体の載置面の3次元データに基づいて、前記基準面を算出し、
前記3次元センサにより取得された前記物体の3次元データに基づいて、前記物体の3次元データの中の各点と前記算出された基準面との間の距離を算出し、
算出された前記距離を基に計算された値を画素値とする距離画像を作成し、
前記距離画像に対して画像処理を行う、
画像処理装置の画像処理方法であって、
前記載置面は、前記3次元センサの光軸に対して垂直な方向から傾いており、
前記3次元センサにより取得された、前記物体の周囲の前記基準面の3次元データに基づいて、前記基準面を算出する、画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020050744 | 2020-03-23 | ||
JP2020050744 | 2020-03-23 | ||
PCT/JP2021/010613 WO2021193236A1 (ja) | 2020-03-23 | 2021-03-16 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021193236A1 JPWO2021193236A1 (ja) | 2021-09-30 |
JP7436633B2 true JP7436633B2 (ja) | 2024-02-21 |
Family
ID=77892155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022509978A Active JP7436633B2 (ja) | 2020-03-23 | 2021-03-16 | 画像処理装置及び画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230089139A1 (ja) |
JP (1) | JP7436633B2 (ja) |
CN (1) | CN115335658A (ja) |
DE (1) | DE112021001777T5 (ja) |
WO (1) | WO2021193236A1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009028489A1 (ja) | 2007-08-30 | 2009-03-05 | Kabushiki Kaisha Yaskawa Denki | 物体検出方法と物体検出装置およびロボットシステム |
JP2011196860A (ja) | 2010-03-19 | 2011-10-06 | Optex Co Ltd | 距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置 |
JP2015170907A (ja) | 2014-03-05 | 2015-09-28 | キヤノン株式会社 | スキャナシステム、スキャナシステムのデータ処理方法、及びプログラム |
JP2016123079A (ja) | 2014-12-25 | 2016-07-07 | パナソニックIpマネジメント株式会社 | 投影装置及び投影方法 |
JP2018004281A (ja) | 2016-06-27 | 2018-01-11 | 株式会社キーエンス | 測定装置 |
JP2018107642A (ja) | 2016-12-27 | 2018-07-05 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、及びプログラム |
JP2019219248A (ja) | 2018-06-19 | 2019-12-26 | 沖電気工業株式会社 | 点群処理装置、点群処理方法およびプログラム |
WO2020013021A1 (ja) | 2018-07-13 | 2020-01-16 | 株式会社ニコン | 検出装置、処理装置、検出方法、及び処理プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3637226B2 (ja) | 1999-02-01 | 2005-04-13 | 株式会社東芝 | 動き検出方法、動き検出装置及び記録媒体 |
JP5041458B2 (ja) | 2006-02-09 | 2012-10-03 | 本田技研工業株式会社 | 三次元物体を検出する装置 |
-
2021
- 2021-03-16 US US17/908,082 patent/US20230089139A1/en active Pending
- 2021-03-16 JP JP2022509978A patent/JP7436633B2/ja active Active
- 2021-03-16 WO PCT/JP2021/010613 patent/WO2021193236A1/ja active Application Filing
- 2021-03-16 DE DE112021001777.2T patent/DE112021001777T5/de active Pending
- 2021-03-16 CN CN202180023153.6A patent/CN115335658A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009028489A1 (ja) | 2007-08-30 | 2009-03-05 | Kabushiki Kaisha Yaskawa Denki | 物体検出方法と物体検出装置およびロボットシステム |
JP2011196860A (ja) | 2010-03-19 | 2011-10-06 | Optex Co Ltd | 距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置 |
JP2015170907A (ja) | 2014-03-05 | 2015-09-28 | キヤノン株式会社 | スキャナシステム、スキャナシステムのデータ処理方法、及びプログラム |
JP2016123079A (ja) | 2014-12-25 | 2016-07-07 | パナソニックIpマネジメント株式会社 | 投影装置及び投影方法 |
JP2018004281A (ja) | 2016-06-27 | 2018-01-11 | 株式会社キーエンス | 測定装置 |
JP2018107642A (ja) | 2016-12-27 | 2018-07-05 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、及びプログラム |
JP2019219248A (ja) | 2018-06-19 | 2019-12-26 | 沖電気工業株式会社 | 点群処理装置、点群処理方法およびプログラム |
WO2020013021A1 (ja) | 2018-07-13 | 2020-01-16 | 株式会社ニコン | 検出装置、処理装置、検出方法、及び処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230089139A1 (en) | 2023-03-23 |
DE112021001777T5 (de) | 2023-01-12 |
JPWO2021193236A1 (ja) | 2021-09-30 |
CN115335658A (zh) | 2022-11-11 |
WO2021193236A1 (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101930796B1 (ko) | 이미지를 이용한 3차원 좌표 계산 장치, 3차원 좌표 계산 방법, 3차원 거리 측정 장치 및 3차원 거리 측정 방법 | |
JP6465789B2 (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
US9111177B2 (en) | Position/orientation measurement apparatus, processing method therefor, and non-transitory computer-readable storage medium | |
JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
JP6380667B2 (ja) | 形状測定装置及び形状測定方法 | |
TW201403277A (zh) | 機器人系統、機器人、機器人控制裝置、機器人控制方法及機器人控制程式 | |
JP2012058076A (ja) | 3次元計測装置及び3次元計測方法 | |
US20150314452A1 (en) | Information processing apparatus, method therefor, measurement apparatus, and working apparatus | |
US10713810B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and storage medium | |
JP2017033429A (ja) | 3次元物体検査装置 | |
JP2015090298A (ja) | 情報処理装置、情報処理方法 | |
EP2887313A1 (en) | Image processing apparatus, system, image processing method, and computer-readable recording medium | |
US20160232654A1 (en) | Information processing apparatus, control method thereof, and computer readable storage medium | |
US20170292827A1 (en) | Coordinate measuring system | |
JP7448633B2 (ja) | 複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置 | |
JP7436633B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2006317418A (ja) | 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体 | |
KR101741501B1 (ko) | 카메라와 객체 간 거리 추정 장치 및 그 방법 | |
JP4429135B2 (ja) | 三次元形状計測システム及び計測方法 | |
JP4351090B2 (ja) | 画像処理装置および画像処理方法 | |
JP6892462B2 (ja) | 機械制御装置 | |
CN112775961A (zh) | 控制装置、控制装置的控制方法以及控制系统 | |
JP7481468B2 (ja) | ロボットシステム及び制御方法 | |
JP2020197495A (ja) | 情報処理装置、計測装置、情報処理方法、プログラム、システム及び物品の製造方法 | |
JP2008014857A (ja) | プリント板の検査用座標取得装置、検査用座標取得方法、及び検査用座標取得プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7436633 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |