JP7410271B2 - 撮像回数を調整する距離画像撮像システム - Google Patents
撮像回数を調整する距離画像撮像システム Download PDFInfo
- Publication number
- JP7410271B2 JP7410271B2 JP2022507183A JP2022507183A JP7410271B2 JP 7410271 B2 JP7410271 B2 JP 7410271B2 JP 2022507183 A JP2022507183 A JP 2022507183A JP 2022507183 A JP2022507183 A JP 2022507183A JP 7410271 B2 JP7410271 B2 JP 7410271B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- imaging
- distance image
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 128
- 238000005259 measurement Methods 0.000 claims description 90
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 description 52
- 230000008569 process Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 238000012935 Averaging Methods 0.000 description 16
- 230000009467 reduction Effects 0.000 description 11
- 239000002131 composite material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Description
本開示の他の態様は、対象物に対して同じ撮像位置及び同じ撮像姿勢で対象物を複数回撮像して複数の第一距離画像を取得する画像取得部と、複数の第一距離画像を合成して第二距離画像を生成する画像合成部と、を備えた距離画像撮像システムであって、第二距離画像における測距誤差を推定し、推定した測距誤差が予め定めた目標誤差以下になる、第一距離画像の撮像回数を決定する撮像回数決定部を備え、撮像回数決定部は、第一距離画像が撮像される毎に、第二距離画像における測距誤差として距離の分散を逐次計算し、分散と前像回数との間の関係に基づいて第一距離画像の取得終了を判定する、距離画像撮像システムを提供する。
10 画像取得部(測距センサ)
20 上位コンピュータ装置
21 画像合成部
22 撮像回数決定部
23 目標誤差指定部
24 画像領域指定部
25 対象物特定部
26 信頼度指定部
30 ロボット制御装置
31 動作制御部
40 ロボット
41 ツール
50 搬送装置
W 対象物
Claims (13)
- 対象物に対して同じ撮像位置及び同じ撮像姿勢で前記対象物を複数回撮像して複数の第一距離画像と前記複数の第一距離画像にそれぞれ対応する複数の光強度画像とを取得する画像取得部と、前記複数の前記第一距離画像を合成して第二距離画像を生成する画像合成部と、を備えた距離画像撮像システムであって、
光強度と測距バラツキとの間の関係式に基づいて前記光強度画像から前記第二距離画像における測距誤差を推定し、推定した前記測距誤差が予め定めた目標誤差以下になる、前記第一距離画像の撮像回数を、撮像回数と前記第二距離画像における測距誤差との関係式に基づいて決定する撮像回数決定部を備える、距離画像撮像システム。 - 前記撮像回数決定部は、前記撮像回数をN、前記第二距離画像における測距誤差をσ 1 /N 0.5 、及び前記目標誤差をσ TG としたときに、
N=(σ 1 /σ TG ) 2
なる式に基づいて前記撮像回数を決定する、請求項1に記載の距離画像撮像システム。 - 前記撮像回数決定部は、前記光強度画像の画素の単位で又は前記光強度画像内の画素領域の単位で前記測距誤差を推定する、請求項1に記載の距離画像撮像システム。
- 対象物に対して同じ撮像位置及び同じ撮像姿勢で前記対象物を複数回撮像して複数の第一距離画像を取得する画像取得部と、前記複数の前記第一距離画像を合成して第二距離画像を生成する画像合成部と、を備えた距離画像撮像システムであって、
前記第二距離画像における測距誤差を推定し、推定した前記測距誤差が予め定めた目標誤差以下になる、前記第一距離画像の撮像回数を決定する撮像回数決定部を備え、
前記撮像回数決定部は、前記第一距離画像が撮像される毎に、前記第二距離画像における測距誤差として距離の分散を逐次計算し、前記分散と前記撮像回数との間の関係に基づいて前記第一距離画像の取得終了を判定する、距離画像撮像システム。 - 前記撮像回数決定部は、前記複数の前記第一距離画像の間で対応する画素の単位で又は前記複数の前記第一距離画像の間で対応する画素領域の単位で前記分散を逐次計算する、請求項4に記載の距離画像撮像システム。
- 合成対象の画像領域を指定する画像領域指定部をさらに備え、前記撮像回数決定部は前記画像領域指定部によって指定された前記画像領域における前記測距誤差を推定する、請求項1から5のいずれか一項に記載の距離画像撮像システム。
- 前記対象物の少なくとも一部を写した画像領域を特定する対象物特定部をさらに備え、前記画像領域指定部は前記対象物特定部によって特定された前記画像領域を前記合成対象の画像領域として指定する、請求項6に記載の距離画像撮像システム。
- 前記第二距離画像における前記測距誤差の信頼度を指定する信頼度指定部をさらに備える、請求項1から6のいずれか一項に記載の距離画像撮像システム。
- 前記画像取得部がロボット先端部又は固定点に設置された、請求項1から8のいずれか一項に記載の距離画像撮像システム。
- 前記画像取得部がTOFセンサである、請求項1から9のいずれか一項に記載の距離画像撮像システム。
- ロボットと、前記ロボットを制御するロボット制御装置と、前記画像合成部及び前記撮像回数決定部を備えた上位コンピュータ装置と、をさらに備え、前記ロボット制御装置が前記第二距離画像の要求指令を前記上位コンピュータ装置に対して行う、請求項1から10のいずれか一項に記載の距離画像撮像システム。
- ロボットと、前記ロボットを制御するロボット制御装置と、をさらに備え、前記画像合成部及び前記撮像回数決定部は前記ロボット制御装置に組込まれる、請求項1から10のいずれか一項に記載の距離画像撮像システム。
- 前記ロボット制御装置は前記第二距離画像に基づいて前記ロボットの動作を補正する、請求項11又は12に記載の距離画像撮像システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020043475 | 2020-03-12 | ||
JP2020043475 | 2020-03-12 | ||
PCT/JP2021/009022 WO2021182405A1 (ja) | 2020-03-12 | 2021-03-08 | 撮像回数を調整する距離画像撮像システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021182405A1 JPWO2021182405A1 (ja) | 2021-09-16 |
JP7410271B2 true JP7410271B2 (ja) | 2024-01-09 |
Family
ID=77671761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022507183A Active JP7410271B2 (ja) | 2020-03-12 | 2021-03-08 | 撮像回数を調整する距離画像撮像システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230130830A1 (ja) |
JP (1) | JP7410271B2 (ja) |
CN (1) | CN115280183A (ja) |
DE (1) | DE112021000592T5 (ja) |
WO (1) | WO2021182405A1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001317935A (ja) | 2000-05-09 | 2001-11-16 | Minolta Co Ltd | 測距装置 |
JP2006349506A (ja) | 2005-06-16 | 2006-12-28 | Sokkia Co Ltd | 距離測定装置及びその方法 |
JP2007155356A (ja) | 2005-11-30 | 2007-06-21 | Toshiba Corp | 測距装置および測距方法 |
JP2008241435A (ja) | 2007-03-27 | 2008-10-09 | Stanley Electric Co Ltd | 距離画像生成装置 |
JP2010091377A (ja) | 2008-10-07 | 2010-04-22 | Toyota Motor Corp | 光学式測距装置及び方法 |
JP2013101045A (ja) | 2011-11-08 | 2013-05-23 | Fanuc Ltd | 物品の3次元位置姿勢の認識装置及び認識方法 |
WO2015166712A1 (ja) | 2014-05-02 | 2015-11-05 | 富士フイルム株式会社 | 測距装置、測距方法、及び測距プログラム |
WO2016208214A1 (ja) | 2015-06-24 | 2016-12-29 | 株式会社村田製作所 | 距離センサ |
JP2020146773A (ja) | 2019-03-12 | 2020-09-17 | 株式会社不二越 | ハンドリング装置およびロボット装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012225807A (ja) | 2011-04-20 | 2012-11-15 | Optex Co Ltd | 距離画像カメラおよび距離画像合成方法 |
JP2017181488A (ja) | 2016-03-23 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 距離画像生成装置、距離画像生成方法及びプログラム |
JP6859910B2 (ja) | 2017-09-22 | 2021-04-14 | 株式会社デンソーウェーブ | 撮像装置 |
-
2021
- 2021-03-08 US US17/905,642 patent/US20230130830A1/en active Pending
- 2021-03-08 JP JP2022507183A patent/JP7410271B2/ja active Active
- 2021-03-08 DE DE112021000592.8T patent/DE112021000592T5/de active Pending
- 2021-03-08 CN CN202180020624.8A patent/CN115280183A/zh active Pending
- 2021-03-08 WO PCT/JP2021/009022 patent/WO2021182405A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001317935A (ja) | 2000-05-09 | 2001-11-16 | Minolta Co Ltd | 測距装置 |
JP2006349506A (ja) | 2005-06-16 | 2006-12-28 | Sokkia Co Ltd | 距離測定装置及びその方法 |
JP2007155356A (ja) | 2005-11-30 | 2007-06-21 | Toshiba Corp | 測距装置および測距方法 |
JP2008241435A (ja) | 2007-03-27 | 2008-10-09 | Stanley Electric Co Ltd | 距離画像生成装置 |
JP2010091377A (ja) | 2008-10-07 | 2010-04-22 | Toyota Motor Corp | 光学式測距装置及び方法 |
JP2013101045A (ja) | 2011-11-08 | 2013-05-23 | Fanuc Ltd | 物品の3次元位置姿勢の認識装置及び認識方法 |
WO2015166712A1 (ja) | 2014-05-02 | 2015-11-05 | 富士フイルム株式会社 | 測距装置、測距方法、及び測距プログラム |
WO2016208214A1 (ja) | 2015-06-24 | 2016-12-29 | 株式会社村田製作所 | 距離センサ |
JP2020146773A (ja) | 2019-03-12 | 2020-09-17 | 株式会社不二越 | ハンドリング装置およびロボット装置 |
Also Published As
Publication number | Publication date |
---|---|
DE112021000592T5 (de) | 2022-12-01 |
CN115280183A (zh) | 2022-11-01 |
WO2021182405A1 (ja) | 2021-09-16 |
JPWO2021182405A1 (ja) | 2021-09-16 |
US20230130830A1 (en) | 2023-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11328442B2 (en) | Object detection system using TOF sensor | |
JP6091325B2 (ja) | ナンバープレートを調節する方法 | |
JP6415066B2 (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
CN106447730B (zh) | 参数估计方法、装置和电子设备 | |
US20070122040A1 (en) | Method and apparatus for identifying physical features in video | |
US9659379B2 (en) | Information processing system and information processing method | |
US5103105A (en) | Apparatus for inspecting solder portion of a circuit board | |
CN112313541A (zh) | 设备和方法 | |
US9714829B2 (en) | Information processing apparatus, assembly apparatus, information processing method, and storage medium that generate a measurement pattern having different amounts of irradiation light depending on imaging regions | |
WO2016135856A1 (ja) | 3次元形状計測システムおよびその計測方法 | |
KR101896307B1 (ko) | 깊이 영상을 처리하는 방법 및 장치 | |
JP7410271B2 (ja) | 撮像回数を調整する距離画像撮像システム | |
KR20190105760A (ko) | 영상 처리에 기반한 전기철도 팬터그래프 모니터링 장치 및 방법 | |
JP2004062757A5 (ja) | ||
JP6577595B2 (ja) | 車両用外界認識装置 | |
JP2004524635A (ja) | 画像データ内の飽和した色値の真の色値を推算する方法と装置 | |
JP7300331B2 (ja) | 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム | |
KR101887945B1 (ko) | 3d 카메라의 노출 시간 결정 방법 및 장치 | |
JPH09322153A (ja) | 自動監視装置 | |
JP2020051991A (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
JP2022148383A (ja) | 学習方法、学習装置、及び、プログラム | |
KR102351152B1 (ko) | ToF 센서를 이용한 삼차원 카메라의 다중 반사 경로로 인한 깊이 정보 오차 보정 방법 및 장치 | |
JP2019192155A (ja) | 画像処理装置、撮影装置、画像処理方法およびプログラム | |
JP7317732B2 (ja) | 推定装置、物体搬送システム、推定方法、およびプログラム | |
JP3615909B2 (ja) | 移動物体検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7410271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |