JP6570321B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6570321B2 JP6570321B2 JP2015112379A JP2015112379A JP6570321B2 JP 6570321 B2 JP6570321 B2 JP 6570321B2 JP 2015112379 A JP2015112379 A JP 2015112379A JP 2015112379 A JP2015112379 A JP 2015112379A JP 6570321 B2 JP6570321 B2 JP 6570321B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- pattern
- detection
- detected
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
以下、本実施形態では、複雑な形状の物体の三次元形状をロバストに計測する情報を得る方法について説明する。
検出部230は、画像取得部220で取得した画像上から、投影装置300から投影したパターンの計測線に相当する線(検出線)を検出する。
識別部240は、検出部230で検出した検出線上で変化する輝度値と、パターン100の計測線上で変化する輝度値との類似度に基づいて、検出線がパターン100の何れの計測線によって投影された線であるかを識別する。
(ステップS301)
パターン取得部210は、パターンの画像を取得する。パターンの画像は、外部装置から取得してもよく、不図示のメモリ等から取得してもよい。そして、パターン取得部210は、投影するパターンを投影装置300に送る。これにより、投影装置300は、計測対象物体500にパターンを投影し、撮像装置400は、パターンが投影された計測対象物体500を撮像する。
(ステップS302)
画像取得部220は、パターンが投影された計測対象物体500を撮像した画像を撮像装置400から取得する。
検出部230は、画像取得部220で取得した画像上から、線(検出線)を検出する。具体的には、画像に対してソベルフィルタを適用して画像上の輝度値の極値(以降、検出点と呼ぶ)を検出した後、画素間で隣接する検出点をラベリングすることにより、隣接する検出点が並んだ線として算出する。そして、ラベリングした線を検出線として、以降、検出線毎に処理を行う。
識別部240は、検出部230で検出した検出線上で変化する輝度値の分布と、パターン100の計測線上で変化する輝度値の分布との類似度に基づいて、検出線がパターン100の何れの計測線によって投影された線であるかを識別する。
距離算出部250は、検出線上の点の位置と、識別部240で識別した計測線のパターン上での位置とに基づいて、撮像装置400の光学中心から、画像上で観測される検出線が投影された計測対象物体500の表面上までの距離を算出する。まず、検出部230で検出した検出線上の画素の位置と、識別した計測線番号から分かるパターン上での計測線の位置とに基づいて、光切断法の原理を使って計測線が投影された先の距離を計測する。以上の計測を画像から検出した計測線上の全ての画素の位置について行うことにより、計測対象物体500表面の距離点群を算出する。
本実施形態では、複雑な形状の物体に対して、後述する検出線の誤接続が発生する場合であっても、ロバストに三次元形状を計測する情報を得る方法を説明する。
検出部230は、画像取得部220で取得した画像上から検出線を検出し、分割後の長さが所定閾値以下になるように検出線を複数の検出線に分割する。具体的にはまず、第1の実施形態と同様に画像上から検出線を検出する。次に、検出した複数の検出線から分割する検出線を1つ選択する。ここで、選択した検出線の長さをMとした場合、Mは計測線上の点数を表す。次に、検出線が所定の閾値Lの長さに収まるように、選択した検出線を(M/L+1)本で等間隔に分割する。(M/L+1)の計算は、少数点以下を切り捨てとする。
本実施形態では、複雑な形状の物体に対して、検出線の誤接続が発生する場合であっても、ロバストに三次元形状を計測する情報を得る方法を説明する。
検出部230は、画像取得部220で取得した画像上から検出線を検出し、検出した検出線上の輝度値に基づいて、検出した検出線を複数の検出線に分割する。ここで、本実施形態のステップS303の処理手順の詳細について、図5のフローチャートを用いて説明する。図5は、本実施形態における図3のステップS303の検出部230による詳細な処理手順の一例を示すフローチャートである。
まず、第1の実施形態におけるステップS303と同様の処理を行い、画像上から検出線を検出する。
(ステップS502)
検出した複数の検出線から検出線を1つ選択し、選択した線上の点の輝度値に基づいて、図3のステップS304と同様の処理によってパターンの計測線とのマッチングを行い、仮に対応する計測線kを識別する。
次に、選択した検出線上から、計測線kに属する領域を判定し、その領域を分離するように検出線を複数の検出線に分割する。これは、検出線に誤接続が発生する場合、選択した検出線のうち一部が計測線kに属するものではないため、計測線kに属さない部分を判定することにより、誤接続の除去を行うことを意味する。
本実施形態では、複数の検出線上の輝度と、検出線の位置の順序とに基づいて、計測線を識別することによって、ロバストに三次元形状を計測する情報を得る方法を説明する。
識別部240は、検出部230で検出した検出線上で変化する輝度値と、パターン100の計測線上で変化する輝度値との類似度を計算する。そして、各検出線上から計算した類似度と、画像上での検出線の位置の順序とに基づいて、各検出線がパターン100の何れの計測線によって投影された線であるかを識別する。
前述した各実施形態において、計測対象物体の距離値に加え、各計測線上の輝度もしくは色に基づいて、出力する距離値の誤差の大きさを推定するようにしてもよい。
各実施形態で説明したパターンは線上の輝度もしくは色を変化させているため、画像上で観測される検出線は、その線上の位置によって線上の点と背景(検出線周囲の画素値)とのコントラストが異なる。コントラストは、検出線の位置の検出精度に影響を与えるため、出力する距離の値に含まれる誤差の大きさが、検出線のコントラストによって変化することになる。そこで、距離値に加え、その距離値に含まれる誤差の大きさを出力する。
誤差算出部は、検出線と背景とのコントラストに基づいて、距離算出部250で算出する距離値の誤差を算出する。距離値の誤差は以下の式(3)によって計算する。
第1の実施形態では、計測線上の位置に応じて変化する輝度の分布に基づいて計測線の識別を行った。識別の手掛かりとするパターンの計測線上の輝度の変化は、画像上から検出した検出線が短くても抽出可能であり、また、計測線の長さあたりの情報量が多いため、検出した検出線が短くてもロバストにパターンの計測線を識別する計算ができる。そのため、複雑な形状の物体に対して、ロバストに三次元形状を計測する情報を得ることができる。
本実施形態において、パターン取得部210で取得するパターンは、マルチスリットであって、各計測線上の輝度及び色の少なくともいずれかの値が線上の位置に応じて変化するものであればどのようなパターンでもよい。線上の輝度もしくは色の値は一様乱数で決めてもよいし、M系列に基づく疑似乱数で決めてもよい。また、輝度及び色の値を両方変化させてもよいし、何れか一方だけ変化させてもよい。また、必ずしも画像として取得する必要はなく、パターン上での計測線の位置と計測線上の輝度もしくは色の情報が取得できてればよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
230 検出部
240 識別部
250 距離算出部
Claims (11)
- 複数の線で構成され、前記線上で3種類以上の輝度または色が位置に応じて連続的に変化するパターンが投影された計測対象物体を撮像した画像を取得する取得手段と、
前記取得手段によって取得された画像から前記計測対象物体に投影されたパターンの線を検出する検出手段と、
前記検出手段によって検出された線、及び前記パターンを構成する線において連続的に変化する輝度または色の位置に基づいて、前記検出手段によって検出された線が前記パターンのどの線に対応するかを識別する識別手段と、
前記識別手段で識別された線の輝度または色の位置に基づいて、前記パターンが投影された計測対象物体の表面上の点の距離を算出する距離算出手段と、
を備えることを特徴とする情報処理装置。 - 前記識別手段は、前記検出手段によって検出された線上の点と、該点に基づくエピポーラ線と前記パターンにおける線との交点とを比較することによって前記検出手段によって検出された線が前記パターンのどの線に対応するかを識別することを特徴とする請求項1に記載の情報処理装置。
- 前記識別手段は、前記検出手段によって検出された線上の点と、該点に基づくエピポーラ線と前記パターンにおける線との交点とにおける、輝度または色の差分を算出することにより、前記検出手段によって検出された線が前記パターンのどの線に対応するかを識別することを特徴とする請求項2に記載の情報処理装置。
- 前記検出手段は、前記検出した線をさらに複数の線に分割して検出することを特徴とする請求項1〜3の何れか1項に記載の情報処理装置。
- 前記検出手段は、前記検出した線を長さが所定値以下となるようにさらに分割して検出することを特徴とする請求項4に記載の情報処理装置。
- 前記検出手段は、前記検出した線、及び前記パターンを構成する線において連続的に変化する輝度または色の位置に基づいて、前記検出した線をさらに複数の線に分割して検出することを特徴とする請求項4に記載の情報処理装置。
- 前記識別手段は、さらに前記検出手段によって検出された線の画像上での位置の順序と、前記パターンの線の位置の順序との整合に基づいて、前記検出手段によって検出された線が前記パターンのどの線に対応するかを識別することを特徴とする請求項1〜6の何れか1項に記載の情報処理装置。
- 前記検出手段によって検出された線上の輝度または色と、前記検出された線の周囲の輝度または色とのコントラストに基づいて、前記距離算出手段によって算出された距離の値に含まれる誤差の大きさを示す値を算出する誤差算出手段をさらに備えることを特徴とする請求項1〜7の何れか1項に記載の情報処理装置。
- 前記パターンを前記計測対象物体に投影する投影手段と、
前記投影手段から前記パターンが投影された計測対象物体を撮像する撮像手段と、を備え、
前記取得手段は、前記撮像手段から前記画像を取得することを特徴とする請求項1〜8の何れか1項に記載の情報処理装置。 - 複数の線で構成され、前記線上で3種類以上の輝度または色が位置に応じて連続的に変化するパターンが投影された計測対象物体を撮像した画像を取得する取得工程と、
前記取得工程において取得された画像から前記計測対象物体に投影されたパターンの線を検出する検出工程と、
前記検出工程において検出された線、及び前記パターンを構成する線において連続的に変化する輝度または色の位置に基づいて、前記検出工程において検出された線が前記パターンのどの線に対応するかを識別する識別工程と、
前記識別工程で識別された線の輝度または色の位置に基づいて、前記パターンが投影された計測対象物体の表面上の点の距離を算出する距離算出工程と、
を備えることを特徴とする情報処理方法。 - 複数の線で構成され、前記線上で3種類以上の輝度または色が位置に応じて連続的に変化するパターンが投影された計測対象物体を撮像した画像を取得する取得工程と、
前記取得工程において取得された画像から前記計測対象物体に投影されたパターンの線を検出する検出工程と、
前記検出工程において検出された線、及び前記パターンを構成する線において連続的に変化する輝度または色の位置に基づいて、前記検出工程において検出された線が前記パターンのどの線に対応するかを識別する識別工程と、
前記識別工程で識別された線の輝度または色の位置に基づいて、前記パターンが投影された計測対象物体の表面上の点の距離を算出する距離算出工程と、
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015112379A JP6570321B2 (ja) | 2015-06-02 | 2015-06-02 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015112379A JP6570321B2 (ja) | 2015-06-02 | 2015-06-02 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016223980A JP2016223980A (ja) | 2016-12-28 |
JP6570321B2 true JP6570321B2 (ja) | 2019-09-04 |
Family
ID=57748779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015112379A Active JP6570321B2 (ja) | 2015-06-02 | 2015-06-02 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6570321B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10839536B2 (en) * | 2018-10-02 | 2020-11-17 | Facebook Technologies, Llc | Depth sensing using grid light patterns |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2517062B2 (ja) * | 1988-04-26 | 1996-07-24 | 三菱電機株式会社 | 3次元計測装置 |
US6341016B1 (en) * | 1999-08-06 | 2002-01-22 | Michael Malione | Method and apparatus for measuring three-dimensional shape of object |
JP5578844B2 (ja) * | 2009-12-21 | 2014-08-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9007602B2 (en) * | 2010-10-12 | 2015-04-14 | Canon Kabushiki Kaisha | Three-dimensional measurement apparatus, three-dimensional measurement method, and computer-readable medium storing control program |
-
2015
- 2015-06-02 JP JP2015112379A patent/JP6570321B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016223980A (ja) | 2016-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6468802B2 (ja) | 三次元計測装置、三次元計測方法及びプログラム | |
US8718326B2 (en) | System and method for extracting three-dimensional coordinates | |
JP6465682B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US10006762B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6596433B2 (ja) | 2つのカメラからの曲線の集合の構造化光整合 | |
CN105627932A (zh) | 一种基于双目视觉的测距方法及装置 | |
JP2012058076A (ja) | 3次元計測装置及び3次元計測方法 | |
JP2014013147A5 (ja) | ||
US11803982B2 (en) | Image processing device and three-dimensional measuring system | |
JP4701848B2 (ja) | 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム | |
JP6411188B2 (ja) | ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法 | |
US11348271B2 (en) | Image processing device and three-dimensional measuring system | |
JP2008275366A (ja) | ステレオ3次元計測システム | |
JP6452361B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6570321B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6456084B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5656018B2 (ja) | 球体の検出方法 | |
JP6655869B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Kuhl et al. | Monocular 3D scene reconstruction at absolute scales by combination of geometric and real-aperture methods | |
JP2018041169A (ja) | 情報処理装置およびその制御方法、プログラム | |
WO2019066724A1 (en) | LIGHT PROJECTION SYSTEMS | |
WO2019116518A1 (ja) | 物体検出装置及び物体検出方法 | |
JP2018063161A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP6521645B2 (ja) | 画像計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190806 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6570321 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |