JP7463133B2 - 面積計測装置、面積計測方法、及びプログラム - Google Patents
面積計測装置、面積計測方法、及びプログラム Download PDFInfo
- Publication number
- JP7463133B2 JP7463133B2 JP2020035836A JP2020035836A JP7463133B2 JP 7463133 B2 JP7463133 B2 JP 7463133B2 JP 2020035836 A JP2020035836 A JP 2020035836A JP 2020035836 A JP2020035836 A JP 2020035836A JP 7463133 B2 JP7463133 B2 JP 7463133B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- target
- subject
- coordinates
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 67
- 238000003384 imaging method Methods 0.000 claims description 87
- 238000006243 chemical reaction Methods 0.000 claims description 66
- 238000005259 measurement Methods 0.000 claims description 63
- 238000001514 detection method Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
Images
Description
図1は、本実施形態に係る面積計測装置100を有するシステム全体の構成例を示した図である。本実施形態の面積計測装置100は、計測対象となる被写体(以下、対象被写体111とする)上の所望の領域(以下、対象領域112とする)の実面積を計測する機能を備えた装置である。本実施形態の面積計測装置100は、撮像部101、投影部102、撮像処理部103、撮影画像保存部104、特徴点検出部105、特徴点座標保持部106、画像変換部107、領域検出部108、面積取得部109、および表示部110を備えている。
投影制御部103bは、前述した投影部102における投影可能範囲内の所望の投影領域の指定、投影開始、および投影停止を制御する。すなわち、本実施形態の場合、投影制御部103bは、投影部102に対して、投影可能範囲内の所望の投影領域を指定して、前述した投影パターンの投影の開始および停止を指示する。
面積取得部109は、計測対象体領域の各画素の座標情報と、当該対象被写体の対象被写体距離と、撮像素子101aの既知のセンササイズおよび撮像光学系101bの既知の撮影画角を基に求まる画素当たりの実面積とから、計測対象領域の面積を算出する。なお、撮像光学系101bがズーム光学系を有していて撮影画角が可変である場合、例えばズーム量を基に撮影画角を求めることができる。センササイズと撮影画角とに基づいて画素当たりの実面積を求める手法については、後述する図5を以って説明する。
ステップS201において、面積計測装置100は、特徴点座標保持部106内に、複数の参照座標の情報と、それら参照座標にそれぞれ対応付けられた複数の被写体距離(参照被写体距離)の情報とが保持されているかどうかを判定する。面積計測装置100は、それらの情報が保持されていないと判定した場合にはステップS202へ遷移し、一方、それらの情報が保持されていると判定した場合にはステップS203へ遷移する。
次にステップS304において、撮像処理部103は、焦点調節部103aにて撮像部101の撮像光学系101bを駆動制御して平面被写体に合焦させ、さらにその合焦状態で撮像部101に平面被写体を撮像させることで、投影パターンを含む画像を取得する。本実施形態の場合、このステップS304で取得された画像は、前述した参照被写体距離に対応した平面被写体画像に対応する。
そして次のステップS306において、特徴点座標保持部106は、ステップS305で検出された特徴点の座標を、ステップS304で取得された平面被写体画像の撮影時における被写体距離(参照被写体距離)と対にして保持する。本実施形態の場合、このステップS306で参照被写体距離に対応付けられて保持された座標は、前述した参照座標に対応する。
ステップS401において、撮像処理部103aの投影制御部103bは、投影部102を制御して所定のパターン光(投影パターン)を対象被写体111に投影させる。
このステップS502の後、ステップS503において、撮像処理部103aの投影制御部103bは、投影部102を制御して投影パターンの投影を停止させる。
撮像部101のような撮像装置は、一般的には図6に示すようなピンホールモデルとして扱うことができる。入射光607は、レンズ602のレンズ主点を通り、イメージセンサの撮像面601で受光される。撮像面601からレンズ602のレンズ主点までの距離が焦点距離Fである。ここで、薄レンズ近似を用いた場合には、前側主点と後側主点の2つの主点は一致するとみなせる。また、ピンホールモデルでは、見かけ上、レンズ602が厚みのない単一のレンズとして表されるが、撮像光学系101bのような実際のレンズは、フォーカスレンズやズームレンズを含むそれぞれ厚みのある複数のレンズによって構成されている。そして、イメージセンサの撮像面601に光像が結像するように、レンズ602のフォーカスレンズの位置を光軸方向に移動させるように調節することで、被写体603に対する焦点合わせが行われる。またズームレンズを光軸方向移動させて焦点距離Fを変更した場合、画角θは変化する。
図7(a)および図7(b)は、投影パターンが例えば四角形のライン(線)からなるライン投影パターンである場合の例を示した図である。図7(a)は、投影部102から平面被写体の正面にライン投影パターン701aが投影され、その平面被写体上のライン投影パターン701aを、撮像部101が正面撮影する時の撮影画角701内の見え方を示した図である。一方、図7(b)は、光軸に対して直交していない状態の対象被写体上に四角形のライン投影パターンを投影した場合の、撮像部101の撮影画角702内でのライン投影パターン702bの見え方を示した図である。図7(b)のように、光軸に対して対象被写体が直交していない状態である場合、四角形のライン投影パターンは台形のライン投影パターン702bに見え、また対象被写体上の円形の対象領域702bは楕円に見えることになる。図3のステップS305における特徴点検出及び座標取得処理では、図7(a)に示したライン投影パターン701aの例えば四隅が特徴点として検出され、それら四隅の特徴点の座標が参照座標として取得される。また図4のステップS403又は図5のステップS505における特徴点検出及び座標取得処理では、図7(b)に示したライン投影パターン702aの四隅が特徴点として検出され、それら四隅の特徴点の座標が対象座標として取得される。また図4のステップS405又は図5のステップS507の画像変換処理では、図7(a)のライン投影パターン701aの四隅の参照座標と、図7(b)のライン投影パターン702aの四隅の対象座標との対応関係を基に画像変換処理が行われる。そして、図4のステップS406~S407又は図5のステップS508~S509では、画像変換処理後の画像から計測対象領域が検出されてその面積が算出される。
図10は、光軸に対して対象被写体が直交せずに大きく傾いていることで、対象領域1004の面積計測が難しくなる場合に、表示部110が、ユーザに対する通知文1002を画面1001上に表示した例を示した図である。図10の例では、光軸に直交せず傾いた状態の対象被写体上にライン投影パターン1003が投影され、その対象被写体上のライン投影パターン1003を撮像部101が撮像した画像が、表示部110によって画面1001上に表示されている。すなわち図10の例の場合、対象被写体が光軸に直交せず傾いた状態であるため、四角形のライン投影パターンは台形状のライン投影パターン1003となり、また円形の対象領域は楕円の対象領域1004になっている様子が表示されている。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
Claims (14)
- 複数の特徴点を含む所定のパターン光が投影された対象被写体を撮影した撮影画像から、前記投影された所定のパターン光の前記特徴点の座標を検出する特徴点検出手段と、
前記対象被写体が撮影された際の被写体距離を取得する距離取得手段と、
事前に用意された所定の参照座標と被写体距離とを対応付けて保持する座標保持手段と、
前記対象被写体の前記撮影画像から前記検出した前記特徴点の座標と、当該対象被写体を撮影した際の被写体距離に対応した前記参照座標とを用いた射影変換に基づいて、前記対象被写体の撮影画像に画像変換処理を行う画像変換手段と、
前記画像変換処理を行った後の前記対象被写体の撮影画像から、面積計測を行う対象領域を検出する領域検出手段と、
前記所定のパターン光が投影された状態の前記対象被写体を撮影した撮影画像から前記検出された前記特徴点の座標と、前記参照座標との差が、所定の座標差より大きい場合、前記差を所定の座標差より小さくさせるための指示を表す、ユーザへの通知を、表示装置に表示させる表示手段と、
前記領域検出手段によって前記検出された前記対象領域の画素数と、前記対象被写体を前記撮影した際の被写体距離に基づく画素当たりの面積とから、前記対象領域の面積を取得する面積取得手段と、
を有することを特徴とする面積計測装置。 - 前記参照座標は、前記所定のパターンが投影された状態の平面被写体を複数の被写体距離毎に正面撮影した画像から検出された特徴点の座標であり、
前記参照座標に対応付けられている前記被写体距離は、当該平面被写体を前記正面撮影した際の被写体距離であることを特徴とする請求項1に記載の面積計測装置。 - 前記参照座標は、前記被写体距離を変数とする計算式により求めた特徴点の座標であることを特徴とする請求項1に記載の面積計測装置。
- 前記複数の特徴点を含む所定のパターン光を投影する投影装置と、
撮像により前記撮影画像を取得する撮像装置と、
を有することを特徴とする請求項1から請求項3のいずれか1項に記載の面積計測装置。 - 前記撮像装置は、前記所定のパターン光が投影された状態の前記対象被写体を撮像し、
前記特徴点検出手段は、前記所定のパターン光が投影された状態の前記対象被写体を前記撮像装置が撮像した撮影画像から、前記投影された前記所定のパターン光の前記特徴点の座標を検出し、
前記画像変換手段は、前記所定のパターン光が投影された状態の前記対象被写体を前記撮像装置が撮像した撮影画像に対して前記画像変換処理を行うことを特徴とする請求項4に記載の面積計測装置。 - 前記撮像装置は、前記所定のパターン光が投影された状態の前記対象被写体の撮影と、前記所定のパターン光が投影されていない状態の前記対象被写体の撮影とを、それぞれ同じ被写体距離で行い、
前記特徴点検出手段は、前記所定のパターン光が投影された状態の前記対象被写体を前記撮像装置が撮像した撮影画像から、前記投影された前記所定のパターン光の前記特徴点の座標を検出し、
前記画像変換手段は、前記所定のパターン光が投影されていない状態の前記対象被写体を前記撮像装置が撮像した撮影画像に対して前記画像変換処理を行うことを特徴とする請求項4に記載の面積計測装置。 - 前記特徴点検出手段は、前記所定のパターン光において領域毎に制御された特定の波長、特定の照度、特定の形状の、少なくともいずれかを、前記特徴点として検出することを特徴とする請求項1から請求項6のいずれか1項に記載の面積計測装置。
- 前記特徴点検出手段は、前記所定のパターン光の前記特定の波長を前記特徴点として検出する場合、前記撮影画像から、三原色のRGB値が所定の範囲内に収まる複数の画素が隣接している領域を検出し、前記複数の画素が隣接した領域の中の中心座標を前記特徴点の座標として検出することを特徴とする請求項7に記載の面積計測装置。
- 前記特徴点検出手段は、前記所定のパターン光の前記特定の形状を前記特徴点として検出する場合、前記撮影画像から、直線が交差した交点部分を検出し、前記交点部分を前記特徴点の座標として検出することを特徴とする請求項7に記載の面積計測装置。
- 前記特徴点検出手段は、前記撮影画像の中で同じ色領域の画素から近似した直線が交差した前記交点部分を、前記特徴点の座標として検出することを特徴とする請求項9に記載の面積計測装置。
- 前記表示手段は、前記所定のパターン光が投影された状態の前記対象被写体を撮影した撮影画像から前記検出された前記特徴点の座標に基づく座標範囲のなかに、前記対象領域の座標が収まっていない場合、前記対象領域を前記座標範囲のなかに収めさせるための指示を表す通知を前記表示させることを特徴とする請求項1から請求項10のいずれか1項に記載の面積計測装置。
- 前記表示手段は、前記所定のパターン光が投影された状態の前記対象被写体を撮影した撮影画像から前記検出された前記特徴点の座標と、前記対象領域の座標との間の距離が所定の距離より大きい場合、前記特徴点と前記対象領域とを近づけさせるための指示を表す通知を前記表示させることを特徴とする請求項1から請求項11のいずれか1項に記載の面積計測装置。
- 面積計測装置が実行する面積計測方法であって、
複数の特徴点を含む所定のパターン光が投影された対象被写体を撮影した撮影画像から、前記投影された所定のパターン光の前記特徴点の座標を検出する特徴点検出工程と、
前記対象被写体が撮影された際の被写体距離を取得する距離取得工程と、
事前に用意された所定の参照座標と被写体距離とを対応付けて保持する座標保持工程と、
前記対象被写体の前記撮影画像から前記検出した前記特徴点の座標と、当該対象被写体を撮影した際の被写体距離に対応した前記参照座標とを用いた射影変換に基づいて、前記対象被写体の撮影画像に画像変換処理を行う画像変換工程と、
前記画像変換処理を行った後の前記対象被写体の撮影画像から、面積計測を行う対象領域を検出する領域検出工程と、
前記所定のパターン光が投影された状態の前記対象被写体を撮影した撮影画像から前記検出された前記特徴点の座標と、前記参照座標との差が、所定の座標差より大きい場合、前記差を所定の座標差より小さくさせるための指示を表す、ユーザへの通知を、表示装置に表示させる表示工程と、
前記領域検出工程によって前記検出された前記対象領域の画素数と、前記対象被写体を前記撮影した際の被写体距離に基づく画素当たりの面積とから、前記対象領域の面積を取得する面積取得工程と、
を有することを特徴とする面積計測方法。 - コンピュータを、請求項1から請求項12のいずれか1項に記載の面積計測装置が有する各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020035836A JP7463133B2 (ja) | 2020-03-03 | 2020-03-03 | 面積計測装置、面積計測方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020035836A JP7463133B2 (ja) | 2020-03-03 | 2020-03-03 | 面積計測装置、面積計測方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021139672A JP2021139672A (ja) | 2021-09-16 |
JP7463133B2 true JP7463133B2 (ja) | 2024-04-08 |
Family
ID=77668299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020035836A Active JP7463133B2 (ja) | 2020-03-03 | 2020-03-03 | 面積計測装置、面積計測方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7463133B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018014572A (ja) | 2016-07-19 | 2018-01-25 | 株式会社リコー | 情報処理装置、画像処理システム、プログラム |
JP2019144191A (ja) | 2018-02-23 | 2019-08-29 | 株式会社市川工務店 | 橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム |
-
2020
- 2020-03-03 JP JP2020035836A patent/JP7463133B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018014572A (ja) | 2016-07-19 | 2018-01-25 | 株式会社リコー | 情報処理装置、画像処理システム、プログラム |
JP2019144191A (ja) | 2018-02-23 | 2019-08-29 | 株式会社市川工務店 | 橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021139672A (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5401940B2 (ja) | 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ | |
JP3960390B2 (ja) | 台形歪み補正装置を備えたプロジェクタ | |
JP4012710B2 (ja) | 画像入力装置 | |
US6519359B1 (en) | Range camera controller for acquiring 3D models | |
JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
JP5961945B2 (ja) | 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
CN110456602B (zh) | 一种投影系统的投影图案校正装置、方法及系统 | |
JP2009200683A (ja) | 画像処理装置、プロジェクタ、歪み補正方法 | |
JP2010271199A (ja) | 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム | |
TWI484283B (zh) | 影像計算量測方法、影像計算量測裝置及影像檢查裝置 | |
JP2005020314A (ja) | 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置 | |
JP2011139368A (ja) | 撮像装置の制御装置および制御方法 | |
CN110381302B (zh) | 一种投影系统的投影图案校正方法、装置及系统 | |
TWI393981B (zh) | Use the flash to assist in detecting focal lengths | |
JP2016085380A (ja) | 制御装置、制御方法、及び、プログラム | |
TWI398716B (zh) | Use the flash to assist in detecting focal lengths | |
WO2022126430A1 (zh) | 辅助对焦方法、装置及系统 | |
JP4199641B2 (ja) | プロジェクタ装置 | |
JP4198536B2 (ja) | 物体撮影装置、物体撮影方法及び物体撮影プログラム | |
JP2021027584A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7463133B2 (ja) | 面積計測装置、面積計測方法、及びプログラム | |
JP4689948B2 (ja) | プロジェクタ | |
JP6381206B2 (ja) | 画像処理装置、その制御方法およびプログラム | |
JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP5267175B2 (ja) | 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7463133 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |