JP7418107B2 - 形状推定装置、形状推定方法及びプログラム - Google Patents
形状推定装置、形状推定方法及びプログラム Download PDFInfo
- Publication number
- JP7418107B2 JP7418107B2 JP2019172189A JP2019172189A JP7418107B2 JP 7418107 B2 JP7418107 B2 JP 7418107B2 JP 2019172189 A JP2019172189 A JP 2019172189A JP 2019172189 A JP2019172189 A JP 2019172189A JP 7418107 B2 JP7418107 B2 JP 7418107B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- area
- region
- imaging
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000003384 imaging method Methods 0.000 claims description 88
- 238000012545 processing Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 21
- 238000012217 deletion Methods 0.000 description 13
- 230000037430 deletion Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
Description
本実施形態では、被写体の3次元形状を推定する3次元空間の領域を第1の領域と第2の領域に分割して、それぞれの領域で形状の推定に用いられる複数のカメラ(撮像装置)を限定することで、3次元形状の推定の処理負荷を軽減させる。そのために、第1の領域では、第1の領域を構成する要素ごとに、形状の推定に用いられる画像に対応するカメラを示す情報である形状推定用情報が、カメラの状態に基づいて生成される。一方、第2の領域では、形状推定用情報として、第2の領域を構成する要素で共通の情報が設定される。このように第1の領域と第2の領域それぞれにおいて、形状推定用情報に基づいて、推定に用いられるカメラが限定される。なお、形状推定用情報についての詳細は後述する。
本実施形態で画像処理システムに用いられる形状推定装置について図面を参照しながら説明する。
図5に示すフローチャートを用いて、形状推定装置1が行う処理について説明する。以降の説明においては、各処理ステップを単にSと表記する。CPU411がROM412等に記憶されたプログラムを読み出して実行することにより、以下の処理が実行される。
本実施形態では、第1の領域と第2の領域にカメラの優先度情報を紐付け、形状推定用情報と、優先度情報を用いて被写体の形状を推定する実施形態について述べる。
本実施形態における画像処理システムに用いられる形状推定装置6について、図面を参照しながら説明する。図6は、形状推定装置6を有する画像処理システムを示す図である。図6に示すように、形状推定装置6は、カメラ2、画像生成装置3、表示装置4に接続される。カメラ2、画像生成装置3、表示装置4の構成は、実施形態1と同じである。以下、実施形態1と同じ構成については説明を省略する。また、形状推定装置6のハードウェア構成は、図4と同様である。
図9に示すフローチャートを用いて、形状推定装置6の処理を説明する。なお、図5のフローチャートと同じ番号が付与されたステップは実施形態1のステップと同じであるので説明を省略する。
2 カメラ
110 形状推定用情報生成部
120 カメラ情報取得部
130 形状推定部
Claims (19)
- 複数の要素で構成される3次元空間の一部の領域である第1の領域に含まれる要素に対して、複数の撮像装置のうち当該要素に対応する領域を撮像する撮像装置を示す第1の情報を生成する生成手段と、
前記3次元空間の一部の領域であって前記第1の領域とは異なる第2の領域に含まれる要素で共通の第2の情報であって、前記第2の領域に対応する領域を撮像する撮像装置を示す第2の情報を設定する設定手段と、
前記生成手段によって前記第1の情報が生成され、前記設定手段によって前記第2の情報が設定された後に、前記複数の撮像装置による撮像に基づく複数の画像を取得し、前記複数の画像と、前記第1の情報と、前記第2の情報とに基づいて、被写体の3次元形状の推定を行う推定手段と、を有することを特徴とする形状推定装置。 - 前記第1の情報は、前記複数の撮像装置により撮像される撮像領域において前記第1の領域に含まれる前記要素に対応する領域を、前記複数の撮像装置のそれぞれの撮像装置の画角内に含むかどうかを示す情報であることを特徴とする請求項1に記載の形状推定装置。
- 前記複数の撮像装置により撮像される撮像領域において前記第2の領域に対応する領域を撮像する撮像装置の台数は、前記複数の撮像装置により撮像される撮像領域において前記第1の領域に対応する領域を撮像する撮像装置の台数より少ないことを特徴とする請求項1又は2に記載の形状推定装置。
- 前記複数の撮像装置により撮像される撮像領域において前記第2の領域に対応する領域の被写体の数は、前記複数の撮像装置により撮像される撮像領域において前記第1の領域に対応する領域の被写体の数より少ないことを特徴とする請求項1乃至3のいずれか1項に記載の形状推定装置。
- 前記複数の撮像装置により撮像される撮像領域において前記第2の領域に対応する領域の被写体は、ボールを含むことを特徴とする請求項1乃至4のいずれか1項に記載の形状推定装置。
- 前記複数の撮像装置により撮像される撮像領域において前記第1の領域に対応する領域の被写体は、人物とボールのうち少なくとも一方を含むことを特徴とする請求項1乃至5のいずれか1項に記載の形状推定装置。
- 前記推定手段は、前記複数の画像と、前記第1の情報と、前記第2の情報とに基づいて、前記3次元空間を構成する特定の要素を削除することで前記被写体の3次元形状を推定することを特徴とする請求項1乃至6のいずれか1項に記載の形状推定装置。
- 前記推定手段は、前記第1の領域を構成する複数の要素の少なくとも一部を、前記複数の画像と前記第1の情報とに基づいて削除し、かつ、前記第2の領域を構成する複数の要素の少なくとも一部を、前記複数の画像と前記第2の情報に基づいて削除することにより前記3次元形状を推定することを特徴とする請求項7に記載の形状推定装置。
- 前記複数の画像は、前記被写体の領域を示すシルエット画像であり、
前記推定手段は、前記第1の領域を構成する要素を、当該要素に対応する第1の情報と、複数のシルエット画像とに基づいて削除するかを判定し、削除すると判定された要素を削除することを特徴とする請求項8に記載の形状推定装置。 - 前記推定手段は、
前記第1の領域を構成する要素に対応する前記第1の情報に基づいて、前記複数の撮像装置により撮像される撮像領域における当該要素に対応する領域を画角内に含む撮像装置を特定し、
前記特定された撮像装置によって撮像された画像に基づくシルエット画像の被写体の領域に、当該要素の位置を当該シルエット画像の座標系に変換した位置が含まれるか否かに基づいて前記第1の領域を構成する要素を削除するか否かを判定することを特徴とする請求項9に記載の形状推定装置。 - 前記複数の画像は、前記被写体の領域を示すシルエット画像であり、
前記推定手段は、前記第2の領域を構成する要素を、当該要素に対応する前記第2の情報と、複数のシルエット画像とに基づいて削除することを特徴とする請求項8乃至10のいずれか1項に記載の形状推定装置。 - 前記推定手段は、
前記第2の領域を構成する要素に対応する前記第2の情報に基づいて、前記複数の撮像装置により撮像される撮像領域における当該要素に対応する領域を画角内に含む撮像装置を特定し、
特定された撮像装置に対応するシルエット画像の被写体の領域に、当該要素を当該シルエット画像の座標系に変換した位置が含まれるか否かに基づいて前記第2の領域を構成する要素を削除するか否かを判定することを特徴とする請求項11に記載の形状推定装置。 - 前記生成手段は、前記第1の領域に含まれる要素に対して、前記複数の撮像装置の状態に基づいて前記第1の情報を生成することを特徴とする請求項1乃至12のいずれか1項に記載の形状推定装置。
- 前記撮像装置の状態とは、前記撮像装置の位置、姿勢、および焦点距離のうち少なくとも一つであることを特徴とする請求項13に記載の形状推定装置。
- 前記設定手段は、記憶手段に記憶されている、前記第2の領域に含まれる前記被写体の3次元形状の推定に用いられる撮像装置を示す情報を、前記第2の情報として設定することを特徴とする請求項1乃至14のいずれか1項に記載の形状推定装置。
- 前記設定手段は、前記複数の撮像装置の画角に応じた第3の情報であって、前記第1の領域及び前記第2の領域に対して、前記複数の撮像装置のうち前記要素を削除するか否かを判定するために用いられる撮像装置を示す第3の情報を設定し、
前記推定手段は、前記複数の画像と、前記第1の情報と、前記第2の情報と、前記第3の情報とに基づいて、前記3次元空間を構成する特定の要素を削除することを特徴とする請求項1乃至15のいずれか1項に記載の形状推定装置。 - 前記第3の情報は、所定の画角以上の画角を有する撮像装置を示す情報と、前記所定の画角より小さい画角を有する撮像装置を示す情報とを有し、
前記推定手段は、
前記第1の領域を構成する要素を、前記第3の情報のうち前記所定の画角以上の画角を有する撮像装置を示す情報と、前記複数の画像と、前記第1の情報とに基づいて削除するか否かを判定し、
前記第2の領域を構成する要素を、前記第3の情報のうち前記所定の画角より小さい画角を有する撮像装置を示す情報と、前記複数の画像と、前記第2の情報とに基づいて削除するか否かを判定することを特徴とする請求項16に記載の形状推定装置。 - 複数の要素で構成される3次元空間の一部の領域である第1の領域に含まれる要素に対して、複数の撮像装置のうち当該要素に対応する領域を撮像する撮像装置を示す第1の情報を生成する生成工程と、
前記3次元空間の一部の領域であって前記第1の領域とは異なる第2の領域に含まれる要素で共通の第2の情報であって、前記第2の領域に対応する領域を撮像する撮像装置を示す第2の情報を設定する設定工程と、
前記生成工程によって前記第1の情報が生成され、前記設定工程によって前記第2の情報が設定された後に、前記複数の撮像装置による撮像に基づく複数の画像を取得し、前記複数の画像と、前記第1の情報と、前記第2の情報とに基づいて、被写体の3次元形状の推定を行う推定工程と、を有することを特徴とする形状推定方法。 - コンピュータを、請求項1乃至17のいずれか1項に記載の形状推定装置として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019172189A JP7418107B2 (ja) | 2019-09-20 | 2019-09-20 | 形状推定装置、形状推定方法及びプログラム |
EP20196766.8A EP3796260A1 (en) | 2019-09-20 | 2020-09-17 | Information processing apparatus, shape data generation method, and program |
US17/024,382 US11928831B2 (en) | 2019-09-20 | 2020-09-17 | Information processing apparatus, shape data generation method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019172189A JP7418107B2 (ja) | 2019-09-20 | 2019-09-20 | 形状推定装置、形状推定方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021052232A JP2021052232A (ja) | 2021-04-01 |
JP2021052232A5 JP2021052232A5 (ja) | 2022-09-30 |
JP7418107B2 true JP7418107B2 (ja) | 2024-01-19 |
Family
ID=75156501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019172189A Active JP7418107B2 (ja) | 2019-09-20 | 2019-09-20 | 形状推定装置、形状推定方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7418107B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070136034A1 (en) | 2005-12-08 | 2007-06-14 | Electronics And Telecommunications Research Institute | Method for modeling three dimensional shape of objects using level set solutions on partial differential equation derived from helmholtz reciprocity condition |
JP2018032938A (ja) | 2016-08-23 | 2018-03-01 | キヤノン株式会社 | 画像処理装置、画像処理の方法およびプログラム |
JP2018056971A (ja) | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | 撮像システム、画像処理装置、画像処理方法、及びプログラム |
JP2019016161A (ja) | 2017-07-06 | 2019-01-31 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP2019057248A (ja) | 2017-09-22 | 2019-04-11 | キヤノン株式会社 | 画像処理システム、画像処理装置、画像処理方法及びプログラム |
-
2019
- 2019-09-20 JP JP2019172189A patent/JP7418107B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070136034A1 (en) | 2005-12-08 | 2007-06-14 | Electronics And Telecommunications Research Institute | Method for modeling three dimensional shape of objects using level set solutions on partial differential equation derived from helmholtz reciprocity condition |
JP2018032938A (ja) | 2016-08-23 | 2018-03-01 | キヤノン株式会社 | 画像処理装置、画像処理の方法およびプログラム |
JP2018056971A (ja) | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | 撮像システム、画像処理装置、画像処理方法、及びプログラム |
JP2019016161A (ja) | 2017-07-06 | 2019-01-31 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP2019057248A (ja) | 2017-09-22 | 2019-04-11 | キヤノン株式会社 | 画像処理システム、画像処理装置、画像処理方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
末永 諒,Visual hullとMicrofacet billboardingを用いた自由視点サッカー視聴システムの検討,情報処理学会 研究報告 オーディオビジュアル複合情報処理(AVM) 2016-AVM-092 [online] ,日本,情報処理学会,2016年02月 |
Also Published As
Publication number | Publication date |
---|---|
JP2021052232A (ja) | 2021-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6425780B1 (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
JP7164968B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
JP4847203B2 (ja) | 情報処理方法、情報処理装置 | |
JP7182976B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7403967B2 (ja) | 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP2019003428A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2004030408A (ja) | 三次元画像表示装置及び表示方法 | |
JP7418107B2 (ja) | 形状推定装置、形状推定方法及びプログラム | |
JP2021128592A (ja) | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム | |
JP2002083286A (ja) | アバタ生成方法、装置及びそのプログラムを記録した記録媒体 | |
JP7265825B2 (ja) | 生成装置、生成方法およびプログラム | |
US11928831B2 (en) | Information processing apparatus, shape data generation method, and storage medium | |
JPH10198824A (ja) | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 | |
JP7500333B2 (ja) | 生成装置、生成方法、およびプログラム | |
JP7475831B2 (ja) | 形状データ生成装置、形状データ生成方法、及び、プログラム | |
WO2023145571A1 (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム | |
JP6759300B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20240169552A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US11935182B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7504614B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2023026244A (ja) | 画像生成装置および画像生成方法、プログラム | |
JP7353527B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
WO2023058545A1 (ja) | 情報処理装置および方法、プログラム | |
WO2023176103A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220916 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7418107 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |