JP7026029B2 - 画像処理装置、方法及びプログラム - Google Patents
画像処理装置、方法及びプログラム Download PDFInfo
- Publication number
- JP7026029B2 JP7026029B2 JP2018161783A JP2018161783A JP7026029B2 JP 7026029 B2 JP7026029 B2 JP 7026029B2 JP 2018161783 A JP2018161783 A JP 2018161783A JP 2018161783 A JP2018161783 A JP 2018161783A JP 7026029 B2 JP7026029 B2 JP 7026029B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- points
- point cloud
- voxel
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
輪郭抽出部1では、図1に示す通り画像処理装置10への入力としての多視点画像Pi(i=1,2, …, N;Nは多視点画像のカメラ視点数)を受け取り、各画像Piに関して撮影されている対象の領域に相当する前景を背景から区別して抽出することにより、当該抽出した前景の境界として、撮影されている対象の輪郭を得て、離散化部2へと出力する。なお、入力される多視点画像は各カメラが共通のシーンを異なる配置から撮影することにより、各画像Piが共通の対象(何らかの立体対象)を含むようにしておく。
離散化部2では、各画像Piに関して輪郭抽出部1で得た輪郭から、当該輪郭を表現する離散的な複数の点を得て、点群算出部3へと出力する。ここで、当該離散的な複数の点のうち隣接するものの距離が予め設定しておく閾値以下となるように、当該離散的な複数の点を得るようにする。
点群算出部3は、画像処理装置10へ入力される多視点画像が撮影されている3次元空間内において予め設定しておくボクセル格子点のうち、多視点画像の全画像Pi(i=1,2, …, N)において撮影されている対象に相当する前景へと逆投影されるものを、対象のボクセル点群として算出して、当該ボクセル点群を境界抽出部4及び面形成部6へと出力する。
逆投影を行う。すなわち、予め設定しておくボクセルグリッド内の各格子点(x,y,z)に関して、多視点画像の各カメラCi(i=1,2, …, N)の画像Pi上に逆投影した際の位置(u,v)を求める。具体的には、コンピュータグラフィックス分野の数学的関係として周知のように、カメラCiの透視投影行列Ti 34(3行4列の行列)を用いて、以下の式により逆投影した位置を得ることができる。
逆投影した位置(u,v)が画像Piにおいて撮影されている対象に該当する前景内にあるか否かを判定し、全画像Piにおいて前景内にあると判定された場合、対応する位置(x,y,z)のボクセル格子点が対象のボクセル点群に属するものとして判定する。
境界抽出部4では、点群算出部3で得た多視点画像に撮影されている対象に相当するボクセル点群PGより、その境界∂PG(すなわち、対象の表面)に位置するとみなせる一連のペア点を抽出し、当該抽出したペア点を割合算出部5へと出力する。
割合算出部5では、境界抽出部4で境界∂PGに該当するものとして抽出した隣接ペア点(gin, gout)のそれぞれについて、当該ペア点を両端とする線分を多視点画像の各画像Piに逆投影した線分の、画像Piにおける前景への重複割合ratio(gin, gout)を算出し、当該算出した重複割合を面形成部6へと出力する。
画像P1のratio(v6,v5)=(線分p16-p165の長さ)÷(線分p16-p15の長さ)
画像P2のratio(v6,v5)=( 線分p26-p265の長さ)÷(線分p26-p25の長さ)
面形成部6では、ボクセル点群PGの境界∂PGにある各ペア点(gin, gout)につき割合算出部5で算出した重複割合の最小値αmin(gin, gout)を用いて、点群抽出部3で得たボクセル点群PGに関する表面モデルを出力する。具体的には、既存手法として前掲の非特許文献3等に開示されているマーチングキューブ法を利用するが、本発明においては特に、マーチングキューブ法で定義されているポリゴン生成パターンにおけるポリゴンのボクセル格子点からの距離を、重複割合の最小値αmin(gin, gout)に基づくものとして決定することにより、当該ポリゴンの集合として表面モデルを出力することができる。
・T(x,y,z)≦Constならば、点(x,y,z)は等値面Surf(Const)の内部にある。
・T(x,y,z)>Constならば、点(x,y,z)は等値面Surf(Const)の外部にある。
αmin(v1, v2)=(線分v1-v12の長さ)÷(線分v1-v2の長さ)
全く同様にして、交差位置v14及びv15は、以下の等式を満たす位置として線分v1-v4及び線分v1-v5上にそれぞれ決定される。
αmin(v1, v4)=(線分v1-v14の長さ)÷(線分v1-v4の長さ)
αmin(v1, v5)=(線分v1-v15の長さ)÷(線分v1-v5の長さ)
[1] 離散化部2においてサブピクセル単位で離散的な複数の点を取得することで、点群算出部3で近似的なビジュアル・ハルとして得る点群の精度を充分なものとすることができる。
[2] 点群算出部3に対して予め設定しておくボクセルグリッドの密度による影響が少ない。
[3] 点群算出部3の第二手順において図5のような手法を用いることで、画像上の幾何的な位置関係のみから対象の点群を得ることができる。
[4] 離散化部2で取得する離散的な点の密度を調整することで、画像処理装置10全体での計算時間を調整することができる。
[5] 表面モデルを得るために実質的に処理等が必要となるのは境界抽出部4で得るペア点(gin, gout)のみであり、その数は立体としての対象の全体(ボクセル点群PG)と比べると少ないものであるため、高速に表面モデルを得ることができる。
[6] 既存手法であるマーチングキューブ法を利用するが、一般的なスカラー場を対象としたマーチングキューブ法の場合のように閾値を設定したり交差位置を内挿で求めたりする必要はなく、正確な表面の位置を得ることができる。
Claims (6)
- 対象が前景として撮影されている多視点画像の全画像において前景に逆投影される3次元空間内のボクセル点群を算出する点群算出部と、
前記ボクセル点群より前記対象の境界に交差するペア点を求める境界抽出部と、
前記境界に交差するペア点の各々につき、当該ペア点を両端とする線分を多視点画像の各画像に逆投影した際の前景上への重複割合を求める割合算出部と、
前記ペア点に対して算出された重複割合を用いて前記ボクセル点群にマーチングキューブ法を適用することで前記対象の表面モデルを得る面形成部と、を備え、
前記多視点画像の各画像より前景と背景との境界を離散的な点としてサブピクセル単位で求める離散化部をさらに備え、当該離散的な点のうち隣接点の距離の閾値が調整可能とされることによって当該離散的な点の個数の多寡が設定可能とされており、
前記点群算出部では、各画像における前記離散的な点の配置に基づき、前記ボクセル点群を算出し、
前記点群算出部では、各画像における前記離散的な点を頂点として形成される多角形の向き付けされた各辺から見て、3次元空間内のボクセル格子点を当該画像に逆投影した位置が右または左のいずれであるかが全ての辺に関して共通である場合に、当該ボクセル格子点を前記ボクセル点群に属するものとして決定し、
前記面形成部では、各ペア点に関して、前記算出された多視点画像の各画像における重複割合のうち最小値を用いて前記対象の表面モデルを得ることを特徴とする画像処理装置。 - 前記境界抽出部は、ボクセル格子点として互いに隣接し、前記ボクセル点群の内外にある点として前記対象の境界に交差するペア点を求めることを特徴とする請求項1に記載の画像処理装置。
- 前記面形成部では、前記重複割合に基づいて、マーチングキューブ法におけるポリゴン生成パターンのポリゴン面のボクセル格子点からの距離を決定することで、前記表面モデルを得ることを特徴とする請求項1または2に記載の画像処理装置。
- 前記割合算出部では、多視点画像の各画像のうち、前記境界に交差するペア点の一方が当該画像の前景に逆投影されもう一方が背景に逆投影されるような画像に関して、前記重複割合を求めることを特徴とする請求項1ないし3のいずれかに記載の画像処理装置。
- 対象が前景として撮影されている多視点画像の全画像において前景に逆投影される3次元空間内のボクセル点群を算出する点群算出段階と、
前記ボクセル点群より前記対象の境界に交差するペア点を求める境界抽出段階と、
前記境界に交差するペア点の各々につき、当該ペア点を両端とする線分を多視点画像の各画像に逆投影した際の前景上への重複割合を求める割合算出段階と、
前記ペア点に対して算出された重複割合を用いて前記ボクセル点群にマーチングキューブ法を適用することで前記対象の表面モデルを得る面形成段階と、を備え、
前記多視点画像の各画像より前景と背景との境界を離散的な点としてサブピクセル単位で求める離散化段階をさらに備え、当該離散的な点のうち隣接点の距離の閾値が調整可能とされることによって当該離散的な点の個数の多寡が設定可能とされており、
前記点群算出段階では、各画像における前記離散的な点の配置に基づき、前記ボクセル点群を算出し、
前記点群算出段階では、各画像における前記離散的な点を頂点として形成される多角形の向き付けされた各辺から見て、3次元空間内のボクセル格子点を当該画像に逆投影した位置が右または左のいずれであるかが全ての辺に関して共通である場合に、当該ボクセル格子点を前記ボクセル点群に属するものとして決定し、
前記面形成段階では、各ペア点に関して、前記算出された多視点画像の各画像における重複割合のうち最小値を用いて前記対象の表面モデルを得ることを特徴とする画像処理方法。 - 対象が前景として撮影されている多視点画像の全画像において前景に逆投影される3次元空間内のボクセル点群を算出する点群算出部と、
前記ボクセル点群より前記対象の境界に交差するペア点を求める境界抽出部と、
前記境界に交差するペア点の各々につき、当該ペア点を両端とする線分を多視点画像の各画像に逆投影した際の前景上への重複割合を求める割合算出部と、
前記ペア点に対して算出された重複割合を用いて前記ボクセル点群にマーチングキューブ法を適用することで前記対象の表面モデルを得る面形成部と、を備え、
前記多視点画像の各画像より前景と背景との境界を離散的な点としてサブピクセル単位で求める離散化部をさらに備え、当該離散的な点のうち隣接点の距離の閾値が調整可能とされることによって当該離散的な点の個数の多寡が設定可能とされており、
前記点群算出部では、各画像における前記離散的な点の配置に基づき、前記ボクセル点群を算出し、
前記点群算出部では、各画像における前記離散的な点を頂点として形成される多角形の向き付けされた各辺から見て、3次元空間内のボクセル格子点を当該画像に逆投影した位置が右または左のいずれであるかが全ての辺に関して共通である場合に、当該ボクセル格子点を前記ボクセル点群に属するものとして決定し、
前記面形成部では、各ペア点に関して、前記算出された多視点画像の各画像における重複割合のうち最小値を用いて前記対象の表面モデルを得る画像処理装置としてコンピュータを機能させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018161783A JP7026029B2 (ja) | 2018-08-30 | 2018-08-30 | 画像処理装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018161783A JP7026029B2 (ja) | 2018-08-30 | 2018-08-30 | 画像処理装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020035216A JP2020035216A (ja) | 2020-03-05 |
JP7026029B2 true JP7026029B2 (ja) | 2022-02-25 |
Family
ID=69668251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018161783A Active JP7026029B2 (ja) | 2018-08-30 | 2018-08-30 | 画像処理装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7026029B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132900B (zh) * | 2020-09-29 | 2024-06-25 | 凌美芯(北京)科技有限责任公司 | 一种视觉重定位方法及系统 |
JP7429666B2 (ja) | 2021-03-12 | 2024-02-08 | Kddi株式会社 | 点群ノイズ除去装置及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005173866A (ja) | 2003-12-10 | 2005-06-30 | Matsushita Electric Ind Co Ltd | 3次元画像表示装置 |
-
2018
- 2018-08-30 JP JP2018161783A patent/JP7026029B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005173866A (ja) | 2003-12-10 | 2005-06-30 | Matsushita Electric Ind Co Ltd | 3次元画像表示装置 |
Non-Patent Citations (1)
Title |
---|
Chen Liang, Kwan-Yee K. Wong,Exact visual hull from marching cubes,Proceedings of the Third International Conference on Computer Vision Theory and Applications - Volume 1: VISAPP, (VISIGRAPP 2008),米国,2008年,https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.1034.494&rep=rep1&type=pdf |
Also Published As
Publication number | Publication date |
---|---|
JP2020035216A (ja) | 2020-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6791540B1 (en) | Image processing apparatus | |
US6999073B1 (en) | Method and system for generating fully-textured 3D | |
US20100156901A1 (en) | Method and apparatus for reconstructing 3d model | |
US11200737B2 (en) | Adaptive mesh non-regularized Booleans | |
JP5055214B2 (ja) | 画像処理装置、画像処理方法 | |
JP7063837B2 (ja) | 領域抽出装置及びプログラム | |
CN109979013B (zh) | 三维人脸贴图方法及终端设备 | |
EP1775685B1 (en) | Information processing device and program | |
JP7026029B2 (ja) | 画像処理装置、方法及びプログラム | |
CN115984476A (zh) | 一种基于纹理的三维模型裁切方法 | |
GB2597517A (en) | Method and system for generating a target image from plural multi-plane images | |
CN109461197B (zh) | 一种基于球面uv和重投影的云实时绘制优化方法 | |
JP6901885B2 (ja) | 前景抽出装置及びプログラム | |
JP2020098421A (ja) | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム | |
CN117501313A (zh) | 基于深度神经网络的毛发渲染系统 | |
JP7177020B2 (ja) | 画像処理装置、方法及びプログラム | |
KR100450839B1 (ko) | 3차원 영상에서의 에지 검출장치 및 방법 | |
PP et al. | Efficient 3D visual hull reconstruction based on marching cube algorithm | |
CN110738719A (zh) | 一种基于视距分层优化的Web3D模型渲染方法 | |
CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 | |
Xing et al. | Highly parallel algorithms for visual-perception-guided surface remeshing | |
CN113902887A (zh) | 三维可视边生成方法、系统、计算机及可读存储介质 | |
CN107481314B (zh) | 一种基于kd树的阴影体优化方法 | |
CN101931825B (zh) | 一种自由视角视频流中3d目标显示方法 | |
Chen et al. | A quality controllable multi-view object reconstruction method for 3D imaging systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7026029 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |