JP7418981B2 - 画像処理装置、制御方法、およびプログラム - Google Patents
画像処理装置、制御方法、およびプログラム Download PDFInfo
- Publication number
- JP7418981B2 JP7418981B2 JP2019117209A JP2019117209A JP7418981B2 JP 7418981 B2 JP7418981 B2 JP 7418981B2 JP 2019117209 A JP2019117209 A JP 2019117209A JP 2019117209 A JP2019117209 A JP 2019117209A JP 7418981 B2 JP7418981 B2 JP 7418981B2
- Authority
- JP
- Japan
- Prior art keywords
- interest
- dimensional model
- virtual viewpoint
- coordinates
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 79
- 238000000034 method Methods 0.000 title claims description 74
- 238000012937 correction Methods 0.000 claims description 50
- 238000002715 modification method Methods 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 29
- 230000004048 modification Effects 0.000 claims description 19
- 238000012986 modification Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Description
はじめに、仮想視点画像の概要を簡単に説明する。複数のカメラを異なる位置に設置して複数視点で同期撮像し、その撮像により得られた複数視点画像を用いて、実在しないカメラの視点から見た仮想視点画像を生成する技術がある。この技術によれば、例えば、陸上競技のハイライトシーンを様々な角度から視聴閲覧することが出来るため、通常の画像と比較してユーザに高臨場感を与えることができる。なお、仮想視点画像は、動画であっても、静止画であってもよい。以下の実施形態では、仮想視点画像は動画であるものとして説明を行う。
図1は、仮想視点画像を生成するシステム100の一例を示す図である。システム100は、競技場を撮像対象とした撮像対象フィールド101の周囲に配置されている撮像手段であるカメラ102A~102Lと、画像処理装置200とを有する。
図2は、本実施形態における画像処理装置200のハードウェア構成の一例を示す図である。本実施形態の画像処理装置200は、CPU201、ROM202、RAM203、補助記憶装置204、表示部205、操作部206、通信I/F207、及びバス208を有する。
CPU201は、画像処理装置200の全体を制御することで、図3に示す画像処理装置200の各部を実現する。なお、画像処理装置200は、CPU201とは異なる1又は複数の専用のハードウェアあるいはGPU(Graphics Processing Unit)を有してもよい。そしてCPU201による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、およびDSP(デジタルシグナルプロセッサ)などがある。
図3は本実施形態における画像処理装置200の機能構成を示す図である。本実施形態の画像処理装置200は、三次元モデル生成部301と、座標検出部302と、 座標修正部305と、修正座標決定部304と、修正方法指定部303と、仮想視点画像生成部306と、を有する。
図4は、陸上競技の投てき競技を撮像した撮像対象空間401に対して円筒座標系を適用して、注目対象物402の位置の座標404を表現する方法を説明するための図である。
図6は、注目対象物の移動方向の成分を修正する一連の処理を示すフローチャートである。図6のフローチャートで示される一連の処理は、CPUがROMに記憶されているプログラムコードをRAMに展開し実行することにより行われる。また、図6におけるステップの一部または全部の機能をASICや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「S」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。
実施形態2では、2つの仮想視点画像それぞれに存在する注目対象物の注目方向以外の座標成分を同じ固定値に変更し、重畳して表示する形態について説明する。本実施形態については、実施形態1からの差分を中心に説明する。特に明記しない部分については実施形態1と同じ構成および処理である。
実施形態3では、重畳する2つの仮想視点画像のうち、一方の仮想視点画像の注目対象物の注目方向の成分以外の成分の値を、他方の仮想視点画像の同一の成分の値に合わせるようにして注目対象物の座標を修正する形態を説明する。
実施形態2および実施形態3では、2つの仮想視点画像を重畳する例について説明したが、3以上の仮想視点画像を重畳するケースに対しても適用可能である。例えば、実施形態2においては、3つ目以降の仮想視点画像の注目対象物の座標についても他の仮想視点画像と同様に角度成分を固定値するように修正する。また、実施形態3においては、注目対象物Bの角度成分を基準として、3つ目以降の仮想視点画像に存在する注目対象物の角度成分を修正する。このように処理することで、3つ目以降の注目対象物の注目方向についても、視聴者が認識しやすい仮想視点画像を生成することが出来る。
102 カメラ
301 三次元モデル生成部
302 座標検出部
305 座標修正部
402 注目対象物
Claims (15)
- 撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる三次元モデルのデータを取得する取得手段と、
前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出手段と、
前記注目対象物の移動方向に関する複数の成分のうち少なくとも1つの成分が固定値になるように前記座標の値を修正する修正手段と、
を有することを特徴とする画像処理装置。 - 前記複数の成分は、原点からの距離成分、角度成分、および高さを示す成分であり、
前記修正手段は、前記角度成分が固定値になるように前記座標の値を修正する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記修正手段によって前記座標の値が修正された前記注目対象物の三次元モデルを少なくとも含む2以上の三次元モデルを重畳するモデル重畳手段をさらに有する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記修正手段によって前記座標の値が修正された前記注目対象物の三次元モデルを用いて仮想視点画像を生成する生成手段をさらに有する
ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 - 前記修正手段によって前記座標の値が修正された前記注目対象物の三次元モデルを用いて生成された仮想視点画像を少なくとも含む2以上の仮想視点画像を重畳する重畳手段をさらに有する
ことを特徴とする請求項4に記載の画像処理装置。 - 前記修正手段は、第1の三次元モデルに対応する第1の注目対象物の移動方向に関する複数の成分のうち第1の成分と、前記第1の三次元モデルと前記モデル重畳手段によって重畳される第2の三次元モデルに対応する第2の注目対象物の移動方向に関する前記第1の成分とが同じ固定値になるように、前記第1の注目対象物及び前記第2の注目対象物の座標の値を修正する、ことを特徴とする請求項3に記載の画像処理装置。
- 前記修正手段は、第1の仮想視点画像に含まれる第1の注目対象物の移動方向に関する複数の成分のうち第1の成分と、前記第1の仮想視点画像と前記重畳手段によって重畳される第2の仮想視点画像に含まれる第2の注目対象物の前記第1の成分とが同じ固定値になるように、前記第1の注目対象物及び前記第2の注目対象物の座標の値を修正する、ことを特徴とする請求項5に記載の画像処理装置。
- 前記座標の値の修正方法を指定する方法指定手段をさらに有し、
前記方法指定手段は、複数フレームにより構成される前記仮想視点画像に含まれる、前記複数フレームそれぞれの前記注目対象物の前記座標の値の修正方法については同一の修正方法を指定する
ことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 前記複数の成分は時間によって変化する成分であり、
前記修正手段は、それぞれの時間における前記注目対象物の前記座標の値を修正する
ことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。 - 撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる前記三次元モデルのデータを取得する取得ステップと、
前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出ステップと、
前記注目対象物の移動方向に関する複数の成分のうち少なくとも1つの成分が固定値になるように前記座標の値を修正する修正ステップと、
を含むことを特徴とする制御方法。 - コンピュータを、請求項1乃至9のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる三次元モデルのデータを取得する取得手段と、
前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出手段と、
前記注目対象物の移動方向に関する複数の成分のうち少なくとも1つの成分に関する前記座標の値を修正する修正手段と、
前記修正手段によって前記座標の値が修正された前記注目対象物の三次元モデルを少なくとも含む2以上の三次元モデルを重畳するモデル重畳手段とを有し、
前記修正手段は、第1の三次元モデルに対応する第1の注目対象物の移動方向に関する複数の成分のうち第1の成分に関する前記座標を、前記第1の三次元モデルと前記モデル重畳手段によって重畳される第2の三次元モデルに対応する第2の注目対象物の移動方向に関する前記第1の成分に基づいて、修正する
ことを特徴とする画像処理装置。 - 撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる三次元モデルのデータを取得する取得ステップと、
前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出ステップと、
前記注目対象物の移動方向に関する複数の成分のうち少なくとも1つの成分に関する前記座標の値を修正する修正ステップと、
前記修正ステップによって前記座標の値が修正された前記注目対象物の三次元モデルを少なくとも含む2以上の三次元モデルを重畳するモデル重畳ステップとを有し、
前記修正ステップでは、第1の三次元モデルに対応する第1の注目対象物の移動方向に関する複数の成分のうち第1の成分に関する前記座標を、前記第1の三次元モデルと前記モデル重畳ステップによって重畳される第2の三次元モデルに対応する第2の注目対象物の移動方向に関する前記第1の成分に基づいて、修正する
ことを特徴とする制御方法。 - 撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる三次元モデルのデータを取得する取得手段と、
前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出手段と、
前記注目対象物の移動方向に関する複数の成分のうち少なくとも1つの成分に関する前記座標の値を修正する修正手段と、
前記修正手段によって前記座標の値が修正された前記注目対象物の三次元モデルを用いて仮想視点画像を生成する生成手段と、
前記修正手段によって前記座標の値が修正された前記注目対象物の三次元モデルを用いて生成された仮想視点画像を少なくとも含む2以上の仮想視点画像を重畳する重畳手段とを有し、
前記修正手段は、第1の三次元モデルに対応する第1の注目対象物の移動方向に関する複数の成分のうち第1の成分に関する前記座標を、前記第1の三次元モデルと前記重畳手段によって重畳される第2の三次元モデルに対応する第2の注目対象物の移動方向に関する前記第1の成分に基づいて、修正する
ことを特徴とする画像処理装置。 - 撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる三次元モデルのデータを取得する取得ステップと、
前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出ステップと、
前記注目対象物の移動方向に関する複数の成分のうち少なくとも1つの成分に関する前記座標の値を修正する修正ステップと、
前記修正ステップによって前記座標の値が修正された前記注目対象物の三次元モデルを用いて仮想視点画像を生成する生成ステップと、
前記修正ステップによって前記座標の値が修正された前記注目対象物の三次元モデルを用いて生成された仮想視点画像を少なくとも含む2以上の仮想視点画像を重畳する重畳ステップとを有し、
前記修正ステップでは、第1の三次元モデルに対応する第1の注目対象物の移動方向に関する複数の成分のうち第1の成分に関する前記座標を、前記第1の三次元モデルと前記重畳ステップによって重畳される第2の三次元モデルに対応する第2の注目対象物の移動方向に関する前記第1の成分に基づいて、修正する
ことを特徴とする制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019117209A JP7418981B2 (ja) | 2019-06-25 | 2019-06-25 | 画像処理装置、制御方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019117209A JP7418981B2 (ja) | 2019-06-25 | 2019-06-25 | 画像処理装置、制御方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021005139A JP2021005139A (ja) | 2021-01-14 |
JP2021005139A5 JP2021005139A5 (ja) | 2022-07-04 |
JP7418981B2 true JP7418981B2 (ja) | 2024-01-22 |
Family
ID=74097816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019117209A Active JP7418981B2 (ja) | 2019-06-25 | 2019-06-25 | 画像処理装置、制御方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7418981B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018523868A (ja) | 2015-07-16 | 2018-08-23 | ブラスト モーション インコーポレイテッドBlast Motion Inc. | 統合されたセンサおよびビデオモーション解析方法 |
JP2019036791A (ja) | 2017-08-10 | 2019-03-07 | キヤノン株式会社 | 画像処理装置、画像処理システム、制御方法、及び、プログラム |
-
2019
- 2019-06-25 JP JP2019117209A patent/JP7418981B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018523868A (ja) | 2015-07-16 | 2018-08-23 | ブラスト モーション インコーポレイテッドBlast Motion Inc. | 統合されたセンサおよびビデオモーション解析方法 |
JP2019036791A (ja) | 2017-08-10 | 2019-03-07 | キヤノン株式会社 | 画像処理装置、画像処理システム、制御方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021005139A (ja) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6918455B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6641163B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
KR20190034092A (ko) | 화상처리 장치, 화상처리 방법, 화상처리 시스템 및 기억매체 | |
US11151787B2 (en) | Generation device, generation method and storage medium for three-dimensional model from object images and structure images | |
JP7250493B2 (ja) | 画像処理装置、三次元形状データの生成方法およびプログラム | |
JP7023696B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2019083402A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
US11798233B2 (en) | Generation device, generation method and storage medium for three-dimensional model that remove a portion of the three-dimensional model | |
CN108629799B (zh) | 一种实现增强现实的方法及设备 | |
JP2019003428A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP7403967B2 (ja) | 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム | |
WO2021161878A1 (ja) | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム | |
CN113763544A (zh) | 图像确定方法、装置、电子设备和计算机可读存储介质 | |
EP3723365A1 (en) | Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium | |
JP7418981B2 (ja) | 画像処理装置、制御方法、およびプログラム | |
JP2022016929A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN111466113B (zh) | 图像捕获的装置和方法 | |
JP2020187529A (ja) | 画像処理装置、画像処理システム、制御方法、および、プログラム | |
JP2011146762A (ja) | 立体モデル生成装置 | |
JP2019057070A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7240258B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
JP2022038176A (ja) | 制御装置、制御方法およびプログラム | |
JP2021149513A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6425534B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220624 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7418981 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |