JP7332326B2 - 映像効果装置及びプログラム - Google Patents
映像効果装置及びプログラム Download PDFInfo
- Publication number
- JP7332326B2 JP7332326B2 JP2019079248A JP2019079248A JP7332326B2 JP 7332326 B2 JP7332326 B2 JP 7332326B2 JP 2019079248 A JP2019079248 A JP 2019079248A JP 2019079248 A JP2019079248 A JP 2019079248A JP 7332326 B2 JP7332326 B2 JP 7332326B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- virtual viewpoint
- viewpoint
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Generation (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Description
まず、本発明の実施形態による映像効果装置について説明する。図1は、本発明の実施形態による映像効果装置の構成例を示すブロック図である。この映像効果装置1は、仮想視点設定部3、第一仮想視点映像生成部4、第二仮想視点映像生成部5、第一射影変換部6、第二射影変換部7及び映像切替・合成部(出力映像処理部)8を備えている。
次に、図1に示した第一仮想視点映像生成部4及び第二仮想視点映像生成部5について詳細に説明する。第一仮想視点映像生成部4及び第二仮想視点映像生成部5は、以下に示す第一例、第二例及び第三例にて実現することができる。また、第一仮想視点映像生成部4及び第二仮想視点映像生成部5は、前述の非特許文献1等の既知の手法にて実現することができる。
図4は、第一仮想視点映像生成部4の第一の構成例を示すブロック図である。この第一仮想視点映像生成部4-1は、第一カメラパラメータp1の視点から見た第一映像I1から、第一被写体と、第一被写体の影等の所定の映像特徴を有する第二被写体とをそれぞれ抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、カメラパラメータp(c)の示す視点から見た第一仮想視点映像J1を生成する。
次に、第一仮想視点映像生成部4の第二例について説明する。図5は、第一仮想視点映像生成部4の第二の構成例を示すブロック図である。この第一仮想視点映像生成部4-2は、第一カメラパラメータp1の視点から見た第一映像I1から、第一被写体と、第一被写体の影等の所定の映像特徴を有する第二被写体とをそれぞれ抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、カメラパラメータp(c)の示す視点から見た第一仮想視点映像J1を生成する。
次に、第一仮想視点映像生成部4の第三例について説明する。図6は、第一仮想視点映像生成部4の第三の構成例を示すブロック図である。この第一仮想視点映像生成部4-3は、第一カメラパラメータp1の視点から見た第一映像I1から第一被写体を抽出すると共に、第一映像I1から背景映像Bを抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、カメラパラメータp(c)の示す視点から見た第一仮想視点映像J1を生成する。
2 フェーダ
3 仮想視点設定部
4 第一仮想視点映像生成部
5 第二仮想視点映像生成部
6,14,18 第一射影変換部
7,16 第二射影変換部
8 映像切替・合成部(出力映像処理部)
10 背景生成部
11 第一被写体抽出部
12 第二被写体抽出部
13 合成部(背景合成部)
15 ビルボード設定部
17 合成部
c 制御信号
I1 第一映像
I2 第二映像
p1 第一カメラパラメータ
p2 第二カメラパラメータ
p(c),p1 ~,p2 ~ カメラパラメータ
I1 ~ 第一切出映像
I2 ~ 第二切出映像
J1 第一仮想視点映像
J2 第二仮想視点映像
J 出力映像
g1(c),g2(c),gu(c),gv(c) ゲイン(重み関数)
K,F キー映像
A 合成あり背景映像
B 背景映像
L 背景の仮想視点映像
L’ 第二被写体の仮想視点映像
M1~MD 前景の仮想視点映像(第一被写体の仮想視点映像)
N1~ND キーの仮想視点映像(第一キーの仮想視点映像)
Claims (5)
- 異なる視点で撮影された第一映像及び第二映像に基づいて、制御信号に応じた仮想的な視点の映像を出力映像として求める映像効果装置において、
外部から、前記第一映像の視点と前記第二映像の視点との間の視点位置を含む前記制御信号を入力し、前記制御信号に応じて前記仮想的な視点を設定する仮想視点設定部と、
前記第一映像の視点を前記仮想視点設定部により設定された前記仮想的な視点へ移動したときの第一仮想視点映像を、前記第一映像に基づいて生成する第一仮想視点映像生成部と、
前記第二映像の視点を前記仮想視点設定部により設定された前記仮想的な視点へ移動したときの第二仮想視点映像を、前記第二映像に基づいて生成する第二仮想視点映像生成部と、
前記第一映像を第一対象映像とし、前記第二映像を第二対象映像として、前記仮想視点設定部により設定された前記仮想的な視点に応じて、前記第一対象映像、前記第二対象映像、前記第一仮想視点映像生成部により生成された前記第一仮想視点映像、及び前記第二仮想視点映像生成部により生成された前記第二仮想視点映像に基づき、前記出力映像を求める出力映像処理部と、を備え、
前記第一仮想視点映像生成部は、
前記第一映像から被写体の領域と当該被写体以外の領域とを区別するキー映像を生成し、前記キー映像及び前記第一映像の視点を用いて、前記キー映像の示す前記被写体の領域に対してビルボードの面を設定し、前記面のパラメータをビルボードパラメータとして設定し、
前記第一映像の視点、前記仮想的な視点及び前記ビルボードパラメータを用いて、前記第一映像及び前記キー映像の射影変換を行い、前記被写体の仮想視点映像を生成すると共に、前記被写体の領域と前記被写体以外の領域とを区別するキーの仮想視点映像を生成し、
前記第一映像、前記第一映像の視点及び前記仮想的な視点を用いて、背景の仮想視点映像または前記被写体に関連する物の仮想視点映像を生成し、
前記キーの仮想視点映像に基づいて、前記被写体の仮想視点映像と、前記背景の仮想視点映像または前記被写体に関連する物の仮想視点映像とを合成し、前記第一仮想視点映像を生成し、
前記第二仮想視点映像生成部は、
前記第二映像から被写体の領域と当該被写体以外の領域とを区別するキー映像を生成し、前記キー映像及び前記第二映像の視点を用いて、前記キー映像の示す前記被写体の領域に対してビルボードの面を設定し、前記面のパラメータをビルボードパラメータとして設定し、
前記第二映像の視点、前記仮想的な視点及び前記ビルボードパラメータを用いて、前記第二映像及び前記キー映像の射影変換を行い、前記被写体の仮想視点映像を生成すると共に、前記被写体の領域と前記被写体以外の領域とを区別するキーの仮想視点映像を生成し、
前記第二映像、前記第二映像の視点及び前記仮想的な視点を用いて、背景の仮想視点映像または前記被写体に関連する物の仮想視点映像を生成し、
前記キーの仮想視点映像に基づいて、前記被写体の仮想視点映像と、前記背景の仮想視点映像または前記被写体に関連する物の仮想視点映像とを合成し、前記第二仮想視点映像を生成する、ことを特徴とする映像効果装置。 - 請求項1に記載の映像効果装置において、
さらに、前記第一映像が撮影された視点の姿勢及びズーム倍率のうちのいずれか一方または両方に基づいて、前記第一映像を射影変換し、射影変換後の映像から所定領域を切り出すことで、第一切出映像を生成する第一射影変換部と、
前記第二映像が撮影された視点の姿勢及びズーム倍率のうちのいずれか一方または両方に基づいて、前記第二映像を射影変換し、射影変換後の映像から所定領域を切り出すことで、第二切出映像を生成する第二射影変換部と、を備え、
前記出力映像処理部は、
前記第一射影変換部により生成された前記第一切出映像を前記第一対象映像とし、前記第二射影変換部により生成された前記第二切出映像を前記第二対象映像として、前記仮想的な視点に応じて、前記第一対象映像、前記第二対象映像、前記第一仮想視点映像及び前記第二仮想視点映像に基づき、前記出力映像を求める、ことを特徴とする映像効果装置。 - 請求項1または2に記載の映像効果装置において、
前記出力映像処理部は、
前記制御信号の値が当該制御信号の値域の最小値(または最大値)mである場合、前記第一対象映像を前記出力映像とし、
前記制御信号の値が前記値域の最大値(または最小値)Mである場合、前記第二対象映像を前記出力映像とし、
前記制御信号の値が前記最小値mよりも大きくかつ前記最大値Mよりも小さい場合(または前記最小値Mよりも大きくかつ前記最大値mよりも小さい場合)、前記第一仮想視点映像、前記第二仮想視点映像、または、前記第一仮想視点映像及び前記第二仮想視点映像の合成映像を前記出力映像として求める、ことを特徴とする映像効果装置。 - 請求項1または2に記載の映像効果装置において、
実数m,n,N,Mが式:m<n<N<M(またはM<N<n<m)を満たし、前記実数mが前記制御信号の値域の最小値(または最大値)であり、前記実数Mが前記制御信号の値域の最大値(または最小値)であるとして、
前記出力映像処理部は、
前記制御信号の値が前記実数mである場合、前記第一対象映像を前記出力映像とし、
前記制御信号の値が前記実数Mである場合、前記第二対象映像を前記出力映像とし、
前記制御信号の値が前記実数mよりも大きくかつ前記実数n以下である場合(または前記実数Mよりも大きくかつ前記実数N以下である場合)、前記第一仮想視点映像を前記出力映像とし、
前記制御信号の値が前記実数nよりも大きくかつ前記実数Nよりも小さい場合(前記実数Nよりも大きくかつ前記実数nよりも小さい場合)、前記第一仮想視点映像及び前記第二仮想視点映像を加重合成することで合成映像を生成し、当該合成映像を前記出力映像とし、
前記制御信号の値が前記実数N以上でありかつ前記実数Mよりも小さい場合(前記実数n以上でありかつ前記実数mよりも小さい場合)、前記第二仮想視点映像を前記出力映像として求める、ことを特徴とする映像効果装置。 - コンピュータを、請求項1から4までのいずれか一項に記載の映像効果装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019079248A JP7332326B2 (ja) | 2019-04-18 | 2019-04-18 | 映像効果装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019079248A JP7332326B2 (ja) | 2019-04-18 | 2019-04-18 | 映像効果装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020178235A JP2020178235A (ja) | 2020-10-29 |
JP7332326B2 true JP7332326B2 (ja) | 2023-08-23 |
Family
ID=72935818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019079248A Active JP7332326B2 (ja) | 2019-04-18 | 2019-04-18 | 映像効果装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7332326B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012073702A (ja) | 2010-09-28 | 2012-04-12 | Sharp Corp | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2018092580A (ja) | 2016-11-30 | 2018-06-14 | キヤノン株式会社 | 画像生成装置および方法 |
JP2018163467A (ja) | 2017-03-24 | 2018-10-18 | Kddi株式会社 | 自由視点画像の生成表示方法、装置およびプログラム |
JP2019045991A (ja) | 2017-08-30 | 2019-03-22 | キヤノン株式会社 | 生成装置、生成方法、及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3251774B2 (ja) * | 1994-06-10 | 2002-01-28 | ▲すすむ▼ 舘 | 3次元映像処理装置及び方法 |
-
2019
- 2019-04-18 JP JP2019079248A patent/JP7332326B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012073702A (ja) | 2010-09-28 | 2012-04-12 | Sharp Corp | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2018092580A (ja) | 2016-11-30 | 2018-06-14 | キヤノン株式会社 | 画像生成装置および方法 |
JP2018163467A (ja) | 2017-03-24 | 2018-10-18 | Kddi株式会社 | 自由視点画像の生成表示方法、装置およびプログラム |
JP2019045991A (ja) | 2017-08-30 | 2019-03-22 | キヤノン株式会社 | 生成装置、生成方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020178235A (ja) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11210838B2 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
US8922628B2 (en) | System and process for transforming two-dimensional images into three-dimensional images | |
WO2019135916A1 (en) | Motion blur simulation | |
JP6407460B1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US11488348B1 (en) | Computing virtual screen imagery based on a stage environment, camera position, and/or camera settings | |
JP4578566B2 (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
KR20110078175A (ko) | 영상 데이터 생성 방법 및 장치 | |
US11227428B2 (en) | Modification of a live-action video recording using volumetric scene reconstruction to replace a designated region | |
JP7489960B2 (ja) | 画像の合成のための方法及びデータ処理システム | |
JPWO2009051065A1 (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
US11676252B2 (en) | Image processing for reducing artifacts caused by removal of scene elements from images | |
CN113039576A (zh) | 图像增强系统和方法 | |
US11328437B2 (en) | Method for emulating defocus of sharp rendered images | |
Wang et al. | Perf: Panoramic neural radiance field from a single panorama | |
JP7352374B2 (ja) | 仮想視点変換装置及びプログラム | |
JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP7332326B2 (ja) | 映像効果装置及びプログラム | |
US11308586B2 (en) | Method for applying a vignette effect to rendered images | |
KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
JP7405702B2 (ja) | 仮想視点レンダリング装置、方法及びプログラム | |
US20220215512A1 (en) | Method for Emulating Defocus of Sharp Rendered Images | |
Wang et al. | A Video Stitching System of Underwater Image | |
KR102492163B1 (ko) | 가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법 및 장치 | |
US20230206471A1 (en) | Method and Apparatus for Processing Reference Inputs for Video Compositing with Replacement | |
JP2022103836A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7332326 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |