JP7451291B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP7451291B2 JP7451291B2 JP2020085191A JP2020085191A JP7451291B2 JP 7451291 B2 JP7451291 B2 JP 7451291B2 JP 2020085191 A JP2020085191 A JP 2020085191A JP 2020085191 A JP2020085191 A JP 2020085191A JP 7451291 B2 JP7451291 B2 JP 7451291B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- image
- shadow
- background image
- shadow mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 97
- 238000003672 processing method Methods 0.000 title claims 10
- 238000003384 imaging method Methods 0.000 claims description 68
- 230000008859 change Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 37
- 238000000034 method Methods 0.000 description 36
- 230000010365 information processing Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 239000002131 composite material Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000000926 separation method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004040 coloring Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/12—Shadow map, environment map
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
実施形態1では、複数台の撮像装置から得られた撮像画像に基づき影マスク画像を生成し、その影マスク画像を用いて、仮想視点画像に前景の影を描画する処理を説明する。なお、本実施形態では、影マスク画像を二値画像として扱うが、これに限らず、多値画像、例えばグレースケール画像などでも良い。
図1(a)は、本実施形態に係る、画像処理システム10の全体構成の一例を示す図である。なお、仮想視点画像とは、3次元空間内に仮想的に配置した、実際には存在しない撮像装置の視点(仮想視点)からの見えを表す画像であり、ユーザ及び/又は選任のオペレータ等が自由に仮想視点の位置及び姿勢を操作することによって生成される画像である。この仮想視点画像は、自由視点画像や任意視点画像などとも呼ばれる。また、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。すなわち、画像処理システム10は、静止画及び動画の何れについても処理可能である。
図2は、画像処理装置102の、影マスク画像を用いた影描画処理に係る機能構成の一例を示す図である。
ここで、複数の影マスク画像を用いて影付き仮想視点背景画像を描画する方法を図4と図5を用いて説明する。図4は、影描画方法の処理手順を説明する図である。処理401~処理406は、影描画のために必要な処理項目を表している。処理項目への矢印は入力データを、処理項目から外向きへの矢印は出力データを表している。
図6は、本実施形態に係る、仮想視点画像への影マスク画像による影描画を制御する処理の流れを示すフローチャートである。図6に示すフローは、ROM113に格納された制御プログラムがRAM112に読み出され、CPU111がこれを実行することによって実現される。画像処理装置102が撮像システム101からの複数視点画像、及び情報処理装置103からの仮想視点パラメータを受信すると、図6のフローの実行が開始される。図6のフローの実行開始は、通信制御部1001による仮想視点前景画像生成部1002、仮想視点背景画像生成部1003、及び影マスク画像生成部1004への受信データの送信をトリガとしてもよい。
実施形態1では、1つの画像処理装置内で、複数視点画像から影マスク画像を生成し、その影マスク画像に基づいて、仮想視点画像に影を描画する処理を説明した。次に、画像処理装置が2つある状況下において、第1の画像処理装置で前景画像、背景画像、影マスク画像を生成し、第2の画像処理装置でそれら画像を用いて仮想視点画像を生成する態様を、実施形態2として説明する。なお、ハードウェア構成やソフトウェア構成において実施形態1と共通する部分は説明を省略ないしは簡略化し、以下では差異点を中心に説明を行うものとする。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1003 仮想視点背景画像生成部
1004 影マスク画像生成部
1005 影付き仮想視点背景画像生成部
1006 合成画像生成部
Claims (19)
- 複数の撮像装置で撮像して得られた複数の画像に基づく背景画像を取得する第1の取得手段と、
前記複数の撮像装置で撮像して得られた複数の画像に基づく複数の前景画像から影領域を抽出した複数の影マスク画像を取得する第2の取得手段と、
前記前景画像から前記影領域を除去することにより影無し前景画像を取得する第3の取得手段と、
仮想視点に関する情報を取得する第4の取得手段と、
前記仮想視点に関する情報および前記影無し前景画像に基づく仮想視点前景画像を生成する第1の生成手段と、
前記仮想視点に関する情報および前記背景画像に基づく仮想視点背景画像を生成する第2の生成手段と、
前記複数の影マスク画像に基づき、前記仮想視点背景画像に対して影を描画した影付き仮想視点背景画像を生成する第3の生成手段と、
前記仮想視点前景画像と前記影付き仮想視点背景画像とに基づき、仮想視点画像を生成する第4の生成手段と、
を備え、
前記影付き仮想視点背景画像における影の濃さは、前記複数の影マスク画像に基づき決定される、
ことを特徴とする画像処理装置。 - 前記第2の取得手段は、前記撮像装置の数に応じた数の前記複数の影マスク画像を取得し、
前記第3の生成手段は、前記仮想視点背景画像の対象画素の位置が前記複数の影マスク画像の影領域と一致する回数に基づいて、前記対象画素に影を描画する際の画素値を決定する、ことを特徴とする請求項1に記載の画像処理装置。 - 前記第3の生成手段は、前記仮想視点背景画像の画素値を、前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数に基づき変化させることにより前記影付き仮想視点背景画像を生成する、
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記第3の生成手段は、前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数が所定の閾値以上である画素について、当該画素の画素値を変更する、
ことを特徴とする請求項3に記載の画像処理装置。 - 前記第3の生成手段は、前記影付き仮想視点背景画像の前記影の濃さを、前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数に基づき設定する、
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記第3の生成手段は、前記影付き仮想視点背景画像の前記影の濃さを、前記複数の影マスク画像の画素値に基づき設定する、
ことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 前記第3の生成手段は、前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数は、前記仮想視点背景画像が生成された撮像画像と撮像時刻が同一の撮像画像から生成された前記複数の影マスク画像を対象として数えた回数である、
ことを特徴とする請求項3乃至5のいずれか1項に記載の画像処理装置。 - 前記複数の影マスク画像は、グレースケール画像である、
ことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 前記複数の影マスク画像は、二値画像である、
ことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 複数の撮像装置で撮像して得られた複数の画像に基づく背景画像を取得し、
前記複数の撮像装置で撮像して得られた複数の画像に基づく複数の前景画像から影領域を抽出した複数の影マスク画像を取得し、
前記前景画像から前記影領域を除去することにより影無し前景画像を取得し、
仮想視点に関する情報を取得し、
前記仮想視点に関する情報および前記影無し前景画像に基づく仮想視点前景画像を生成し、
前記仮想視点に関する情報および前記背景画像に基づく仮想視点背景画像を生成し、
前記複数の影マスク画像に基づき、前記仮想視点背景画像に対して影を描画した影付き仮想視点背景画像を生成し、
前記仮想視点前景画像と前記影付き仮想視点背景画像とに基づき、仮想視点画像を生成し、
前記影付き仮想視点背景画像における影の濃さは、前記複数の影マスク画像に基づき決定される、
ことを特徴とする画像処理方法。 - 前記撮像装置の数に応じた数の前記複数の影マスク画像を取得し、
前記仮想視点背景画像の対象画素の位置が前記複数の影マスク画像の影領域と一致する回数に基づいて、前記対象画素に影を描画する際の画素値を決定する、
ことを特徴とする請求項10に記載の画像処理方法。 - 前記仮想視点背景画像の画素値を、前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数に基づき変化させることにより前記影付き仮想視点背景画像を生成する、
ことを特徴とする請求項10又は11に記載の画像処理方法。 - 前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数が所定の閾値以上である画素について、当該画素の画素値を変更する、
ことを特徴とする請求項12に記載の画像処理方法。 - 前記影付き仮想視点背景画像の前記影の濃さを、前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数に基づき設定する、
ことを特徴とする請求項10乃至13のいずれか1項に記載の画像処理方法。 - 前記影付き仮想視点背景画像の前記影の濃さを、前記複数の影マスク画像の画素値に基づき設定する、
ことを特徴とする請求項10乃至14のいずれか1項に記載の画像処理方法。 - 前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数は、前記仮想視点背景画像が生成された撮像画像と撮像時刻が同一の撮像画像から生成された前記複数の影マスク画像を対象として数えた回数である、
ことを特徴とする請求項12乃至14のいずれか1項に記載の画像処理方法。 - 前記複数の影マスク画像は、グレースケール画像である、
ことを特徴とする請求項10乃至16のいずれか1項に記載の画像処理方法。 - 前記複数の影マスク画像は、二値画像である、
ことを特徴とする請求項10乃至16のいずれか1項に記載の画像処理方法。 - コンピュータを請求項1乃至9のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020085191A JP7451291B2 (ja) | 2020-05-14 | 2020-05-14 | 画像処理装置、画像処理方法およびプログラム |
US17/314,344 US11670043B2 (en) | 2020-05-14 | 2021-05-07 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020085191A JP7451291B2 (ja) | 2020-05-14 | 2020-05-14 | 画像処理装置、画像処理方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021179835A JP2021179835A (ja) | 2021-11-18 |
JP2021179835A5 JP2021179835A5 (ja) | 2023-05-22 |
JP7451291B2 true JP7451291B2 (ja) | 2024-03-18 |
Family
ID=78511535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020085191A Active JP7451291B2 (ja) | 2020-05-14 | 2020-05-14 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11670043B2 (ja) |
JP (1) | JP7451291B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110998669B (zh) * | 2017-08-08 | 2023-12-08 | 索尼公司 | 图像处理装置和方法 |
WO2021149526A1 (ja) * | 2020-01-23 | 2021-07-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2022032483A (ja) | 2020-08-12 | 2022-02-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US11941729B2 (en) | 2020-12-11 | 2024-03-26 | Canon Kabushiki Kaisha | Image processing apparatus, method for controlling image processing apparatus, and storage medium |
US11776200B2 (en) * | 2021-11-10 | 2023-10-03 | Ford Global Technologies, Llc | Image relighting |
US11756261B2 (en) * | 2021-11-10 | 2023-09-12 | Ford Global Technologies, Llc | Single-perspective image relighting |
EP4392930A1 (en) * | 2022-02-08 | 2024-07-03 | Samsung Electronics Co., Ltd. | Electronic device and controlling method thereof |
CN115134579B (zh) * | 2022-06-16 | 2024-08-23 | 抖音视界(北京)有限公司 | 一种虚拟视点的生成方法、装置、存储介质及电子设备 |
CN115908162B (zh) * | 2022-10-28 | 2023-07-04 | 中山职业技术学院 | 一种基于背景纹理识别的虚拟视点生成方法及系统 |
WO2024089875A1 (ja) * | 2022-10-28 | 2024-05-02 | 日本電信電話株式会社 | 配信制御システム、配信制御装置、配信制御方法、及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019031259A1 (ja) | 2017-08-08 | 2019-02-14 | ソニー株式会社 | 画像処理装置および方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7080613B2 (ja) | 2017-09-27 | 2022-06-06 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP7051457B2 (ja) | 2018-01-17 | 2022-04-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7170441B2 (ja) | 2018-07-12 | 2022-11-14 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7330683B2 (ja) | 2018-11-06 | 2023-08-22 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2020
- 2020-05-14 JP JP2020085191A patent/JP7451291B2/ja active Active
-
2021
- 2021-05-07 US US17/314,344 patent/US11670043B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019031259A1 (ja) | 2017-08-08 | 2019-02-14 | ソニー株式会社 | 画像処理装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
US11670043B2 (en) | 2023-06-06 |
JP2021179835A (ja) | 2021-11-18 |
US20210358204A1 (en) | 2021-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7451291B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN105513112B (zh) | 图像处理方法和装置 | |
CN104380338B (zh) | 信息处理器以及信息处理方法 | |
JP2014238731A (ja) | 画像処理装置、画像処理システム、および画像処理方法 | |
JP5916248B2 (ja) | 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体 | |
JP7023696B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
EP1033682A2 (en) | Image processing apparatus and image processing method | |
JP2002196855A (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
EP2089852A1 (en) | Methods and systems for color correction of 3d images | |
US11398007B2 (en) | Video generation device, video generation method, program, and data structure | |
KR20080069601A (ko) | 게임용 스테레오 비디오에 대하여 장치가 프로세스를실행할 수 있게 하는 정보를 저장하는 하나 이상의 컴퓨터판독가능 매체 | |
JP2013235537A (ja) | 画像作成装置、画像作成プログラム、及び記録媒体 | |
JP7353782B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11941729B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and storage medium | |
US20230024396A1 (en) | A method for capturing and displaying a video stream | |
JP2022032483A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
Franke et al. | Enhancing realism of mixed reality applications through real-time depth-imaging devices in x3d | |
Marques et al. | Deep Light Source Estimation for Mixed Reality. | |
JP2004030408A (ja) | 三次元画像表示装置及び表示方法 | |
JP3651943B2 (ja) | アイコン作成方法及び動画用のコマ作成方法 | |
JP2021077078A (ja) | 拡張仮想空間提供システム | |
JP2023153534A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP3230481B2 (ja) | テレビジョン画像の合成方式 | |
JP7520539B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4161613B2 (ja) | 画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230512 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230512 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240306 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7451291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |