JP7202087B2 - 映像処理装置 - Google Patents
映像処理装置 Download PDFInfo
- Publication number
- JP7202087B2 JP7202087B2 JP2018125276A JP2018125276A JP7202087B2 JP 7202087 B2 JP7202087 B2 JP 7202087B2 JP 2018125276 A JP2018125276 A JP 2018125276A JP 2018125276 A JP2018125276 A JP 2018125276A JP 7202087 B2 JP7202087 B2 JP 7202087B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- viewpoint
- unit
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 83
- 238000010801 machine learning Methods 0.000 claims description 53
- 238000012937 correction Methods 0.000 claims description 35
- 230000002093 peripheral effect Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 7
- 239000013589 supplement Substances 0.000 claims description 6
- 238000009499 grossing Methods 0.000 description 10
- 230000010354 integration Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
また、上記課題を解決するために本発明に係る映像処理装置は、機械学習機能を持ち、学習モデル及び/又は学習済みパラメータをもとに、作成された映像の不足映像情報を補完する補正処理を行う映像処理装置において、補正処理のための入力画像は、視点内挿映像と、前記視点内挿映像の周辺視点映像と、前後フレーム映像とをアップサンプリングし、ブロック化したm×mピクセルのブロック画像をn×n個配置した画像を、画素の並び替えにより、各ブロック画像の対応する位置のピクセルを集めたn×nピクセルの要素画像をm×m個配置した構成であることを特徴とする。
図1は、本発明の映像処理装置の一例のブロック図である。本発明の映像処理装置は、映像の編集装置であってもよいし、また、映像の受信装置(復号装置)であってもよい。本発明の映像処理装置は、入力された映像から、新たな映像を生成するとともに、機械学習を用いて映像の補正を行う。映像処理装置10は、入力部11、映像生成部12、及び表示部13を備える。
図4に、入力画像の別の例を示す。入力画像生成部106は、まず、アップサンプリングされてブロック分割された各映像から、対象視点の映像に関連する複数のブロック映像(ブロック画像)をタイル状に並べて、図4の左側の画像を構成する。この左側の画像は、図3(A)と同様であり、ここでは16×16ピクセル(pixel)のブロック画像が9個(3×3)配列され、48×48ピクセルの画像が構成される。まず、視点補間画像(視点内挿部103で作成された対象視点の映像をアップサンプリングしてブロック化したもの)を中央部に配置し、その周囲には、隣接画像1~4及び対象視点の映像フレームの前後フレームのブロック画像を配置する。例えば、隣接画像1~4は、視点補間画像の上下左右に隣接する視点のブロック画像であり、前後フレームの映像としては、例えば、1フレーム前の画像、1フレーム後の画像、3フレーム前の画像、3フレーム後の画像等である。これらは、周辺視点映像入力部101及び前後フレーム映像入力部102の出力をアップサンプリングしてブロック化したものから適宜選択して配置する。なお、隣接画像や前後フレーム画像をそれぞれ幾つ選び、どのように配置するか等は、適宜設定することができる。隣接画像としてデプス画像を利用してもよい。
図5に、第2の実施形態としての映像生成部12のブロック図を示す。ここでは、映像生成部12が、視点内挿映像を生成すると共に、インペイント処理で割り当てる画素値を機械学習結果によって得る映像生成部12の例を説明する。第2の実施形態では、学習方法は第1の実施形態と同じだが、インペイント部において、視点内挿時のオクリュージョン領域のみを、機械学習で得られた視点内挿補正結果の画素値で置き換えられることが異なる。
11 入力部
12 映像生成部
13 表示部
101 周辺視点映像入力部
102 前後フレーム映像入力部
103 視点内挿部
104 アップサンプル部
105 ブロック分割部
106 入力画像生成部
107 対象視点フレーム入力部
108 ブロック分割部
110 機械学習部
111 視点内挿補正部
112 ブロック統合部
113 インペイント部
114 平滑フィルタ
Claims (6)
- 機械学習機能を持ち、学習モデル及び/又は学習済みパラメータをもとに、作成された映像の不足映像情報を補完する補正処理を行う映像処理装置において、
補正処理のための入力画像は、視点内挿映像と、前記視点内挿映像の周辺視点映像と、前後フレーム映像とをアップサンプリングし、ブロック化したm×mピクセルのブロック画像を複数配置した構成であることを特徴とする、映像処理装置。 - 機械学習機能を持ち、学習モデル及び/又は学習済みパラメータをもとに、作成された映像の不足映像情報を補完する補正処理を行う映像処理装置において、
補正処理のための入力画像は、視点内挿映像と、前記視点内挿映像の周辺視点映像と、前後フレーム映像とをアップサンプリングし、ブロック化したm×mピクセルのブロック画像をn×n個配置した画像を、画素の並び替えにより、各ブロック画像の対応する位置のピクセルを集めたn×nピクセルの要素画像をm×m個配置した構成であることを特徴とする、映像処理装置。 - 請求項1又は2に記載の映像処理装置において、
学習モデル及び/又は学習済みパラメータを持つ補正部を備え、
前記補正部は、作成された映像とその関連映像を含む入力画像に基づいて、機械学習により補正処理を行うことを特徴とする、映像処理装置。 - 請求項1乃至3のいずれか一項に記載の映像処理装置において、
作成された映像は、多視点映像から作成された視点内挿映像であることを特徴とする、映像処理装置。 - 請求項1乃至4のいずれか一項に記載の映像処理装置において、
作成された映像をブロックごとに機械学習により補正処理を行い、補正されたブロック画像をブロック統合し、出力映像を生成することを特徴とする、映像処理装置。 - 機械学習機能を持ち、学習モデル及び/又は学習済みパラメータをもとに、作成された映像の不足映像情報を補完する補正処理を行う映像処理装置において、
作成された映像をブロックごとに機械学習により補正処理を行い、補正されたブロック画像をブロック統合した映像を、視点内挿処理で作成された映像のインペイント処理に利用することを特徴とする、映像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018125276A JP7202087B2 (ja) | 2018-06-29 | 2018-06-29 | 映像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018125276A JP7202087B2 (ja) | 2018-06-29 | 2018-06-29 | 映像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020005202A JP2020005202A (ja) | 2020-01-09 |
JP7202087B2 true JP7202087B2 (ja) | 2023-01-11 |
Family
ID=69100731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018125276A Active JP7202087B2 (ja) | 2018-06-29 | 2018-06-29 | 映像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7202087B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114902258A (zh) * | 2020-01-10 | 2022-08-12 | 住友电气工业株式会社 | 交流支持系统以及交流支持程序 |
JP7427467B2 (ja) * | 2020-02-14 | 2024-02-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム |
JP7049499B1 (ja) * | 2021-03-04 | 2022-04-06 | 株式会社Cygames | コンテンツ動画再生プログラム、コンテンツ動画再生装置、コンテンツ動画再生方法、コンテンツ動画データ生成プログラム、及びコンテンツ動画データ生成装置 |
JP6955734B1 (ja) * | 2021-03-08 | 2021-10-27 | 株式会社データグリッド | 画像データ生成方法、学習方法、画像データ生成システム、学習システムおよびプログラム |
WO2023095642A1 (ja) * | 2021-11-26 | 2023-06-01 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014515197A (ja) | 2011-01-13 | 2014-06-26 | サムスン エレクトロニクス カンパニー リミテッド | 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法 |
JP2017050866A (ja) | 2015-09-01 | 2017-03-09 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 映像処理方法及び装置 |
JP2017059193A (ja) | 2015-09-18 | 2017-03-23 | 貴博 安野 | 時系列画像補完装置、時系列画像生成方法、時系列画像補完装置用プログラム |
JP2018500708A (ja) | 2014-11-26 | 2018-01-11 | キュリアス アーイー オサケユイチア | ニューラルネットワーク構造とその方法 |
US20180165798A1 (en) | 2016-12-14 | 2018-06-14 | Adobe Systems Incorporated | Image hole filling that accounts for global structure and local texture |
CN108171663A (zh) | 2017-12-22 | 2018-06-15 | 哈尔滨工业大学 | 基于特征图最近邻替换的卷积神经网络的图像填充系统 |
-
2018
- 2018-06-29 JP JP2018125276A patent/JP7202087B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014515197A (ja) | 2011-01-13 | 2014-06-26 | サムスン エレクトロニクス カンパニー リミテッド | 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法 |
JP2018500708A (ja) | 2014-11-26 | 2018-01-11 | キュリアス アーイー オサケユイチア | ニューラルネットワーク構造とその方法 |
JP2017050866A (ja) | 2015-09-01 | 2017-03-09 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 映像処理方法及び装置 |
JP2017059193A (ja) | 2015-09-18 | 2017-03-23 | 貴博 安野 | 時系列画像補完装置、時系列画像生成方法、時系列画像補完装置用プログラム |
US20180165798A1 (en) | 2016-12-14 | 2018-06-14 | Adobe Systems Incorporated | Image hole filling that accounts for global structure and local texture |
CN108171663A (zh) | 2017-12-22 | 2018-06-15 | 哈尔滨工业大学 | 基于特征图最近邻替换的卷积神经网络的图像填充系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2020005202A (ja) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7202087B2 (ja) | 映像処理装置 | |
JP6021541B2 (ja) | 画像処理装置及び方法 | |
JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
US7321374B2 (en) | Method and device for the generation of 3-D images | |
US7126598B2 (en) | 3D image synthesis from depth encoded source view | |
JP5763184B2 (ja) | 3次元画像に対する視差の算出 | |
RU2421933C2 (ru) | Система и способ формирования и воспроизведения трехмерного видеоизображения | |
JP5291755B2 (ja) | 立体視画像生成方法および立体視画像生成システム | |
JP2000078611A (ja) | 立体映像受信装置及び立体映像システム | |
JP7105062B2 (ja) | 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法 | |
CN108141578A (zh) | 呈现相机 | |
JP7344988B2 (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
JP6128748B2 (ja) | 画像処理装置及び方法 | |
US10937462B2 (en) | Using sharding to generate virtual reality content | |
JP2012114910A (ja) | 遮蔽レイヤの拡張 | |
JP2019016230A (ja) | 学習装置、画像合成装置、学習方法、画像合成方法、及びプログラム | |
CN104284193A (zh) | 编码装置和编码方法、以及解码装置和解码方法 | |
JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
JP2020005201A (ja) | 送信装置及び受信装置 | |
JP4815004B2 (ja) | 多視点画像符号化装置 | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
JP6979290B2 (ja) | 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム | |
JP7389565B2 (ja) | 符号化装置、復号装置、及びプログラム | |
US10257488B2 (en) | View synthesis using low resolution depth maps | |
KR20210066825A (ko) | 전방향성 영상의 코딩 및 디코딩 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7202087 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |