JP6450287B2 - 学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラム - Google Patents
学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP6450287B2 JP6450287B2 JP2015182897A JP2015182897A JP6450287B2 JP 6450287 B2 JP6450287 B2 JP 6450287B2 JP 2015182897 A JP2015182897 A JP 2015182897A JP 2015182897 A JP2015182897 A JP 2015182897A JP 6450287 B2 JP6450287 B2 JP 6450287B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- learning
- image
- data
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
(手順1)コンプリーション処理の対象となる画像内の領域から、欠損領域と欠損周辺領域とを共に含む小領域(以下、「コンプリーション対象パッチ」という。)を選択する。欠損領域の輪郭上に存在し、かつ、周辺のエッジの強いパッチを選定する(例えば、非特許文献2参照)。
(手順2)手順1で選択されたコンプリーション対象パッチの欠損周辺領域の画素を基に、類似パッチを探索する。探索範囲としては、同一画像又は動画像内やストレージ上に保存されている静止画像や動画像である。
(手順3)手順2で探索した類似パッチを、手順1で選択されたコンプリーション対象パッチにコピーする。
以上の手順1〜3に示した処理が、コンプリーション対象領域であるマスクで示される欠損領域が無くなるまで繰り返し行なわれる。
図1は、本実施形態における画像処理システムの構成例を示す図である。図1に示すように、画像処理システム1は、入力された画像に対して複数種類の修復処理を行い複数の修復後画像を生成し、複数の修復後画像の画質を評価し、画質の評価の高い修復後画像を選択する画像評価装置10と、入力された学習データである画像から少なくとも一つの特徴量を抽出し、抽出した特徴量と画像の画質の評価との関係を示す学習モデルを取得する学習モデル取得装置20とを備える。
学習モデル取得装置20の構成について説明する。
学習モデル取得装置20は、画像入力部200と、画像入力部200に入力された画像データに基づいて学習データを生成する学習データ生成部201と、特徴量抽出部202と、学習リストDB(データベース)203と、評価順位学習部204とを備える。
学習データ生成部201は、原画像220にブラーを付加してノイズ付加画像222を生成する方法として、原画像220にローパスフィルタをかける処理によって生成する方法を用いる。学習データ生成部201は、垂直ずれを付加してノイズ付加画像223を生成する方法として、原画像220をx%拡大し、垂直方向にα1画素分ずらす処理によって生成する方法を用いる。
次に、本実施形態における学習モデル取得装置20の動作について説明する。図4は、本実施形態における学習モデル取得装置20の動作を示すフロー図である。画像入力部200において、原画像220及びマスクデータ221が入力される(ステップS200)。学習データ生成部201は、原画像220及びマスクデータ221に基づいて、図2、図3に示すような原画像220、ダミー画像226〜229、原画像220の評価順位及びダミー画像226〜229の評価順位を含む学習データ24を生成する(ステップS201)。
画像評価装置10の構成について説明する。
画像評価装置10は、入力部101と、修復情報格納部102と、修復処理部103、特徴量抽出部104と、学習モデルDB(データベース)105と、画像選択部106とを備える。入力部101は、コンプリーション処理(修復処理)を施す対象の画像(第3の画像データ)Iinと、欠損領域を指定するマスク画像Imask又はマスク領域を表す色情報Cとが入力される。画像Iinとして入力される画像は、静止画像や動画像(映像)である。入力部101は、マスク画像Imask又は色情報Cに基づいて画像Iinにおける欠損領域Dを求める。ここで、色情報CはRGB値(R=赤、G=緑、B=青)をもつ三次元ベクトルC(R、G、B)で表すことができ、例えばマゼンダの色を有する。色情報Cは、マスク領域として指定されている場合はC(R、G、B)=(255,0,255)のように表すことができる。
特徴量抽出部104は、輪郭δΩ上にある画素pを中心とした小領域のパッチP(p)毎に欠損領域Dに含まれ画素の色と、欠損領域Dに含まれない欠損領域D周辺の画素の色とに変化があるか否かを示す特徴量である色一貫性特徴量Fuを以下に説明する(式1)〜(式3)に基づいて算出する。まず、特徴量抽出部104は、以下の(式1)に基づいて第1色特徴量U1を算出する。
特徴量抽出部104は、小領域のパッチP(p)毎に欠損領域Dに含まれ画素のエッジ強度と、欠損領域Dに含まれない欠損領域D周辺の画素のエッジ強度とに変化があるか否かを示す特徴量であるエッジ一貫性特徴量Fvを以下に説明する(式4)〜(式5)に基づいて算出する。まず、特徴量抽出部104は、以下の(式4)に基づいて第1エッジ特徴量V1を算出する。
特徴量抽出部104は、輪郭δΩ上にある各画素pにおけるエッジ方向と、画素pに隣接する画素のエッジ方向とに変化があるか否かを示す特徴量であるエッジ連続性特徴量Fcを以下に示す方法で算出する。
次に、本実施形態における画像評価装置10の動作について説明する。図8は、本実施形態における画像評価装置10の動作を示すフロー図である。入力部101において、コンプリーション処理を施す対象の画像Iinと、欠損領域を指定するマスク画像Imaskとが入力される(ステップS101)。入力部101は、マスク画像Imaskに基づいて画像Iinにおける欠損領域Dを特定する(ステップS102)。
Claims (5)
- 第1の画像データと、前記第1の画像データにおいて欠損領域とする領域を特定するマスクデータとが入力される入力部と、
前記入力部に入力された前記第1の画像データ及び前記マスクデータに基づいて、前記欠損領域に対応する領域にノイズを付加して、模擬的に修復した欠損領域を有する第2の画像データを生成し、前記第1の画像データ及び前記第2の画像データと、前記第1の画像データ及び前記第2の画像データの評価順位とを含む学習データを生成する学習データ生成部と、
を備える学習データ生成装置。 - 第1の画像データと、前記第1の画像データにおいて欠損領域とする領域を特定するマスクデータとが入力される入力部と、
前記入力部に入力された前記第1の画像データ及び前記マスクデータに基づいて、前記欠損領域に対応する領域にノイズを付加して、模擬的に修復した欠損領域を有する第2の画像データを生成し、前記第1の画像データ及び前記第2の画像データと、前記第1の画像データ及び前記第2の画像データの評価順位とを含む学習データを生成する学習データ生成部と、
前記学習データ生成部が生成した前記学習データに基づいて、前記第1の画像データ及び前記第2の画像データから特徴量を抽出する第1の特徴量抽出部と、
前記第1の特徴量抽出部が抽出した前記第1の画像データ及び前記第2の画像データの前記特徴量と、前記学習データに含まれる前記第1の画像データ及び前記第2の画像データの前記評価順位とに基づいて、前記特徴量と前記評価順位との対応関係を示す学習モデルを生成する学習モデル生成部と、
を備える学習装置。 - 第1の画像データと、前記第1の画像データにおいて欠損領域とする領域を特定するマスクデータとが入力される入力ステップと、
前記入力ステップにおいて入力された前記第1の画像データ及び前記マスクデータに基づいて、前記欠損領域に対応する領域にノイズを付加して、模擬的に修復した欠損領域を有する第2の画像データを生成する生成ステップと、
前記第1の画像データ及び前記生成ステップで生成された前記第2の画像データと、前記第1の画像データ及び前記第2の画像データの評価順位とを含む学習データを生成する学習データ生成ステップと、
を有する学習データ生成方法。 - 第1の画像データと、前記第1の画像データにおいて欠損領域とする領域を特定するマスクデータとが入力される入力ステップと、
前記入力ステップにおいて入力された前記第1の画像データ及び前記マスクデータに基づいて、前記欠損領域に対応する領域にノイズを付加して、模擬的に修復した欠損領域を有する第2の画像データを生成する生成ステップと、
前記第1の画像データ及び前記生成ステップで生成された前記第2の画像データと、前記第1の画像データ及び前記第2の画像データの評価順位とを含む学習データを生成する学習データ生成ステップと、
前記学習データ生成ステップにおいて生成した前記学習データに基づいて、前記第1の画像データ及び前記第2の画像データから特徴量を抽出する第1の特徴量抽出ステップと、
前記第1の特徴量抽出ステップにおいて抽出した前記第1の画像データ及び前記第2の画像データの前記特徴量と、前記学習データに含まれる前記第1の画像データ及び前記第2の画像データの前記評価順位とに基づいて、前記特徴量と前記評価順位との対応関係を示す学習モデルを生成する学習モデル生成ステップと、
を有する学習方法。 - 請求項1に記載の前記学習データ生成装置又は請求項2に記載の前記学習装置のいずれか一つにおける各機能部を、コンピュータにより実現させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015182897A JP6450287B2 (ja) | 2015-09-16 | 2015-09-16 | 学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015182897A JP6450287B2 (ja) | 2015-09-16 | 2015-09-16 | 学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017058930A JP2017058930A (ja) | 2017-03-23 |
JP6450287B2 true JP6450287B2 (ja) | 2019-01-09 |
Family
ID=58390445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015182897A Active JP6450287B2 (ja) | 2015-09-16 | 2015-09-16 | 学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6450287B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11393069B2 (en) | 2018-03-28 | 2022-07-19 | Nec Corporation | Image processing apparatus, image processing method, and computer readable recording medium |
JP6392478B1 (ja) * | 2018-04-26 | 2018-09-19 | 株式会社 ディー・エヌ・エー | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
US20210365789A1 (en) * | 2018-05-10 | 2021-11-25 | Sony Corporation | Method and system for training machine learning system |
JP7301562B2 (ja) | 2019-03-14 | 2023-07-03 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、学習用データ作成装置および超音波診断装置 |
KR102277002B1 (ko) * | 2019-11-04 | 2021-07-13 | 에스케이텔레콤 주식회사 | 학습 데이터 마련 장치 및 이를 이용한 학습 데이터 마련 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009003598A (ja) * | 2007-06-20 | 2009-01-08 | Sony Corp | 画像生成装置および方法、学習装置および方法、並びにプログラム |
JP4413971B2 (ja) * | 2008-01-09 | 2010-02-10 | 日本電信電話株式会社 | 画像補間装置、画像補間方法、及び画像補間プログラム |
JP6033724B2 (ja) * | 2013-03-28 | 2016-11-30 | 株式会社日立製作所 | 画像表示システム、サーバ、および診断画像表示装置 |
-
2015
- 2015-09-16 JP JP2015182897A patent/JP6450287B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017058930A (ja) | 2017-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6450287B2 (ja) | 学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラム | |
US20080193006A1 (en) | User-Steered 3D Image Segmentation Methods | |
CN105303615A (zh) | 一种图像二维拼接与三维表面重建的组合方法 | |
JP2015045920A (ja) | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム | |
CN109636890B (zh) | 纹理融合方法和装置、电子设备、存储介质、产品 | |
JP6404794B2 (ja) | 画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム | |
TW201113831A (en) | Image inpainting method based on Bezier curves | |
JP2011048627A (ja) | マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム | |
JP6606242B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
Patel et al. | Improved exemplar based image inpainting using structure tensor | |
Huang et al. | A patch-based image inpainting based on structure consistence | |
US11302073B2 (en) | Method for texturing a 3D model | |
Trivedi | Image Enhancement and Restoration by Image Inpainting | |
JP6339964B2 (ja) | 画像生成装置及びコンピュータプログラム | |
JP6420750B2 (ja) | 合成情報テーブル作成装置、合成情報テーブル作成方法及びコンピュータプログラム | |
JP5495321B2 (ja) | 被写体3次元モデルを構築する方法およびプログラム | |
JP6843319B2 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
WO2012118459A1 (en) | An object based segmentation method | |
JP6243825B2 (ja) | 画像生成方法、画像生成装置及びコンピュータプログラム | |
Lai et al. | Surface-based background completion in 3D scene | |
JP2011018199A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2016206777A (ja) | 画像生成装置及びコンピュータプログラム | |
Dixit et al. | Exemplar-Based Image Inpainting Technique using Image Partitioning (Search Region Prior) Method | |
Patel et al. | Analysis of Exemplar based Image inpainting | |
Sairam et al. | A unified framework for geometry and exemplar based image inpainting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6450287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |