JP6404794B2 - 画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム - Google Patents
画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP6404794B2 JP6404794B2 JP2015182896A JP2015182896A JP6404794B2 JP 6404794 B2 JP6404794 B2 JP 6404794B2 JP 2015182896 A JP2015182896 A JP 2015182896A JP 2015182896 A JP2015182896 A JP 2015182896A JP 6404794 B2 JP6404794 B2 JP 6404794B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- pixel
- input
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
(手順1)コンプリーション処理の対象となる画像内の領域から、欠損領域と欠損周辺領域とを共に含む小領域(以下、「コンプリーション対象パッチ」という。)を選択する。欠損領域の輪郭上に存在し、かつ、周辺のエッジの強いパッチを選定する(例えば、非特許文献2参照)。
(手順2)手順1で選択されたコンプリーション対象パッチの欠損周辺領域の画素を基に、類似パッチを探索する。探索範囲としては、同一画像又は動画像内やストレージ上に保存されている静止画像や動画像である。
(手順3)手順2で探索した類似パッチを、手順1で選択されたコンプリーション対象パッチにコピーする。
以上の手順1〜3に示した処理が、コンプリーション対象領域であるマスクで示される欠損領域が無くなるまで繰り返し行なわれる。
(第1の実施形態)
図1は、第1の実施形態における画像処理システムの構成例を示す図である。図1に示すように、画像処理システム1は、入力された画像に対して複数種類の修復処理を行い複数の修復後画像を生成し、複数の修復後画像の画質を評価し、画質の評価の高い修復後画像を選択する画像評価装置10と、入力された学習データである画像から少なくとも一つの特徴量を抽出し、抽出した特徴量と画像の画質の評価との関係を示す学習モデルを取得する学習モデル取得装置20とを備える。
画像評価装置10の構成について説明する。
画像評価装置10は、入力部101と、修復情報格納部102と、修復処理部103、特徴量抽出部104と、学習モデルDB(データベース)105と、画像選択部106とを備える。入力部101は、コンプリーション処理(修復処理)を施す対象の画像Iinと、欠損領域を指定するマスク画像Imask又はマスク領域を表す色情報Cとが入力される。画像Iinとして入力される画像は、静止画像や動画像(映像)である。入力部101は、マスク画像Imask又は色情報Cに基づいて画像Iinにおける欠損領域Dを求める。ここで、色情報CはRGB値(R=赤、G=緑、B=青)をもつ三次元ベクトルC(R、G、B)で表すことができ、例えばマゼンダの色を有する。色情報Cは、マスク領域として指定されている場合はC(R、G、B)=(255,0,255)のように表すことができる。
特徴量抽出部104は、輪郭δΩ上にある画素pを中心とした小領域のパッチP(p)毎に欠損領域Dに含まれ画素の色と、欠損領域Dに含まれない欠損領域D周辺の画素の色とに変化があるか否かを示す特徴量である色一貫性特徴量Fuを以下に説明する(式1)〜(式3)に基づいて算出する。まず、特徴量抽出部104は、以下の(式1)に基づいて第1色特徴量U1を算出する。
特徴量抽出部104は、小領域のパッチP(p)毎に欠損領域Dに含まれ画素のエッジ強度と、欠損領域Dに含まれない欠損領域D周辺の画素のエッジ強度とに変化があるか否かを示す特徴量であるエッジ一貫性特徴量Fvを以下に説明する(式4)〜(式5)に基づいて算出する。まず、特徴量抽出部104は、以下の(式4)に基づいて第1エッジ特徴量V1を算出する。
特徴量抽出部104は、輪郭δΩ上にある各画素pにおけるエッジ方向と、画素pに隣接する画素のエッジ方向とに変化があるか否かを示す特徴量であるエッジ連続性特徴量Fcを以下に示す方法で算出する。
学習モデル取得装置20の構成について説明する。
学習モデル取得装置20は、学習データ入力部201と、特徴量抽出部202と、学習リストDB(データベース)203と、評価順位学習部204とを備える。
次に、第1の実施形態における画像評価装置10の動作について説明する。図6は、第1の実施形態における画像評価装置10の動作を示すフロー図である。入力部101において、コンプリーション処理を施す対象の画像Iinと、欠損領域を指定するマスク画像Imaskとが入力される(ステップS101)。入力部101は、マスク画像Imaskに基づいて画像Iinにおける欠損領域Dを特定する(ステップS102)。
次に、第1の実施形態における学習モデル取得装置20の動作について説明する。図7は、第1の実施形態における学習モデル取得装置20の動作を示すフロー図である。学習データ入力部201において、学習モデルを生成するための図5に示すような学習データ24が入力される(ステップS201)。
第1の実施形態の画像評価装置10が備える特徴量抽出部104又は学習モデル取得装置20が備える特徴量抽出部202を、独立した特徴量抽出装置として構成することも可能である。
以下では、第1の実施形態の画像評価装置10が備える特徴量抽出部104を、独立した特徴量抽出装置11として構成する第2の実施形態における画像評価システム10Aについて説明する。
第2実施形態の特徴量抽出装置11は、図8に示すように、画像入力部111と、特徴量抽出部112と、特徴量出力部113とを備える。画像入力部111は、修復処理部103から修復後の画像Iout_1〜Iout_Mが入力され、入力された修復後の画像Iout_1〜Iout_Mを特徴量抽出部112へ出力する。特徴量抽出部112は、図1に示した特徴量抽出部104と同じ機能を有し、画像入力部111から入力される修復後の画像Iout_1〜Iout_Mから特徴量を抽出して、抽出した特徴量を特徴量出力部113へ出力する。特徴量出力部113は、特徴量抽出部112より入力された特徴量を、画像評価装置10aの画像選択部106へ出力する。
第1の実施形態の学習モデル取得装置20が備える特徴量抽出部202を、独立した特徴量抽出装置として構成することも可能である。
以下では、第1の実施形態の学習モデル取得装置20が備える特徴量抽出部202を、独立した特徴量抽出装置21として構成する第3の実施形態の学習モデル取得システム20Aについて説明する。
第3実施形態の特徴量抽出装置21は、図9に示すように、画像入力部211と、特徴量抽出部212と、特徴量出力部213とを備える。画像入力部211は、学習モデル取得装置20aの学習データ入力部201から学習データ24に含まれる修復後の画像データ244が入力され、入力された修復後の画像データ244を特徴量抽出部212へ出力する。特徴量抽出部212は、図1に示した特徴量抽出部202と同じ機能を有し、画像入力部211から入力される修復後の画像データ244から特徴量を抽出して、抽出した特徴量を特徴量出力部213へ出力する。特徴量出力部213は、特徴量抽出部212より入力された特徴量を、学習モデル取得装置20aの学習リストDB203へ出力する。
Claims (9)
- 欠損領域を修復した画像を入力する第1入力ステップと、
前記第1入力ステップにおいて入力された前記画像に対して、前記欠損領域の輪郭に対応する画素から特徴量を抽出する特徴量抽出ステップと、
を有し、
前記特徴量は、前記輪郭上にある画素の色と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素の色とに基づいて求める第1の特徴量と、前記輪郭上にある画素のエッジ強度と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素のエッジ強度とに基づいて求める第2の特徴量と、前記輪郭上にある画素におけるエッジ方向と、前記輪郭に対応する画素の周辺に位置し、かつ、前記欠損領域に含まれない画素のエッジ方向とに基づいて求める第3の特徴量とのいずれか一つを少なくとも含む画像情報取得方法。 - 欠損領域を有する第1の画像に対して複数の修復方法で修復した複数の第2の画像と、前記複数の第2の画像に対する画質評価の順位である評価順位とが入力される第2入力ステップと、
前記第2入力ステップにおいて入力された複数の前記第2の画像に対して、請求項1又は請求項2に記載の前記画像情報取得方法を適用して前記特徴量を抽出する抽出ステップと、
前記抽出ステップにおいて抽出した前記特徴量と、前記第2入力ステップにおいて入力された前記評価順位との対応関係を学習する学習ステップと、
を有する画像評価方法。 - 欠損領域を有する第1の画像に対して複数の修復方法で修復した複数の第3の画像が入力される第3入力ステップと、
前記第3入力ステップにおいて入力された複数の前記第3の画像に対して、請求項1又は請求項2に記載の前記画像情報取得方法を適用して前記特徴量を抽出する抽出ステップと、
前記抽出ステップにおいて抽出した前記特徴量に基づいて複数の前記第3の画像の中から画質評価の最も高い第4の画像を選択する画像選択ステップと、
を有する画像評価方法。 - 欠損領域を修復した画像が入力される第1入力部と、
前記第1入力部に入力された前記欠損領域を含む画像に対して、前記欠損領域の輪郭に対応する画素から特徴量を抽出する特徴量抽出部と、
を備え、
前記特徴量は、前記輪郭上にある画素の色と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素の色とに基づいて求める第1の特徴量と、前記輪郭上にある画素のエッジ強度と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素のエッジ強度とに基づいて求める第2の特徴量と、前記輪郭上にある画素におけるエッジ方向と、前記輪郭に対応する画素の周辺に位置し、かつ、前記欠損領域に含まれない画素のエッジ方向とに基づいて求める第3の特徴量とのいずれか一つを少なくとも含む画像情報取得装置。 - 欠損領域を有する第1の画像に対して複数の修復方法で修復した複数の第2の画像と、前記複数の第2の画像に対する画質評価の順位である評価順位とが入力される第2入力部と、
前記第2入力部に入力された複数の前記第2の画像を入力して前記特徴量を抽出する請求項5又は請求項6に記載の前記画像情報取得装置と、
抽出した前記特徴量と、前記第2入力部に入力された前記評価順位との対応関係を学習する学習処理部と、
を備える画像評価装置。 - 欠損領域を有する第1の画像に対して複数の修復方法で修復した複数の第3の画像が入力される第3入力部と、
前記第3入力部に入力された複数の前記第3の画像を入力して、前記特徴量を抽出する請求項5又は請求項6に記載の前記画像情報取得装置と、
抽出した前記特徴量に基づいて複数の前記第3の画像の中から画質評価の最も高い第4の画像を選択する画像選択部と、
を備える画像評価装置。 - 請求項5又は請求項6に記載の前記画像情報取得装置又は請求項7又は請求項8に記載の前記画像評価装置における各機能部を、コンピュータにより実現させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015182896A JP6404794B2 (ja) | 2015-09-16 | 2015-09-16 | 画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015182896A JP6404794B2 (ja) | 2015-09-16 | 2015-09-16 | 画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017058929A JP2017058929A (ja) | 2017-03-23 |
JP6404794B2 true JP6404794B2 (ja) | 2018-10-17 |
Family
ID=58390467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015182896A Active JP6404794B2 (ja) | 2015-09-16 | 2015-09-16 | 画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6404794B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112086048B (zh) * | 2020-08-31 | 2022-09-23 | 苏州迈为科技股份有限公司 | 一种oled屏幕暴亮点修复方法及装置 |
CN112950579B (zh) * | 2021-02-26 | 2024-05-31 | 北京金山云网络技术有限公司 | 图像质量评价方法、装置和电子设备 |
CN114199127B (zh) * | 2021-12-07 | 2024-02-02 | 长春汽车工业高等专科学校 | 基于机器视觉的汽车零件尺寸检测系统及方法 |
CN118397006B (zh) * | 2024-06-28 | 2024-09-10 | 瑞峰(天津)电子有限公司 | 基于图像识别的电路板焊接不良检测方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4413971B2 (ja) * | 2008-01-09 | 2010-02-10 | 日本電信電話株式会社 | 画像補間装置、画像補間方法、及び画像補間プログラム |
JP2014511530A (ja) * | 2011-02-24 | 2014-05-15 | スリーエム イノベイティブ プロパティズ カンパニー | ウェブベース材料内の不均一性の検出システム |
JPWO2013179560A1 (ja) * | 2012-05-30 | 2016-01-18 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
-
2015
- 2015-09-16 JP JP2015182896A patent/JP6404794B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017058929A (ja) | 2017-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6450287B2 (ja) | 学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラム | |
JP6404794B2 (ja) | 画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム | |
KR101899866B1 (ko) | 병변 경계의 오류 검출 장치 및 방법, 병변 경계의 오류 수정 장치 및 방법 및, 병변 경계의 오류 검사 장치 | |
US20160104053A1 (en) | Hierarchical Interlinked Multi-scale Convolutional Network for Image Parsing | |
US20080193006A1 (en) | User-Steered 3D Image Segmentation Methods | |
TW201029443A (en) | Method and device for generating a depth map | |
US10425634B2 (en) | 2D-to-3D video frame conversion | |
JP2010205067A (ja) | 領域抽出装置、領域抽出方法及び領域抽出プログラム | |
Zhang et al. | GAIN: Gradient augmented inpainting network for irregular holes | |
Mishra et al. | Automatic lesion border selection in dermoscopy images using morphology and color features | |
Alsalamah et al. | Medical image inpainting with RBF interpolation technique | |
TW201237803A (en) | Algorithm for compensating hollows generated after conversion of 2D images | |
JP2015148895A (ja) | 物体数分布推定方法 | |
US20100079448A1 (en) | 3D Depth Generation by Block-based Texel Density Analysis | |
JP6606242B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6416741B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
Patel et al. | Improved exemplar based image inpainting using structure tensor | |
Huang et al. | A patch-based image inpainting based on structure consistence | |
JP2011113177A (ja) | 被写体3次元モデルを構築する方法およびプログラム | |
US20200111253A1 (en) | Method for texturing a 3d model | |
CN104981841B (zh) | 3d图像数据分割的方法和装置 | |
JP6416740B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6339964B2 (ja) | 画像生成装置及びコンピュータプログラム | |
JP5495321B2 (ja) | 被写体3次元モデルを構築する方法およびプログラム | |
JP6243825B2 (ja) | 画像生成方法、画像生成装置及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180913 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6404794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |