JP6361195B2 - 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 - Google Patents
画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP6361195B2 JP6361195B2 JP2014054211A JP2014054211A JP6361195B2 JP 6361195 B2 JP6361195 B2 JP 6361195B2 JP 2014054211 A JP2014054211 A JP 2014054211A JP 2014054211 A JP2014054211 A JP 2014054211A JP 6361195 B2 JP6361195 B2 JP 6361195B2
- Authority
- JP
- Japan
- Prior art keywords
- base
- image
- dictionary
- frequency
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 91
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 32
- 238000010276 construction Methods 0.000 claims description 31
- 239000000284 extract Substances 0.000 claims description 12
- 238000012805 post-processing Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 description 59
- 230000008569 process Effects 0.000 description 31
- 239000011159 matrix material Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Controls And Circuits For Display Device (AREA)
Description
[実施の形態1に係る機能構成]
図1を用いて、実施の形態1に係る画像処理装置の機能構成を説明する。図1は、実施の形態1に係る画像処理装置の機能構成例を示すブロック図である。本実施形態では、カラー画像から明度成分のみを抽出して処理する(1チャネルのみの処理)ことを前提として説明する。多数のチャネルを処理する場合には、以下で説明する処理と同様の処理を各チャネルに対して独立して行なえば良い。
次に、図6を用いて、実施の形態1に係る基底辞書学習部1000による処理の流れを説明する。図6は、実施の形態1に係る基底辞書学習部1000による処理の流れの例を示すフローチャートである。
次に、図7を用いて、実施の形態1に係る頻度マップ1410の作成処理の流れを説明する。図7は、実施の形態1に係る頻度マップ1410の作成処理の流れの例を示すフローチャートである。なお、図7では、使用する探索順序数をRとし、そのインデックスをrとする。また、使用する評価用中周波パッチ数をNとし、そのインデックスをnとする。また、元の基底辞書(基底辞書構築部1300によって構築された基底辞書)に含まれる基底数をMとし、そのインデックスをmとする。
次に、図8を用いて、実施の形態1に係る小規模基底辞書1430の作成処理の流れを説明する。図8は、実施の形態1に係る小規模基底辞書1430の作成処理の流れの例を示すフローチャートである。なお、図8では、新たな小規模基底辞書(基底辞書再構築部1400によって構築される基底辞書)のサイズをBとし、そのインデックスをbとする。
次に、図9を用いて、実施の形態1に係る超解像部2000による処理の流れを説明する。図9は、実施の形態1に係る超解像部2000による処理の流れの例を示すフローチャートである。
次に、図10を用いて、実施の形態1に係るコーディング部2500による処理の流れを説明する。図10は、実施の形態1に係るコーディング部2500による処理の流れの例を示すフローチャートである。なお、図10では、前処理部2400によって抽出された中周波パッチの総数をNとし、そのインデックスをnとする。また、スパースコーディング時に使用する基底数をRとし、そのインデックスをrとする。
画像処理装置100は、スパースコーディングに使用する基底辞書を、複数の小規模基底辞書に構築し直すことで、超解像処理時に要する低解像度パッチと基底辞書との照合回数を削減し、画像処理全体にかかる処理負荷を削減するとともに、処理時間を短縮することができる。
さて、これまで本発明に係る画像処理装置100の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、(1)小規模基底辞書の構築、(2)構成、(3)プログラム、について異なる実施の形態を説明する。
小規模基底辞書の構築については、再構築前の元の基底辞書を複数個事前に構築しておき、上記実施の形態1と同様の処理方法により、小規模基底辞書を構築しても良い。このとき、類似した基底の蓄積を回避することで、多種類の形状の基底ペアを小規模基底辞書に蓄積することができる。
また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。
また、画像処理装置100で実行される画像処理プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、画像処理装置100で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしても良い。また、画像処理装置100で実行される画像処理プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、画像処理装置100で実行される画像処理プログラムを、ROM等に予め組み込んで提供するように構成しても良い。
1000 基底辞書学習部
1100 画像入力部
1200 前処理部
1210 色形式変換部
1220 入力画像生成部
1230 低解像度画像生成部
1240 中周波画像生成部
1250 高周波画像生成部
1260 パッチ抽出部
1300 基底辞書構築部
1400 基底辞書再構築部
1500 基底辞書出力部
2000 超解像部
2100 画像入力部
2200 画像出力部
2300 基底辞書入力部
2400 前処理部
2500 コーディング部
2600 後処理部
2610 色形式逆変換部
2620 復元高周波画像生成部
2630 高解像度画像生成部
Claims (10)
- 高解像度画像を入力する第1画像入力部と、
前記高解像度画像の色形式及び解像度を変換し、特定の周波数成分を抽出して、任意のサイズの矩形領域を表すパッチを抽出する前処理部と、
抽出された前記パッチから、基底を蓄積した第1基底辞書を構築する辞書構築部と、
構築された前記第1基底辞書から、該第1基底辞書よりも小規模の複数の第2基底辞書を、前記第1基底辞書をスパースコーディングする際の探索順序ごとに新たに再構築する辞書再構築部と
を有し、
前記辞書再構築部は、前記探索順序ごとに、各基底の参照回数をカウントし、前記第2基底辞書に参照頻度が多い複数個の基底を蓄積する、
ことを特徴とする画像処理装置。 - 前記辞書再構築部は、
前記高解像度画像から抽出される中周波画像のパッチを、前記第1基底辞書に含まれる中周波基底を用いてスパースコーディングし、
前記スパースコーディング時に前記第1基底辞書から前記中周波基底が選択される順序を表す探索順序ごとに、前記第1基底辞書に含まれる全ての前記中周波基底が参照された回数をカウントし、
前記探索順序ごとに参照回数がより多い順に、複数個の前記中周波基底と、該中周波基底それぞれに対応する高周波基底とのペアを前記第1基底辞書から抽出し、前記第2基底辞書を新たに再構築する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記前処理部は、
前記高解像度画像の色形式を変換し、明度成分を抽出した明度成分画像を生成し、
前記明度成分画像を、実際に出現するノイズが考慮された関数を用いてぼかし、ダウンサンプリング関数により低解像度化させ、入力画像を生成し、
前記入力画像を補間により拡大し、前記高解像度画像と同一の解像度を有する低解像度画像を生成し、
前記高解像度画像から、高周波成分を抽出した画像を表す高周波画像を生成し、
前記低解像度画像から、高周波成分を抽出した画像を表す中周波画像を生成し、
前記高周波画像と、前記中周波画像との同位置から、ペアとなる前記パッチを複数個抽出する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 処理対象となる復元対象画像を入力する第2画像入力部をさらに有し、
前記前処理部は、前記復元対象画像に前処理を適用し、
前記辞書再構築部によって再構築された前記第2基底辞書を入力する基底辞書入力部と、
前記前処理部によって前記復元対象画像から抽出された前記中周波画像のパッチをスパースコーディングする際に、探索順序に応じて前記第2基底辞書を切り替えて使用するコーディング部と、
前記復元対象画像を復元する後処理部と、をさらに有する
ことを特徴とする請求項2または3に記載の画像処理装置。 - 前記コーディング部は、
前記復元対象画像から抽出された前記中周波画像のパッチをスパースコーディングする際に、前記探索順序に応じて前記第2基底辞書を切り替えて使用する、又は、前記探索順序が特定の範囲内に存在する場合に、同一の前記第2基底辞書を一定間隔で切り替えて使用する、ことにより中周波基底を探索する
ことを特徴とする請求項4に記載の画像処理装置。 - 前記辞書構築部は、
任意の複数の画像を用いて前記第1基底辞書を構築し、
前記辞書再構築部は、
前記第1基底辞書ごとに、任意の前記中周波画像のパッチを複数個スパースコーディングし、
前記第1基底辞書ごとに、前記スパースコーディングする際の探索順序において、前記中周波基底が参照された回数をカウントし、
前記探索順序ごとに、全ての前記第1基底辞書に含まれる全ての前記中周波基底のうち、参照頻度のより多い順に、複数の前記中周波基底と、該中周波基底それぞれに対応する高周波基底とのペアを前記第1基底辞書から抽出し、前記第2基底辞書を新たに再構築する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記辞書再構築部は、
既に再構築された前記中周波基底と、新たに再構築する前記中周波基底との距離が所定距離以上である場合、又は、類似度が所定類似度未満である場合に、前記中周波基底に対応する前記高周波基底を前記第1基底辞書から抽出し、前記第2基底辞書を新たに再構築する
ことを特徴とする請求項6に記載の画像処理装置。 - 高解像度画像を入力するステップと、
前記高解像度画像の色形式及び解像度を変換し、特定の周波数成分を抽出して、任意のサイズの矩形領域を表すパッチを抽出するステップと、
抽出された前記パッチから、基底を蓄積した第1基底辞書を構築するステップと、
構築された前記第1基底辞書から、該第1基底辞書よりも小規模の複数の第2基底辞書を、前記第1基底辞書をスパースコーディングする際の探索順序ごとに新たに再構築するステップと
を含み、
前記再構築するステップは、前記探索順序ごとに、各基底の参照回数をカウントし、前記第2基底辞書に参照頻度が多い複数個の基底を蓄積する、
ことを特徴とする画像処理方法。 - 高解像度画像を入力するステップと、
前記高解像度画像の色形式及び解像度を変換し、特定の周波数成分を抽出して、任意のサイズの矩形領域を表すパッチを抽出するステップと、
抽出された前記パッチから、基底を蓄積した第1基底辞書を構築するステップと、
構築された前記第1基底辞書から、該第1基底辞書よりも小規模の複数の第2基底辞書を、前記第1基底辞書をスパースコーディングする際の探索順序ごとに新たに再構築するステップと
をコンピュータに実行させ、
前記再構築するステップは、前記探索順序ごとに、各基底の参照回数をカウントし、前記第2基底辞書に参照頻度が多い複数個の基底を蓄積する、
画像処理プログラム。 - 請求項9に記載の画像処理プログラムを記憶したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014054211A JP6361195B2 (ja) | 2014-03-17 | 2014-03-17 | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014054211A JP6361195B2 (ja) | 2014-03-17 | 2014-03-17 | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015176500A JP2015176500A (ja) | 2015-10-05 |
JP6361195B2 true JP6361195B2 (ja) | 2018-07-25 |
Family
ID=54255604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014054211A Active JP6361195B2 (ja) | 2014-03-17 | 2014-03-17 | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6361195B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6962725B2 (ja) * | 2017-07-07 | 2021-11-05 | オリンパス株式会社 | 観察装置および観察方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9020273B2 (en) * | 2011-04-20 | 2015-04-28 | Panasonic Intellectual Property Corporation Of America | Image processing method, image processor, integrated circuit, and program |
US9324133B2 (en) * | 2012-01-04 | 2016-04-26 | Sharp Laboratories Of America, Inc. | Image content enhancement using a dictionary technique |
-
2014
- 2014-03-17 JP JP2014054211A patent/JP6361195B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015176500A (ja) | 2015-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102281017B1 (ko) | 이미지 처리를 위한 신경망 모델 훈련 방법, 장치 및 저장 매체 | |
JP6275260B2 (ja) | 入力低解像度(lr)画像を処理して出力高解像度(hr)画像にする方法 | |
US9865037B2 (en) | Method for upscaling an image and apparatus for upscaling an image | |
JP2021100247A (ja) | 歪んだドキュメント画像の矯正方法及び装置 | |
US9697583B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP6320649B1 (ja) | 機械学習装置及び画像認識装置 | |
US9436981B2 (en) | Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program | |
CN109447897B (zh) | 一种真实场景图像合成方法及系统 | |
CN105488759B (zh) | 一种基于局部回归模型的图像超分辨率重建方法 | |
Rajput et al. | A robust face super-resolution algorithm and its application in low-resolution face recognition system | |
CN114219890A (zh) | 一种三维重建方法、装置、设备及计算机存储介质 | |
CN114641790A (zh) | 红外图像的超分辨率的处理方法及系统 | |
Liu et al. | Multi-scale residual hierarchical dense networks for single image super-resolution | |
US20230260083A1 (en) | Computer-implemented method, computer program product and system for processing images | |
JP6361195B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
Wang et al. | Efficient super-resolution using mobilenetv3 | |
Moustafa et al. | Rapid real-time generation of super-resolution hyperspectral images through compressive sensing and GPU | |
JP5198500B2 (ja) | 信号処理装置及びプログラム | |
CN106557772B (zh) | 用于提取局部特征子的方法、装置及图像处理方法 | |
CN113902617B (zh) | 基于参考图像的超分辨率方法、装置、设备及介质 | |
Schirrmacher et al. | SR 2: Super-resolution with structure-aware reconstruction | |
JP2012043437A (ja) | 画像処理方法及び画像処理装置 | |
CN115439397A (zh) | 用于无卷积图像处理的方法和装置 | |
CN117952901B (zh) | 基于生成对抗网络的多源异构图像变化检测方法及装置 | |
JP2016103089A (ja) | 情報処理装置、信号処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180529 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180611 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6361195 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |