JPH10271323A - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JPH10271323A JPH10271323A JP9068831A JP6883197A JPH10271323A JP H10271323 A JPH10271323 A JP H10271323A JP 9068831 A JP9068831 A JP 9068831A JP 6883197 A JP6883197 A JP 6883197A JP H10271323 A JPH10271323 A JP H10271323A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- equation
- converted
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 abstract description 36
- 230000006870 function Effects 0.000 description 50
- 238000000034 method Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
を効率良く復元し、解像度変換された高画質な画像を迅
速に取得することができる画像処理方法を提供するこ
と。 【解決手段】 原画像格納部10から原画像を解像度変
換処理部12に読み込み、この解像度変換処理部12
が、アダマール変換及び多層パーセプトロンを適用し
て、低解像度のモノクロ画像を高解像度に解像度変換
し、解像度変換した変換画像を解像度変換画像格納部1
4に格納する。
Description
原画像の解像度を変換する際にサンプリング時に喪失し
た空間的高周波成分を復元する画像処理方法に関し、特
に、サンプリング時に失われた空間的高周波成分を効率
良く復元し、解像度変換された高画質な画像を迅速に取
得する画像処理方法に関する。
印刷等の分野では、種々の高品質な画像処理機能が求め
られており、その一つに解像度変換がある。この解像度
変換は、画像処理システムの一機能として重要であるだ
けでなく、例えばHDTV(高解像度テレビ)、NTS
C方式のテレビ、電子スチルカメラ、医療画像システム
及び印刷用画像システム等の解像度の異なるメディアを
結ぶために必要となる重要な機能である。
に画素を補間する補間技術が採用されており、例えばニ
アレスト・ネイバー(nearest neighbor)、バイリニア
(bilinear)、キュービック・コンボリューション(cu
bic convolution )等が知られている。
定義に基づいたsinc関数 sinc(x)=sin(x)/x による補間を基本概念とし、演算上の負荷を軽減するた
めにsinc関数を近似した補間関数を原画像のサンプ
ル点に対して畳み込むことによって、原画像のサンプル
点の間を補間し、画素数を増やすものである。
数として矩形関数を採用し、最も近いサンプル点の値を
補間値とする技術であり、バイリニアは、トライアング
ル関数を補間関数として採用し、1次元の場合であれば
近傍の2点から線形内挿される値を補間値とする技術で
ある。
は、3次元関数を補間関数として採用し、例えば1次元
の場合であれば近傍の4点から内挿される値を補間値と
する技術である。
変換の考え方は、変換対象である原画像が観測すなわち
スキャニングによりサンプリングされる前の理想的な原
画像がナイキスト(Nyquist )周波数の半分以下の周波
数(低周波成分)のみで構成される場合には正しくな
る。
高い周波数成分まで持っているが、サンプリングされた
観測画像にモアレやビートのような現象をなす折り返し
歪み(aliasing)の発生を防ぐために、ローパスフィル
タ(LPS)をかけて必要以上の高周波成分を取り除い
ている。このため、変換対象の原画像は、サンプリング
された時点で、すでに画像の鮮明さや細部の表現に関与
している空間的高周波成分を失っている。
に取り除かれた高周波成分は、原画像には不要である
が、解像度変換による高精細な変換画像を作成するため
には不可欠な要素である。
間技術では、サンプリング時に失った空間的高周波成分
を復元することができないため、かかる補間技術により
解像度変換した画像には、本来必要である空間的高周波
成分を欠くこととなる。
場合には、高周波の洩れが多いために歪みを起こしやす
く、その歪みがモザイクやエッジ部分のジャギーとして
表れることになる。また、バイリニアの場合には、通過
帯域の周波数特性が抑制されるためにLPF的な作用を
受けてスムージングされた画像となり、キュービック・
コンボリューションの場合には、高域を強調する周波数
特性であるために上記2つの技術に比べて鮮鋭に見える
ものの、ノイズ成分についても強調されることとなる。
像を解像度変換する場合には、ボケやスムージング又は
エッジのがたつきといった画質の劣化や、細部の表現が
不十分な画像をもたらすという問題が生じる。すなわ
ち、かかる補間処理は、あくまでもデータ量を増やすも
のにすぎず、情報量そのものを増やすものではないた
め、補間によって解像度変換された画像が示す内容は解
像度変換前の画像と同じであり、不明な部分が判別でき
るようになるわけではない。
ゲルヒベルグ−パポリス(Gerchberg-Papoulis)法に基
づいて、離散的コサイン変換(DCT)と2次元DCT
の逆変換(IDCT)とによる直交変換を繰り返し行う
ことにより、高画質な拡大処理を行う画像拡大方法が開
示されているが、かかる従来技術では、繰り返し回数が
画像の種類によって左右されるため、決められた回数で
最適な画像が得られるとは限らない。また、直交変換を
画像全体に対して行っているので、原画像のサイズが大
きくなると、計算時間が膨大なものとなってしまうとい
う問題がある。
て、サンプリング時に失われた空間的高周波成分を効率
良く復元し、解像度変換された高画質な画像を迅速に取
得することができる画像処理方法を提供することを目的
とする。
め、第1の発明は、サンプリングした原画像の解像度を
変換する際に、サンプリング時に喪失した空間的高周波
成分を復元する画像処理方法において、前記原画像に対
して直交変換の正変換を行って空間的低周波成分を抽出
し、抽出した空間的低周波成分をニューラルネットワー
クに入力して、サンプリング時に失われた原画像の空間
的高周波成分を復元し、復元した空間的高周波成分及び
前記空間的低周波成分に対して前記直交変換の逆変換を
行って解像度変換画像を取得することを特徴とする。
アダマール変換を用いることを特徴とする。
離散的コサイン変換を用いることを特徴とする。
トワークとして多層パーセプトロンを用いることを特徴
とする。
トワークとしてファジー・ニューラルネットワークを用
いることを特徴とする。
て図面を参照して説明する。まず最初に、本実施の形態
の原理について説明する。本実施の形態では、原画像の
サンプリング時に周波数帯域制限されたために失われた
原信号を復元する操作を行っているが、かかる復元操作
は、超解像(super-resolution)問題又は帯域拡張(ba
ndwidth extraporation )問題と呼ばれている。
ある周波数以上の高周波成分を観測することはできな
い。例えば、撮像系では入射開口の大きさが限られてい
るため、撮像系自体がLPF的な作用をして伝播するこ
とができた周波数成分の多くが失われることになり、解
像力が低下する。この解像力は、絞りサイズやレンズ等
によって変化する撮像系の伝達帯域幅に依存するため、
解像力の向上は、撮像系を通して得られる画像信号から
撮像系を通る前の原信号を求めるという帯域の拡張(超
解像問題)によってのみ本質的に可能となる。
数学的に定式化すれば、次のようになる。実空間領域に
おける原信号をf(x)とし、この原信号f(x)の周
波数成分をカットオフ周波数u0 以下に制限した実際に
撮像系を通った信号をg(x)とし、帯域制限を行う過
程をAで表すと、 g(x)=Af(x) …(1) となる。なお、この過程Aは、原信号を撮像系を通すこ
とにより実質的にLPFをかけたことに相当する。
変換を対応する大文字で表し、F(u)、G(u)と
し、さらに周波数領域における窓関数W(u)を W(u)=1 (|u|≦u0) …(2) W(u)=0 (|u|>u0) …(3) と定義する。この窓関数W(u)を作用させることは、
理想的なLPFをかけることに相当するため、 G(u)=W(u)F(u) …(4) が得られる。
(1)式に帯域制限された信号g(x)から原信号f
(x)を求めることを意味し、周波数領域においては上
記(4)式のG(u)からF(u)を求めることが該当
する。
限が何もなければ、F(u)の一部であるG(u)から
残りの部分を知ることができない。そこで、原信号f
(x)に対して、物体が限られた大きさであり、f
(x)はある領域内、例えば、−x0〜+x0の間にしか
存在せず、この領域外では0になるような空間的領域制
限を加えたときに原理的に無限定の解像力が得られると
する仮定を適用することにより、超解像問題を解くこと
が可能となる。
く帯域拡張方法として、ゲルヒベルグ−パポリスの反復
方法(以下「G・P反復法」と言う。)の一部を採用す
る。図2は、このG・P反復法の説明図であり、同図
(A)、(C)、(E)、(G)は周波数領域に、同図
(B)、(D)、(F)、(H)は実空間領域に対応す
る。図2(B)に示す原信号f(x)は、空間|x|≦
x0 に領域制限されており、物体が一定の大きさに限定
されていることに対応する。図2(A)は、かかる原信
号f(x)のフーリエ変換F(u)であり、このF
(u)は、原信号f(x)が領域制限されているので無
限に高い周波数成分まで含むことになる。図2(C)
は、上記F(u)の区間|u|≦u0 の部分G(u)だ
けが観測されることを表しているため、上記(2)式及
び(3)式のような窓関数を用いた(4)式が成立す
る。また、図2(D)は、G(u)を逆フーリエ変換し
たg(x)を示している。そして、超解像問題を解くこ
とは、上記G(u)又はg(x)からF(u)又はf
(x)を求めることに相当する。
なる。G(u)は、|u|≦u0 に帯域制限されている
ので、g(x)は無限に広がってしまう。しかし、原信
号f(x)は、区間|x|≦x0 に領域制限されている
ことが分かっているので、g(x)に対しても同じ領域
制限を行う。すなわち、g(x)の区間|x|≦x0の
部分だけ取り出してf1(x) とする。
式で表される空間領域における窓関数w(x)を使った
式で表すと、下記(7)式となる。これが図2(F)に
示すf1(x) である。 w(x)=1 (|x|≦x0) …(5) w(x)=0 (|x|>x0) …(6) f1(x)=w(x)g(x) …(7)
2(E)のF1(u) になる。f1(x)が領域制限さ
れているので、F1(u) は無限に広がっている。とこ
ろが、区間|u|≦u0 に対しては、正しい値G(u)
=F(u)はすでに分かっているので、F1(u) の中
の|u|≦u0 の部分をG(u)で置き換える。このよ
うにしてできた波形が図2(G)のG1(u) である。
この関係を式で表すと、次の(8)式〜(10)式とな
る。なお、上記G1(u)を逆フーリエ変換したものが
図2(H)のg1(u)である。 G1(u)=G(u)+(1−W(u))F1(u) …(8) G1(u)=G(u) (|u|≦u0) …(9) G1(u)=F1(u) (|u|>u0) …(10)
(G)、(H)までがG・P反復法の第1段階である。
その後、図2(H)のg1(x) から区間|x|≦x0
の部分だけ取り出して図2(F)のf1(x) に相当す
る図示しないf2(x) を求め、このf2(x) をフー
リエ変換して同図(E)に相当する図示しないF2
(u)を算出するという操作を無限回繰り返すことによ
り原信号を完全に復元することができる。以上、本実施
の形態の背景をなす基本原理について説明した。
について具体的に説明する。図1は、本実施の形態で用
いる画像処理装置の基本構成を示す図である。図1に示
すように、この画像処理装置は、原画像格納部10、解
像度変換処理部12及び解像度変換画像格納部14から
なり、原画像格納部10から原画像を解像度変換処理部
12に読み込み、該解像度変換処理部12において後述
する処理を行って変換画像を作成し、作成した変換画像
を解像度変換画像格納部14に格納する処理を行う。具
体的には、原画像格納部10及び解像度変換画像格納部
14は、磁気ディスク又は光ディスク等の2次記憶装置
であり、また解像度変換処理部12は、エンジニアリン
グワークステーション(EWS)である。なお、説明の
便宜上省略したが、解像度変換処理部12で作成した解
像度変換画像は、ディスプレイやプリンタ等の出力装置
に出力することも可能である。なお、本実施の形態で
は、アダマール変換と多層パーセプトロンを適用して、
低解像度のモノクロ画像を高解像度に解像度変換する場
合を示している。
行う処理手順について説明する。図3は、図1に示す解
像度変換処理部12が行う解像度変換処理の流れを模式
的に示す図であり、図4は、かかる処理の流れを示すフ
ローチャートである。なお、ここではN×N画素からな
る原画像の部分画像をm倍の解像度に変換して、mN×
mN画素の部分画像を作成する場合を示しており、図3
に示す括弧書きの番号は、図4に示すフローチャートの
ステップ番号に対応する。
る原画像から図3(A)に示す変換対象となるN×N画
素の部分画像を取り出し(ステップ1)、該部分画像に
対して2次元アダマール変換を行って、同図(B)に示
す周波数成分aに変換する(ステップ2)。なお、この
周波数成分aがアダマール変換領域における既知情報で
あり、空間的低周波成分に相当する。
数成分aについて、解像度変換に応じた高周波帯まで周
波数領域を拡張する(ステップ3)。このとき、後述す
るように、ニューラルネットワークを用いて高周波帯域
を復元し、拡張されたサイズがmN×mN画素となるよ
うにする。
シーケンスを2次元逆アダマール変換し、画像領域に戻
すことにより、mN×mN画素の解像度変換画像αを取
得する(ステップ4)。そして、原画像全体について変
換処理が終了していなければ(ステップ5)、変換画像
をメモリに書き込んだ後に次の部分画像の処理に移行
し、同様の処理を繰り返す。
ば、メモリに書き込んだ変換画像を出力し(ステップ
6)、変換画像格納部14への変換画像の書き込みや、
ディスプレイ上への表示等を行った後に、処理を終了す
る。上記一連の処理を行うことにより、画像を直交変換
によって正変換と逆変換する間に、ニューラルネットワ
ークによって失われた空間的高周波成分を復元すること
ができるので、高画質の解像度変換画像を作成すること
ができる。
マール変換と、その逆変換について説明する。N×Nの
アダマール行列をHNと表すと、最小のアダマール行列
は2次となり、
1)式の右辺の1にH2を対応させ、−1に−H2を対
応させることにより、
ル行列についても再帰的に生成される。このようにして
得られたN×Nのアダマール行列をN×N画素の部分画
像に畳み込むことによって変換が実行される。
のみを要素とするので、入力データの加減算だけで変換
を実行できる。このため、DTC等の他の変換技術と比
べて少ない演算量で高速に処理を実行できる。さらに、
このアダマール変換は直行行列であり、次式に示すよう
に逆行列がもとの行列と同じ行列であるという性質を有
するため、逆アダマール変換を行う際には、単純にアダ
マール変換を行えば足りる。
を用いた場合について説明する。このDCTを用いる場
合にも、基本的には図3及び図4に示すアダマール変換
を用いた場合と同様に処理することができ、2次元アダ
マール変換に代えて2次元DCTを適用し、2次元逆ア
ダマール変換に代えて2次元IDCTを行えば足りる。
具体的に説明する。離散関数i(x,y)、0≦u,v
≦N−1のN×N点の2次元DCTは、以下の(14)
式及び(15)式で定義される。 I(u,v)=DCT{i(x,y)} …(14)
(u)は、次の(16)式及び(17)式で定義され、
c(v)についても同様に定義される。なお、これらの
関数c(u)及びc(v)は、逆変換においても使用さ
れる。 c(u)=1/SQRT(2) (u=0) …(16) c(u)=1 (u=1,2,…,N−1) …(17) ただし、SQRTは、平方根を示すものとする。
次の(18)式及び(19)式で定義される。 I(x,y)=IDCT{i(u,v)} …(18)
Tを定義通り用いることもできるが、図3に示す画素数
mNを2のべき乗とした場合に高速演算アルゴリズムが
存在するため、実際にはこの高速演算アルゴリズムのD
CTを使用することができる。
ネットワークについて説明する。本実施の形態で採用す
るニューラルネットワークは、図5に示す多層パーセプ
トロンである。以下、具体的な動作について説明する。
本実施の形態で用いる多層パーセプトロンは、3層で4
入力64出力となっており、中間層のノード数は96個
となっている。この中間層のノード数は、サンプルの画
像データを用いて中間層のノード数を1から1個ずつ増
やしながら学習させたときに、最も精度良く学習できた
ときのノード数を用いるもので、96個に限定されるも
のではなく、任意のノード数としても構わない。
る入力層から出力層までの順方向の演算について説明す
る。まず最初に、入力層では2×2画素の部分画像デー
タの直交変換結果を入力データとして入力し、そのまま
出力する。
Xi は画素の位置情報を示す入力データである。
演算を行う。
Wijは入力層の各ノードと中間層の各ノードとの結合の
度合いを示す重みである。また、θijは中間層の各ノー
ドにおけるオフセット値であり、f(x)は、非線形な
単調増加関数であり、例えば図6に示すシグモイド関数
は次式で表される。
な演算を行う。
ijは入力層の各ノードと中間層の各ノードとの結合を示
す重みである。またθ2kは出力層のノードにおけるオフ
セット値である。以上が順方向の演算である。
説明する。学習は、階層型ニューラルネットワークで一
般的に用いられているバックプロパゲーション法を用い
て行う。この学習の目的は、最適な入出力関係を得るこ
とにある。このため、教師データを目標としてネットワ
ーク内の結合の重みを微調整する。いかなる微調整を行
うかを次に説明する。
の2乗誤差を計算する。
り、Tk は教師データである。そして、このEk を小さ
くすることが学習の目標であるため、まずEkをOk で
偏微分することにより、Ok によるEk への影響を求め
る。
の影響を求める。
用いて微調整する。
〜0.25程度の値を用いる。また、tは学習回数を表し、
現在の結合の重みに微調整する値を加えて、次回の演算
/学習時の重みとする。
行い、重みを修正していくことにより誤差はある程度ま
で小さくなる。そして、誤差の値が誤差の許容値以下と
なった時点で学習を終了する。なお、この誤差の許容値
はあらかじめ定められるものであり、本実施の形態では
誤差が5パーセント以下になった時点で学習を終了する
こととしている。また、かかる学習はあらかじめなされ
ており、実際に変換処理を行う際には、学習後の多層パ
ーセプトロンを用いて高周波帯域の復元を行う。この学
習に用いるデータとしては、例えば明るい自然画像、暗
い自然画像、文字画像及び網点模様などの複数種類の画
像データから、8×8画素の部分画像を色々と抜き出
し、その部分画像を直交変換したデータを用いる。
は、直交変換された8×8マトリクスのうち、左上から
2×2マトリクス分が入力データであり、8×8マトリ
クスが出力値の目標となる教師データである。このよう
なデータを500種類ほど用いて学習させる。
ジー・ニューラルネットワークを用いた場合について説
明する。かかるファジー・ニューラルネットワークを用
いる場合には、まず、図8に示す4入力64出力のファ
ジー・ニューラルネットワークを構成する。4個の入力
値は、2×2画素の部分画像を直交変換した結果を入力
し、64個の出力値は解像度変換処理された画像を直交
変換した結果が出力される。この4入力64出力のファ
ジー・ニューラルネットワークは、入力層、メンバーシ
ップ層前半部、メンバーシップ層後半部、ルール層及び
出力層の5層からなり、2層目と3層目を合わせてメン
バーシップ層を構築する。
のようにして行う。まず、入力層は、入力項目ごとに2
つのユニット33及び34、ユニット35及び36、ユ
ニット37及び38、ユニット39及び40で構成し、
ユニット34、36、38及び40にそれぞれ定数1を
入力し、ユニット33に入力値X1(G11)を入力し、
ユニット35に入力値X2 (G12)を入力し、ユニット
37に入力値X3 (G21)を入力し、ユニット39に入
力値X4 (G22)を入力する。
に示すように、各入力項目ごとにBig、Middle、Smallの
メンバーシップ関数を構成するように、前半部で各4つ
のユニット41〜44、45〜48、49〜52、53
〜56を構成し、ユニット41〜44で定数1と入力値
X1 とを結合させ、ユニット45〜48で定数1と入力
値X2 とを結合させ、ユニット49〜52で定数1と入
力値X3 とを結合させ、ユニット53〜56で定数1と
入力値X4 とを結合させる。
〜59、60〜62、63〜65、66〜68を構成
し、前半部の1つ又は2つのユニットを結合させる。1
つのユニットを結合させる部分は、ユニット57、6
0、63、66でBig を構成する部分となり、ユニット
59、62、65、68でSmall を構成する部分とな
る。2つのユニットを結合する部分は、ユニット58、
61、64、67でMiddleを構成する部分となる。これ
は、1入力項目毎に必ず構成されるユニットであり、入
力項目毎のユニット数は固定である(前半部4つ、後半
部3つ)。
のユニット57に対して入力値X2側のユニット60〜
62、入力値X3 側のユニット63〜65、入力値X
4 側のユニット66〜68のそれぞれと論理積を取るよ
うにユニット78〜131を構成する。
32〜195の各々でルール層からの出力を全て結合
し、出力値yn (n=1〜64)として出力するように
構成する。yn と直交変換後のマトリクスFとの関係は
図10に示すようになる。
ユニット間の結合部分には、全てその結合毎に重みがあ
る。ます、入力層とメンバーシップ層前半部との結合部
分では、メンバーシップ関数のセンター値(メンバーシ
ップ関数の出力値が0.5 となるときの入力値)が重みW
c11 〜Wc14 、Wc21 〜Wc24 、Wc31 〜Wc34 、Wc4
1 〜Wc44 となる。
たように3種類あるが、それぞれのメンバーシップ関数
のセンター値は各重みと一致している。例えば、入力値
X1のBig を示すメンバーシップ関数のセンター値の重
みはWc11 であり、Middleを示すメンバーシップ関数の
センター値の重みはWc12 とWc13 であり、Small を示
すメンバーシップ関数のセンター値の重みはWc14 であ
る。Middleは、2つのメンバーシップ関数の論理積の形
となっているので、2つのセンター値を持つ。
との結合部分では、メンバーシップ関数の傾きが重みW
g11 〜Wg14 、Wg21 〜Wg24 、Wg31 〜Wg34 及びW
g41〜Wg44 となっている。これについても、センター
値と同様にそれぞれのメンバーシップ関数の傾きが各重
みと一致している。例えば、入力値X1 のBig を示すメ
ンバーシップ関数の傾きの重みはWg11 であり、Middle
を示すメンバーシップ関数の傾きの重みはWg12 とWg1
3 であり、Small を示すメンバーシップ関数の傾きの重
みはWg14 である。この場合も、Middleは、2つのメン
バーシップ関数の論理積の形となっているので、2つの
傾きを持つ。
は、エキスパートから得た知識が重みWf1〜Wf54 とな
っている。ここでは、ルールの重みは0.5 に初期設定す
るものとし、これ以外の結合の重みは1で固定されてい
る。
用いて説明する。ただし、入力層の出力値については入
力値と同一であるのでその説明を省略する。メンバーシ
ップ層は、次式に示すように2層目でメンバーシップ関
数のセンター値Wc11 〜Wc14 、Wc21 〜Wc24 、Wc3
1 〜Wc34 及びWc41 〜Wc44 を加える。
数のセンター値、Hは2層目の出力値である。また、i
は各入力項目の数であり、jはBig のときに1、Middle
のときに2又は3、Small のときに4となる。
式に示すシグモイド関数の原点の位置をメンバーシップ
関数のセンター値の位置に合わせることである。
傾きを掛けてシグモイド関数に代入することにより、そ
の入力値の各領域でのメンバーシップの出力値を得るこ
とになる。
(x)はシグモイド関数、Mはメンバーシップ関数の出
力値、min{f(x1 ),f(x2 )}はf(x1)
とf(x2) の論理積である。また、kはメンバーシッ
プ層前半部のユニット番号であり、θはBig のときに
1、Middleのときに2、Small のときに3となる。ま
た、上式では、論理積を計算することにより、min関
数の括弧の中の2つのシグモイド関数のうち、小さい方
の値を選択することになる。
いてANDルールの計算を行う。これは、2つの入力項
目の中で、それぞれ3つの領域(Big、Middle、Small)
から1つずつを選び、その2つのメンバーシップ出力値
の論理積を計算することになる。
ンバーシップ層後半部のユニット番号である。また、こ
こでも論理積の計算により、min関数の括弧内の2つ
の関数の値のうち、小さい方の値を選択することにな
る。最後に、次式に示すように、出力層において出力値
を計算する。これは、例えば「X1 がBig である」とい
うようなファジールールの前件部命題によって得られた
各ANDルールの出力値とそのルールからの結合の重み
の値Wf とを掛け合わせ、それをルールの出力全体の合
計値で除算したものの総和として算定される。
クに入力値を代入してから出力値を取得するまでの過程
である。なお、最初にネットワークを構築した時点で
は、各層ごとに所定の値が重みとして付与されているた
め、入力値を代入したとしても、対象物の入出力関係を
正しくシュミレートすることができない。そこで、正し
いシュミレートを行うために重みの調整を行うネットワ
ークの学習を行うのである。
係をいかにして正しくシュミレートするかについて説明
する。まず、対象物の入出力関係を表したサンプルデー
タの出力値を教師データTとおき、次式に示すようにこ
の教師データTとサンプルデータの入力値(X1 、X
2、…、Xn)から(30)式〜(35)式により得られ
た出力値yとの2乗誤差を求める。
の誤差を少なくすることによって、対象物の入出力関係
のシュミレートが正しいとみなすことが可能となる。
バックプロパゲーション法を基にした学習アルゴリズム
を用いることとする。以下、この学習アルゴリズムにつ
いて説明する。まず、次式に示すように、(36)式を
yにおいて偏微分し、誤差に対する出力値の影響を求め
る。
を代入した後に、該(36)式をWf において偏微分す
る。
6)式に(35)式、(34)式、(32)式又は(3
3)式及び(30)式を代入した後、該(36)式をW
g 、Wc において偏微分する。
誤差に対するそれぞれの重みの影響を示している。ここ
で、(39)式及び(40)式におけるrとしては、修
正すべきメンバーシップ関数を実現している重みからA
NDルールの出力として選択された数だけ、ルール層の
ユニットからの誤差の総和をとっている。これらの影響
が少なくなる方向に重みを修正することにより、全体的
に誤差を低減する。この際、修正する量については次式
で表される。
量をどの程度にするかを決定する学習パラメータと呼ば
れるものである。これを用いて用いて(44)式〜(4
6)式に示すような修正を行う。
学習を行い、逐次重みを修正することにより、誤差はあ
る程度まで小さくなるため、かかる誤差が許容値以下に
なった時点で学習を終了する。なお、この誤差の許容値
はあらかじめ設定される値であり、本実施の形態では5
パーセントとしている。
場合についても学習はあらかじめなされており、実際に
変換処理を行う時点では、学習後のファジー・ニューラ
ルネットワークを用いて高周波帯域の復元を行う。
と、多層パーセプトロンまたはファジー・ニューラルネ
ットワークとは、いかなる組み合わせであっても問題は
生じない。また、ここではアダマール変換及びDCTを
直交変換として用いているが、その他の直交変換につい
ても同様に用いることができる。さらに、バックプロパ
ゲーション法を基にした学習タイプのニューラルネット
ワークであれば、他の種類のニューラルネットワークを
用いることも可能である。
解像度への変換を行う場合を示したが、逆に高解像度か
ら低解像度への変換を行うこともできる。具体的には、
図11に示すように、DCTの場合には、ニューロで高
周波帯域を復元する代わりに、2次元DCT後のDCT
領域から変換する解像度分だけ高周波成分を取り除き、
その後2次元IDCTを行うことにより実現できる。ま
た、原画像の拡大/縮小処理は、図12に示すように、
解像度変換前後の画素の大きさを等しくしたまま変換処
理を行うことにより実現できる。
来法であるニアレスト・ネイバー、バイリニア及びキュ
ービック・コンボリューションと比較した結果を図13
に示す。ここでは、SCIDの標準画像の中から同じ画
像で解像度の違う300dpiの画像と400dpiの
画像を用いて実験しており、300dpiの画像を各種
方法により400dpiに解像度変換したものを、SC
IDの400dpiの画像と比較し、その結果を誤差で
表している。この結果から明らかなように、本実施の形
態では、従来法と比較して光学的に解像度変換した画像
に近い画像、すなわち高画質の解像度変換画像を取得す
ることができる。
超解像法をサンプリング時に失われた情報を復元する基
本原理とし、その中でもニューラルネットワークを適用
することにより、サンプリング時に失われた空間的高周
波成分を復元し、画像のディテール情報及びエッジ情報
を推定し、復元するよう構成しているので、変換画像の
高画質化を図ることができる。
行列演算における乗算を不要とするアダマール変換(Ha
damard transform)を用いるよう構成しているので、演
算上の負荷を軽減し、もって高速化を図ることができ
る。
離散的コサイン変換(DCT)を用いるよう構成してい
るので、演算上の負荷を軽減するとともに高速アルゴリ
ズムを適用可能とし、もって高速化を図ることができ
る。
トワークとして多層パーセプトロンを用いるよう構成し
ているので、G・P反復法のように繰り返しを行うこと
なく、事前に空間的高周波成分を推定できるよう学習
し、もって1回の変換/逆変換のみで処理を終わらせる
ことができる。
トワークとしてファジー・ニューラルネットワークを用
いるよう構成しているので、多層パーセプトロンほど高
速ではないが、より高精細な復元を図ることができる。
では、サンプリングした原画像の解像度を変換する際
に、原画像に対して直交変換の正変換を行って空間的低
周波成分を抽出し、抽出した空間的低周波成分をニュー
ラルネットワークに入力して、サンプリング時に失われ
た原画像の空間的高周波成分を復元し、復元した空間的
高周波成分及び空間的低周波成分に対して直交変換の逆
変換を行って解像度変換画像を取得するよう構成したの
で、サンプリング時に失われた空間的高周波成分を効率
良く復元し、解像度変換された高画質な画像を迅速に取
得することが可能となる。
同じアダマール変換を直交変換とするよう構成したの
で、演算上の負荷を軽減し、もって変換処理を高速化す
ることが可能となる。
が適用可能な離散的コサイン変換を直交変換とするよう
構成したので、演算上の負荷を軽減し、もって変換処理
を高速化することが可能となる。
うに繰り返しを行うことなく、事前に空間的高周波成分
を推定できるよう学習し、もって1回の変換/逆変換の
みで処理を終わらせることができる多層パーセプトロン
をニューラルネットワークとして用いるよう構成したの
で、解像度変換された高画質な画像を迅速に取得するこ
とが可能となる。
ラルネットワークをニューラルネットワークとして用い
るよう構成したので、より高精細な解像度変換画像を取
得することが可能となる。
を示す図である。
的に示す図である。
である。
式的に示す図である。
ネットワークを模式的に示す図である。
果との対応を示す図である。
を示す説明図である。
である。
示す図である。
Claims (5)
- 【請求項1】 サンプリングした原画像の解像度を変換
する際に、サンプリング時に喪失した空間的高周波成分
を復元する画像処理方法において、 前記原画像に対して直交変換の正変換を行って空間的低
周波成分を抽出し、 抽出した空間的低周波成分をニューラルネットワークに
入力して、サンプリング時に失われた原画像の空間的高
周波成分を復元し、 復元した空間的高周波成分及び前記空間的低周波成分に
対して前記直交変換の逆変換を行って解像度変換画像を
取得することを特徴とする画像処理方法。 - 【請求項2】 前記直交変換としてアダマール変換を用
いることを特徴とする請求項1記載の画像処理方法。 - 【請求項3】 直交変換として離散的コサイン変換を用
いることを特徴とする請求項1記載の画像処理方法。 - 【請求項4】 前記ニューラルネットワークとして多層
パーセプトロンを用いることを特徴とする請求項1記載
の画像処理方法。 - 【請求項5】 前記ニューラルネットワークとしてファ
ジー・ニューラルネットワークを用いることを特徴とす
る請求項1記載の画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06883197A JP3378167B2 (ja) | 1997-03-21 | 1997-03-21 | 画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06883197A JP3378167B2 (ja) | 1997-03-21 | 1997-03-21 | 画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10271323A true JPH10271323A (ja) | 1998-10-09 |
JP3378167B2 JP3378167B2 (ja) | 2003-02-17 |
Family
ID=13385050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06883197A Expired - Fee Related JP3378167B2 (ja) | 1997-03-21 | 1997-03-21 | 画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3378167B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011019233A (ja) * | 2010-07-23 | 2011-01-27 | Renesas Electronics Corp | アップサンプリング装置及びダウンサンプリング装置 |
CN102082912A (zh) * | 2009-11-30 | 2011-06-01 | 佳能株式会社 | 图像拍摄装置及图像处理方法 |
JP2011524714A (ja) * | 2008-06-17 | 2011-09-01 | 株式会社エヌ・ティ・ティ・ドコモ | スパース変換を使用する画像/ビデオ品質向上及び超解像 |
KR101372853B1 (ko) * | 2006-12-25 | 2014-03-10 | 삼성전자주식회사 | 화상처리장치, 화상처리방법 및 촬상장치 |
US8731062B2 (en) | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
US8743963B2 (en) | 2007-08-13 | 2014-06-03 | Ntt Docomo, Inc. | Image/video quality enhancement and super-resolution using sparse transformations |
JP2018084982A (ja) * | 2016-11-24 | 2018-05-31 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
JP2019501454A (ja) * | 2016-03-03 | 2019-01-17 | 三菱電機株式会社 | 画像をアップサンプリングするコンピューターシステム及び方法 |
KR102409700B1 (ko) * | 2021-03-15 | 2022-06-15 | 아주대학교산학협력단 | 이미지 처리 장치 및 방법 |
-
1997
- 1997-03-21 JP JP06883197A patent/JP3378167B2/ja not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101372853B1 (ko) * | 2006-12-25 | 2014-03-10 | 삼성전자주식회사 | 화상처리장치, 화상처리방법 및 촬상장치 |
US8743963B2 (en) | 2007-08-13 | 2014-06-03 | Ntt Docomo, Inc. | Image/video quality enhancement and super-resolution using sparse transformations |
US8731062B2 (en) | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
JP2011524714A (ja) * | 2008-06-17 | 2011-09-01 | 株式会社エヌ・ティ・ティ・ドコモ | スパース変換を使用する画像/ビデオ品質向上及び超解像 |
CN102082912A (zh) * | 2009-11-30 | 2011-06-01 | 佳能株式会社 | 图像拍摄装置及图像处理方法 |
JP2011019233A (ja) * | 2010-07-23 | 2011-01-27 | Renesas Electronics Corp | アップサンプリング装置及びダウンサンプリング装置 |
JP2019501454A (ja) * | 2016-03-03 | 2019-01-17 | 三菱電機株式会社 | 画像をアップサンプリングするコンピューターシステム及び方法 |
JP2018084982A (ja) * | 2016-11-24 | 2018-05-31 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
KR102409700B1 (ko) * | 2021-03-15 | 2022-06-15 | 아주대학교산학협력단 | 이미지 처리 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP3378167B2 (ja) | 2003-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108122197B (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
JP4140690B2 (ja) | ピクセル画像から超解像度画像を生成する方法 | |
Aly et al. | Image up-sampling using total-variation regularization with a new observation model | |
US6683998B2 (en) | Apparatus and method of building an electronic database for resolution synthesis | |
Zhang et al. | Non-local kernel regression for image and video restoration | |
Protter et al. | Generalizing the nonlocal-means to super-resolution reconstruction | |
Lertrattanapanich et al. | High resolution image formation from low resolution frames using Delaunay triangulation | |
EP2160715B1 (en) | Image processing method and apparatus | |
JP2003283811A (ja) | 画像処理装置およびプログラム | |
JP7174568B2 (ja) | 超解像装置およびそのプログラム | |
JPH0944657A (ja) | 画像処理方法および装置 | |
Tappen et al. | Efficient graphical models for processing images | |
CN113096013B (zh) | 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统 | |
JP3378167B2 (ja) | 画像処理方法 | |
JP2001352450A (ja) | ディジタル画像チャネル内のmtfを補償する方法 | |
JP3302731B2 (ja) | 画像拡大方法 | |
JP3738791B2 (ja) | 画像処理方法および装置 | |
JP2002319020A (ja) | 画像処理装置および画像処理方法 | |
JP4081926B2 (ja) | 画像拡大装置 | |
JP4202395B2 (ja) | 画像変換方法、変換画像生成方法、および画像補正装置 | |
CN115564655A (zh) | 基于深度学习的视频超分辨率重建方法、系统及介质 | |
JP3404138B2 (ja) | 画像拡大方法 | |
JP4014671B2 (ja) | 多重解像度変換方法および装置 | |
Kumar et al. | Neural network based single image super resolution | |
EP1583030A1 (en) | Image magnification device and image magnification method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071206 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081206 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091206 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091206 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101206 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101206 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111206 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111206 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121206 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |