JP3378167B2 - 画像処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、サンプリングした
原画像の解像度を変換する際にサンプリング時に喪失し
た空間的高周波成分を復元する画像処理方法に関し、特
に、サンプリング時に失われた空間的高周波成分を効率
良く復元し、解像度変換された高画質な画像を迅速に取
得する画像処理方法に関する。

【０００２】

【従来の技術】従来、画像データベースや高精細カラー
印刷等の分野では、種々の高品質な画像処理機能が求め
られており、その一つに解像度変換がある。この解像度
変換は、画像処理システムの一機能として重要であるだ
けでなく、例えばＨＤＴＶ（高解像度テレビ）、ＮＴＳ
Ｃ方式のテレビ、電子スチルカメラ、医療画像システム
及び印刷用画像システム等の解像度の異なるメディアを
結ぶために必要となる重要な機能である。

【０００３】ここで、従来の解像度変換方式では、単純
に画素を補間する補間技術が採用されており、例えばニ
アレスト・ネイバー（nearest neighbor）、バイリニア
（bilinear）、キュービック・コンボリューション（cu
bic convolution ）等が知られている。

【０００４】これらの従来の補間技術は、サンプリング
定義に基づいたｓｉｎｃ関数 ｓｉｎｃ（ｘ）＝ｓｉｎ（ｘ）／ｘ による補間を基本概念とし、演算上の負荷を軽減するた
めにｓｉｎｃ関数を近似した補間関数を原画像のサンプ
ル点に対して畳み込むことによって、原画像のサンプル
点の間を補間し、画素数を増やすものである。

【０００５】上記ニアレスト・ネイバーは、この補間関
数として矩形関数を採用し、最も近いサンプル点の値を
補間値とする技術であり、バイリニアは、トライアング
ル関数を補間関数として採用し、１次元の場合であれば
近傍の２点から線形内挿される値を補間値とする技術で
ある。

【０００６】また、キュービック・コンボリューション
は、３次元関数を補間関数として採用し、例えば１次元
の場合であれば近傍の４点から内挿される値を補間値と
する技術である。

【０００７】そして、これらの補間技術を用いた解像度
変換の考え方は、変換対象である原画像が観測すなわち
スキャニングによりサンプリングされる前の理想的な原
画像がナイキスト（Nyquist ）周波数の半分以下の周波
数（低周波成分）のみで構成される場合には正しくな
る。

【０００８】しかし、一般に理想的な原画像は、無限に
高い周波数成分まで持っているが、サンプリングされた
観測画像にモアレやビートのような現象をなす折り返し
歪み（aliasing）の発生を防ぐために、ローパスフィル
タ（ＬＰＳ）をかけて必要以上の高周波成分を取り除い
ている。このため、変換対象の原画像は、サンプリング
された時点で、すでに画像の鮮明さや細部の表現に関与
している空間的高周波成分を失っている。

【０００９】このように、観測すなわちサンプリング時
に取り除かれた高周波成分は、原画像には不要である
が、解像度変換による高精細な変換画像を作成するため
には不可欠な要素である。

【００１０】

【発明が解決しようとする課題】しかしながら、上記補
間技術では、サンプリング時に失った空間的高周波成分
を復元することができないため、かかる補間技術により
解像度変換した画像には、本来必要である空間的高周波
成分を欠くこととなる。

【００１１】このため、例えばニアレスト・ネイバーの
場合には、高周波の洩れが多いために歪みを起こしやす
く、その歪みがモザイクやエッジ部分のジャギーとして
表れることになる。また、バイリニアの場合には、通過
帯域の周波数特性が抑制されるためにＬＰＦ的な作用を
受けてスムージングされた画像となり、キュービック・
コンボリューションの場合には、高域を強調する周波数
特性であるために上記２つの技術に比べて鮮鋭に見える
ものの、ノイズ成分についても強調されることとなる。

【００１２】したがって、従来の補間技術によって原画
像を解像度変換する場合には、ボケやスムージング又は
エッジのがたつきといった画質の劣化や、細部の表現が
不十分な画像をもたらすという問題が生じる。すなわ
ち、かかる補間処理は、あくまでもデータ量を増やすも
のにすぎず、情報量そのものを増やすものではないた
め、補間によって解像度変換された画像が示す内容は解
像度変換前の画像と同じであり、不明な部分が判別でき
るようになるわけではない。

【００１３】なお、特開平６−５４１７２号公報には、
ゲルヒベルグ−パポリス（Gerchberg-Papoulis）法に基
づいて、離散的コサイン変換（ＤＣＴ）と２次元ＤＣＴ
の逆変換（ＩＤＣＴ）とによる直交変換を繰り返し行う
ことにより、高画質な拡大処理を行う画像拡大方法が開
示されているが、かかる従来技術では、繰り返し回数が
画像の種類によって左右されるため、決められた回数で
最適な画像が得られるとは限らない。また、直交変換を
画像全体に対して行っているので、原画像のサイズが大
きくなると、計算時間が膨大なものとなってしまうとい
う問題がある。

【００１４】そこで、本発明は、上記問題点を解決し
て、サンプリング時に失われた空間的高周波成分を効率
良く復元し、解像度変換された高画質な画像を迅速に取
得することができる画像処理方法を提供することを目的
とする。

【００１５】

【課題を解決するための手段】上記目的を達成するた
め、第１の発明は、サンプリングした原画像の解像度を
所定倍に変換する際に、サンプリング時に喪失した空間
的高周波成分を復元する画像処理方法において、前記原
画像に対して直交変換の正変換を行って空間的低周波成
分を抽出し、抽出した空間的低周波成分を事前に空間的
高周波成分を推定できるように学習したニューラルネッ
トワークに入力し、前記所定倍の解像度変換に応じた高
周波帯まで周波数領域を拡張してサンプリング時に失わ
れた原画像の空間的高周波成分を復元し、復元した空間
的高周波成分及び前記空間的低周波成分に対して前記直
交変換の逆変換を行って前記原画像の画像領域に戻して
解像度変換画像を取得することを特徴とする。

【００１６】また、第２の発明は、前記直交変換として
アダマール変換を用いることを特徴とする。

【００１７】また、第３の発明は、前記直交変換として
離散的コサイン変換を用いることを特徴とする。

【００１８】また、第４の発明は、前記ニューラルネッ
トワークとして多層パーセプトロンを用いることを特徴
とする。

【００１９】また、第５の発明は、前記ニューラルネッ
トワークとしてファジー・ニューラルネットワークを用
いることを特徴とする。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。まず最初に、本実施の形態
の原理について説明する。本実施の形態では、原画像の
サンプリング時に周波数帯域制限されたために失われた
原信号を復元する操作を行っているが、かかる復元操作
は、超解像（super-resolution）問題又は帯域拡張（ba
ndwidth extraporation ）問題と呼ばれている。

【００２１】物理的に実現可能ないかなる観測系でも、
ある周波数以上の高周波成分を観測することはできな
い。例えば、撮像系では入射開口の大きさが限られてい
るため、撮像系自体がＬＰＦ的な作用をして伝播するこ
とができた周波数成分の多くが失われることになり、解
像力が低下する。この解像力は、絞りサイズやレンズ等
によって変化する撮像系の伝達帯域幅に依存するため、
解像力の向上は、撮像系を通して得られる画像信号から
撮像系を通る前の原信号を求めるという帯域の拡張（超
解像問題）によってのみ本質的に可能となる。

【００２２】ここで、１変数関数に対して超解像問題を
数学的に定式化すれば、次のようになる。実空間領域に
おける原信号をｆ（ｘ）とし、この原信号ｆ（ｘ）の周
波数成分をカットオフ周波数ｕ0 以下に制限した実際に
撮像系を通った信号をｇ（ｘ）とし、帯域制限を行う過
程をＡで表すと、 ｇ（ｘ）＝Ａｆ（ｘ） …（１） となる。なお、この過程Ａは、原信号を撮像系を通すこ
とにより実質的にＬＰＦをかけたことに相当する。

【００２３】上記両信号ｆ（ｘ）、ｇ（ｘ）のフーリエ
変換を対応する大文字で表し、Ｆ（ｕ）、Ｇ（ｕ）と
し、さらに周波数領域における窓関数Ｗ（ｕ）を Ｗ（ｕ）＝１ （｜ｕ｜≦ｕ0） …（２） Ｗ（ｕ）＝０ （｜ｕ｜＞ｕ0） …（３） と定義する。この窓関数Ｗ（ｕ）を作用させることは、
理想的なＬＰＦをかけることに相当するため、 Ｇ（ｕ）＝Ｗ（ｕ）Ｆ（ｕ） …（４） が得られる。

【００２４】超解像とは、実空間領域においては上記
（１）式に帯域制限された信号ｇ（ｘ）から原信号ｆ
（ｘ）を求めることを意味し、周波数領域においては上
記（４）式のＧ（ｕ）からＦ（ｕ）を求めることが該当
する。

【００２５】しかしながら、原信号ｆ（ｘ）に対する制
限が何もなければ、Ｆ（ｕ）の一部であるＧ（ｕ）から
残りの部分を知ることができない。そこで、原信号ｆ
（ｘ）に対して、物体が限られた大きさであり、ｆ
（ｘ）はある領域内、例えば、−ｘ0〜＋ｘ0の間にしか
存在せず、この領域外では０になるような空間的領域制
限を加えたときに原理的に無限定の解像力が得られると
する仮定を適用することにより、超解像問題を解くこと
が可能となる。

【００２６】本実施の形態では、かかる超解像問題を解
く帯域拡張方法として、ゲルヒベルグ−パポリスの反復
方法（以下「Ｇ・Ｐ反復法」と言う。）の一部を採用す
る。図２は、このＧ・Ｐ反復法の説明図であり、同図
（Ａ）、（Ｃ）、（Ｅ）、（Ｇ）は周波数領域に、同図
（Ｂ）、（Ｄ）、（Ｆ）、（Ｈ）は実空間領域に対応す
る。図２（Ｂ）に示す原信号ｆ（ｘ）は、空間｜ｘ｜≦
ｘ0 に領域制限されており、物体が一定の大きさに限定
されていることに対応する。図２（Ａ）は、かかる原信
号ｆ（ｘ）のフーリエ変換Ｆ（ｕ）であり、このＦ
（ｕ）は、原信号ｆ（ｘ）が領域制限されているので無
限に高い周波数成分まで含むことになる。図２（Ｃ）
は、上記Ｆ（ｕ）の区間｜ｕ｜≦ｕ0 の部分Ｇ（ｕ）だ
けが観測されることを表しているため、上記（２）式及
び（３）式のような窓関数を用いた（４）式が成立す
る。また、図２（Ｄ）は、Ｇ（ｕ）を逆フーリエ変換し
たｇ（ｘ）を示している。そして、超解像問題を解くこ
とは、上記Ｇ（ｕ）又はｇ（ｘ）からＦ（ｕ）又はｆ
（ｘ）を求めることに相当する。

【００２７】Ｇ・Ｐ反復法の第１段階は、以下のように
なる。Ｇ（ｕ）は、｜ｕ｜≦ｕ0 に帯域制限されている
ので、ｇ（ｘ）は無限に広がってしまう。しかし、原信
号ｆ（ｘ）は、区間｜ｘ｜≦ｘ0 に領域制限されている
ことが分かっているので、ｇ（ｘ）に対しても同じ領域
制限を行う。すなわち、ｇ（ｘ）の区間｜ｘ｜≦ｘ0の
部分だけ取り出してｆ1（ｘ） とする。

【００２８】このｆ1（ｘ） を次の（５）式及び（６）
式で表される空間領域における窓関数ｗ（ｘ）を使った
式で表すと、下記（７）式となる。これが図２（Ｆ）に
示すｆ1（ｘ） である。 ｗ（ｘ）＝１ （｜ｘ｜≦ｘ0） …（５） ｗ（ｘ）＝０ （｜ｘ｜＞ｘ0） …（６） ｆ1（ｘ）＝ｗ（ｘ）ｇ（ｘ） …（７）

【００２９】上記ｆ1（ｘ）をフーリエ変換すれば、図
２（Ｅ）のＦ1（ｕ） になる。ｆ1（ｘ）が領域制限さ
れているので、Ｆ1（ｕ） は無限に広がっている。とこ
ろが、区間｜ｕ｜≦ｕ0 に対しては、正しい値Ｇ（ｕ）
＝Ｆ（ｕ）はすでに分かっているので、Ｆ1（ｕ） の中
の｜ｕ｜≦ｕ0 の部分をＧ（ｕ）で置き換える。このよ
うにしてできた波形が図２（Ｇ）のＧ1（ｕ） である。
この関係を式で表すと、次の（８）式〜（１０）式とな
る。なお、上記Ｇ1（ｕ）を逆フーリエ変換したものが
図２（Ｈ）のｇ1（ｕ）である。 Ｇ1（ｕ）＝Ｇ（ｕ）＋（１−Ｗ（ｕ））Ｆ1（ｕ） …（８） Ｇ1（ｕ）＝Ｇ（ｕ） （｜ｕ｜≦ｕ０） …（９） Ｇ1（ｕ）＝Ｆ1（ｕ） （｜ｕ｜＞ｕ０） …（１０）

【００３０】上記説明で、図２（Ｃ）、（Ｄ）から
（Ｇ）、（Ｈ）までがＧ・Ｐ反復法の第１段階である。
その後、図２（Ｈ）のｇ1（ｘ） から区間｜ｘ｜≦ｘ0
の部分だけ取り出して図２（Ｆ）のｆ1（ｘ） に相当す
る図示しないｆ2（ｘ） を求め、このｆ2（ｘ） をフー
リエ変換して同図（Ｅ）に相当する図示しないＦ2
（ｕ）を算出するという操作を無限回繰り返すことによ
り原信号を完全に復元することができる。以上、本実施
の形態の背景をなす基本原理について説明した。

【００３１】次に、本実施の形態に係わる画像処理方法
について具体的に説明する。図１は、本実施の形態で用
いる画像処理装置の基本構成を示す図である。図１に示
すように、この画像処理装置は、原画像格納部１０、解
像度変換処理部１２及び解像度変換画像格納部１４から
なり、原画像格納部１０から原画像を解像度変換処理部
１２に読み込み、該解像度変換処理部１２において後述
する処理を行って変換画像を作成し、作成した変換画像
を解像度変換画像格納部１４に格納する処理を行う。具
体的には、原画像格納部１０及び解像度変換画像格納部
１４は、磁気ディスク又は光ディスク等の２次記憶装置
であり、また解像度変換処理部１２は、エンジニアリン
グワークステーション（ＥＷＳ）である。なお、説明の
便宜上省略したが、解像度変換処理部１２で作成した解
像度変換画像は、ディスプレイやプリンタ等の出力装置
に出力することも可能である。なお、本実施の形態で
は、アダマール変換と多層パーセプトロンを適用して、
低解像度のモノクロ画像を高解像度に解像度変換する場
合を示している。

【００３２】次に、図１に示す解像度変換処理部１２が
行う処理手順について説明する。図３は、図１に示す解
像度変換処理部１２が行う解像度変換処理の流れを模式
的に示す図であり、図４は、かかる処理の流れを示すフ
ローチャートである。なお、ここではＮ×Ｎ画素からな
る原画像の部分画像をｍ倍の解像度に変換して、ｍＮ×
ｍＮ画素の部分画像を作成する場合を示しており、図３
に示す括弧書きの番号は、図４に示すフローチャートの
ステップ番号に対応する。

【００３３】まず、あらかじめメモリに読み込まれてい
る原画像から図３（Ａ）に示す変換対象となるＮ×Ｎ画
素の部分画像を取り出し（ステップ１）、該部分画像に
対して２次元アダマール変換を行って、同図（Ｂ）に示
す周波数成分ａに変換する（ステップ２）。なお、この
周波数成分ａがアダマール変換領域における既知情報で
あり、空間的低周波成分に相当する。

【００３４】次に、同図（Ｃ）に示すように、この周波
数成分ａについて、解像度変換に応じた高周波帯まで周
波数領域を拡張する（ステップ３）。このとき、後述す
るように、ニューラルネットワークを用いて高周波帯域
を復元し、拡張されたサイズがｍＮ×ｍＮ画素となるよ
うにする。

【００３５】そして、周波数拡張されたアダマール変換
シーケンスを２次元逆アダマール変換し、画像領域に戻
すことにより、ｍＮ×ｍＮ画素の解像度変換画像αを取
得する（ステップ４）。そして、原画像全体について変
換処理が終了していなければ（ステップ５）、変換画像
をメモリに書き込んだ後に次の部分画像の処理に移行
し、同様の処理を繰り返す。

【００３６】そして、原画像全体の処理を終了したなら
ば、メモリに書き込んだ変換画像を出力し（ステップ
６）、変換画像格納部１４への変換画像の書き込みや、
ディスプレイ上への表示等を行った後に、処理を終了す
る。上記一連の処理を行うことにより、画像を直交変換
によって正変換と逆変換する間に、ニューラルネットワ
ークによって失われた空間的高周波成分を復元すること
ができるので、高画質の解像度変換画像を作成すること
ができる。

【００３７】次に、本実施の形態が採用した２次元アダ
マール変換と、その逆変換について説明する。Ｎ×Ｎの
アダマール行列をＨＮと表すと、最小のアダマール行列
は２次となり、

【数１】 として与えられる。４次のアダマール行列Ｈ４は、（１
１）式の右辺の１にＨ２を対応させ、−１に−Ｈ２を対
応させることにより、

【数２】 として与えられる。同様の手順で、より高次のアダマー
ル行列についても再帰的に生成される。このようにして
得られたＮ×Ｎのアダマール行列をＮ×Ｎ画素の部分画
像に畳み込むことによって変換が実行される。

【００３８】また、かかるアダマール行列は、１と−１
のみを要素とするので、入力データの加減算だけで変換
を実行できる。このため、ＤＴＣ等の他の変換技術と比
べて少ない演算量で高速に処理を実行できる。さらに、
このアダマール変換は直交列であり、次式に示すように
逆行列がもとの行列と同じ行列であるという性質を有す
るため、逆アダマール変換を行う際には、単純にアダマ
ール変換を行えば足りる。

【数３】 以上、アダマール変換を行う場合について説明した。

【００３９】次に、上記アダマール変換に代えてＤＣＴ
を用いた場合について説明する。このＤＣＴを用いる場
合にも、基本的には図３及び図４に示すアダマール変換
を用いた場合と同様に処理することができ、２次元アダ
マール変換に代えて２次元ＤＣＴを適用し、２次元逆ア
ダマール変換に代えて２次元ＩＤＣＴを行えば足りる。

【００４０】そこで、このＤＣＴ及びＩＤＣＴについて
具体的に説明する。離散関数ｉ（ｘ，ｙ）、０≦ｕ，ｖ
≦Ｎ−１のＮ×Ｎ点の２次元ＤＣＴは、以下の（１４）
式及び（１５）式で定義される。 Ｉ（ｕ，ｖ）＝ＤＣＴ｛ｉ（ｘ，ｙ）｝ …（１４）

【数４】 ただし、０≦ｕ，ｖ≦Ｎ−１である。ここで、このｃ
（ｕ）は、次の（１６）式及び（１７）式で定義され、
ｃ（ｖ）についても同様に定義される。なお、これらの
関数ｃ（ｕ）及びｃ（ｖ）は、逆変換においても使用さ
れる。 ｃ（ｕ）＝１／ＳＱＲＴ（２） （ｕ＝０） …（１６） ｃ（ｕ）＝１ （ｕ＝１，２，…，Ｎ−１） …（１７） ただし、ＳＱＲＴは、平方根を示すものとする。

【００４１】また、２次元ＤＣＴの逆変換ＩＤＣＴは、
次の（１８）式及び（１９）式で定義される。 Ｉ（ｘ，ｙ）＝ＩＤＣＴ｛ｉ（ｕ，ｖ）｝ …（１８）

【数５】 ただし、０≦ｘ，ｙ≦Ｎ−１である。なお、かかるＤＣ
Ｔを定義通り用いることもできるが、図３に示す画素数
ｍＮを２のべき乗とした場合に高速演算アルゴリズムが
存在するため、実際にはこの高速演算アルゴリズムのＤ
ＣＴを使用することができる。

【００４２】次に、本実施の形態で採用するニューラル
ネットワークについて説明する。本実施の形態で採用す
るニューラルネットワークは、図５に示す多層パーセプ
トロンである。以下、具体的な動作について説明する。
本実施の形態で用いる多層パーセプトロンは、３層で４
入力６４出力となっており、中間層のノード数は９６個
となっている。この中間層のノード数は、サンプルの画
像データを用いて中間層のノード数を１から１個ずつ増
やしながら学習させたときに、最も精度良く学習できた
ときのノード数を用いるもので、９６個に限定されるも
のではなく、任意のノード数としても構わない。

【００４３】この多層パーセプトロンの学習方法におけ
る入力層から出力層までの順方向の演算について説明す
る。まず最初に、入力層では２×２画素の部分画像デー
タの直交変換結果を入力データとして入力し、そのまま
出力する。

【数６】 ここで、Ｉi は入力層の各ノードからの出力値であり、
Ｘi は画素の位置情報を示す入力データである。

【００４４】次に、入力層と中間層の間では次のような
演算を行う。

【数７】 ここで、Ｈj は中間層の各ノードからの出力値であり、
Ｗijは入力層の各ノードと中間層の各ノードとの結合の
度合いを示す重みである。また、θijは中間層の各ノー
ドにおけるオフセット値であり、ｆ（ｘ）は、非線形な
単調増加関数であり、例えば図６に示すシグモイド関数
は次式で表される。

【数８】

【００４５】最後に、中間層と出力層の間では次のよう
な演算を行う。

【数９】 ここで、Ｏk は出力層のノードからの出力値であり、Ｗ
ijは入力層の各ノードと中間層の各ノードとの結合を示
す重みである。またθ2kは出力層のノードにおけるオフ
セット値である。以上が順方向の演算である。

【００４６】次に、学習のための逆方向の演算について
説明する。学習は、階層型ニューラルネットワークで一
般的に用いられているバックプロパゲーション法を用い
て行う。この学習の目的は、最適な入出力関係を得るこ
とにある。このため、教師データを目標としてネットワ
ーク内の結合の重みを微調整する。いかなる微調整を行
うかを次に説明する。

【００４７】まず、次式を用いて出力値と教師データと
の２乗誤差を計算する。

【数１０】 ここで、Ｅk は教師データと出力値との２乗誤差値であ
り、Ｔk は教師データである。そして、このＥk を小さ
くすることが学習の目標であるため、まずＥkをＯk で
偏微分することにより、Ｏk によるＥk への影響を求め
る。

【数１１】 さらに、ＷjkによるＥk への影響及びＷijによるＥk へ
の影響を求める。

【数１２】

【数１３】 そして、これらの影響に基づき、各結合の重みを次式を
用いて微調整する。

【数１４】

【数１５】 ここで、αは微調整する割合を示す値であり、通常0.05
〜0.25程度の値を用いる。また、ｔは学習回数を表し、
現在の結合の重みに微調整する値を加えて、次回の演算
／学習時の重みとする。

【００４８】上記アルゴリズムに従って繰り返し学習を
行い、重みを修正していくことにより誤差はある程度ま
で小さくなる。そして、誤差の値が誤差の許容値以下と
なった時点で学習を終了する。なお、この誤差の許容値
はあらかじめ定められるものであり、本実施の形態では
誤差が５パーセント以下になった時点で学習を終了する
こととしている。また、かかる学習はあらかじめなされ
ており、実際に変換処理を行う際には、学習後の多層パ
ーセプトロンを用いて高周波帯域の復元を行う。この学
習に用いるデータとしては、例えば明るい自然画像、暗
い自然画像、文字画像及び網点模様などの複数種類の画
像データから、８×８画素の部分画像を色々と抜き出
し、その部分画像を直交変換したデータを用いる。

【００４９】図７に示すように、ＤＣＴを用いる場合に
は、直交変換された８×８マトリクスのうち、左上から
２×２マトリクス分が入力データであり、８×８マトリ
クスが出力値の目標となる教師データである。このよう
なデータを５００種類ほど用いて学習させる。

【００５０】次に、多層パーセプトロンの代わりにファ
ジー・ニューラルネットワークを用いた場合について説
明する。かかるファジー・ニューラルネットワークを用
いる場合には、まず、図８に示す４入力６４出力のファ
ジー・ニューラルネットワークを構成する。４個の入力
値は、２×２画素の部分画像を直交変換した結果を入力
し、６４個の出力値は解像度変換処理された画像を直交
変換した結果が出力される。この４入力６４出力のファ
ジー・ニューラルネットワークは、入力層、メンバーシ
ップ層前半部、メンバーシップ層後半部、ルール層及び
出力層の５層からなり、２層目と３層目を合わせてメン
バーシップ層を構築する。

【００５１】各層のユニットとユニットの間の結合は次
のようにして行う。まず、入力層は、入力項目ごとに２
つのユニット３３及び３４、ユニット３５及び３６、ユ
ニット３７及び３８、ユニット３９及び４０で構成し、
ユニット３４、３６、３８及び４０にそれぞれ定数１を
入力し、ユニット３３に入力値Ｘ1（Ｇ11）を入力し、
ユニット３５に入力値Ｘ2 （Ｇ12）を入力し、ユニット
３７に入力値Ｘ3 （Ｇ21）を入力し、ユニット３９に入
力値Ｘ4 （Ｇ22）を入力する。

【００５２】次に、メンバーシップ層に関しては、図９
に示すように、各入力項目ごとにBig、Middle、Smallの
メンバーシップ関数を構成するように、前半部で各４つ
のユニット４１〜４４、４５〜４８、４９〜５２、５３
〜５６を構成し、ユニット４１〜４４で定数１と入力値
Ｘ1 とを結合させ、ユニット４５〜４８で定数１と入力
値Ｘ2 とを結合させ、ユニット４９〜５２で定数１と入
力値Ｘ3 とを結合させ、ユニット５３〜５６で定数１と
入力値Ｘ4 とを結合させる。

【００５３】また、後半部では、各３つのユニット５７
〜５９、６０〜６２、６３〜６５、６６〜６８を構成
し、前半部の１つ又は２つのユニットを結合させる。１
つのユニットを結合させる部分は、ユニット５７、６
０、６３、６６でBig を構成する部分となり、ユニット
５９、６２、６５、６８でSmall を構成する部分とな
る。２つのユニットを結合する部分は、ユニット５８、
６１、６４、６７でMiddleを構成する部分となる。これ
は、１入力項目毎に必ず構成されるユニットであり、入
力項目毎のユニット数は固定である（前半部４つ、後半
部３つ）。

【００５４】次に、ルール層に関しては、入力値Ｘ1 側
のユニット５７に対して入力値Ｘ２側のユニット６０〜
６２、入力値Ｘ３ 側のユニット６３〜６５、入力値Ｘ
4 側のユニット６６〜６８のそれぞれと論理積を取るよ
うにユニット７８〜１３１を構成する。

【００５５】最後に、出力層では、６４個のユニット１
３２〜１９５の各々でルール層からの出力を全て結合
し、出力値ｙn （ｎ＝１〜６４）として出力するように
構成する。ｙn と直交変換後のマトリクスＦとの関係は
図１０に示すようになる。

【００５６】このようにして構成されたネットワークの
ユニット間の結合部分には、全てその結合毎に重みがあ
る。まず、入力層とメンバーシップ層前半部との結合部
分では、メンバーシップ関数のセンター値（メンバーシ
ップ関数の出力値が0.5 となるときの入力値）が重みＷ
c11 〜Ｗc14 、Ｗc21 〜Ｗc24 、Ｗc31 〜Ｗc34 、Ｗc4
1 〜Ｗc44 となる。

【００５７】すなわち、メンバーシップ関数は、前述し
たように３種類あるが、それぞれのメンバーシップ関数
のセンター値は各重みと一致している。例えば、入力値
Ｘ1のBig を示すメンバーシップ関数のセンター値の重
みはＷc11 であり、Middleを示すメンバーシップ関数の
センター値の重みはＷc12 とＷc13 であり、Small を示
すメンバーシップ関数のセンター値の重みはＷc14 であ
る。Middleは、２つのメンバーシップ関数の論理積の形
となっているので、２つのセンター値を持つ。

【００５８】次に、メンバーシップ層の前半部と後半部
との結合部分では、メンバーシップ関数の傾きが重みＷ
g11 〜Ｗg14 、Ｗg21 〜Ｗg24 、Ｗg31 〜Ｗg34 及びＷ
g41〜Ｗg44 となっている。これについても、センター
値と同様にそれぞれのメンバーシップ関数の傾きが各重
みと一致している。例えば、入力値Ｘ1 のBig を示すメ
ンバーシップ関数の傾きの重みはＷg11 であり、Middle
を示すメンバーシップ関数の傾きの重みはＷg12 とＷg1
3 であり、Small を示すメンバーシップ関数の傾きの重
みはＷg14 である。この場合も、Middleは、２つのメン
バーシップ関数の論理積の形となっているので、２つの
傾きを持つ。

【００５９】最後に、ルール層と出力層との結合部分で
は、エキスパートから得た知識が重みＷf1〜Ｗf54 とな
っている。ここでは、ルールの重みは0.5 に初期設定す
るものとし、これ以外の結合の重みは１で固定されてい
る。

【００６０】次に、各層の出力値を求める方法を数式を
用いて説明する。ただし、入力層の出力値については入
力値と同一であるのでその説明を省略する。メンバーシ
ップ層は、次式に示すように２層目でメンバーシップ関
数のセンター値Ｗc11 〜Ｗc14 、Ｗc21 〜Ｗc24 、Ｗc3
1 〜Ｗc34 及びＷc41 〜Ｗc44 を加える。

【数１６】 ここで、Ｘは入力層の出力値、Ｗc はメンバーシップ関
数のセンター値、Ｈは２層目の出力値である。また、ｉ
は各入力項目の数であり、ｊはBig のときに１、Middle
のときに２又は３、Small のときに４となる。

【００６１】この式が表しているのは、後に代入する次
式に示すシグモイド関数の原点の位置をメンバーシップ
関数のセンター値の位置に合わせることである。

【数１７】 次に、次式に示すように３層目でメンバーシップ関数の
傾きを掛けてシグモイド関数に代入することにより、そ
の入力値の各領域でのメンバーシップの出力値を得るこ
とになる。

【数１８】 なお、Middleの場合には、上式に代えて次式を用いる。

【数１９】 ここで、Ｗg はメンバーシップ関数の傾きの値、ｆ
（ｘ）はシグモイド関数、Ｍはメンバーシップ関数の出
力値、ｍｉｎ｛ｆ（ｘ1 ），ｆ（ｘ2 ）｝はｆ（ｘ1）
とｆ（ｘ2） の論理積である。また、ｋはメンバーシッ
プ層前半部のユニット番号であり、θはBig のときに
１、Middleのときに２、Small のときに３となる。ま
た、上式では、論理積を計算することにより、ｍｉｎ関
数の括弧の中の２つのシグモイド関数のうち、小さい方
の値を選択することになる。

【００６２】続いて、次式に示すように、ルール層にお
いてＡＮＤルールの計算を行う。これは、２つの入力項
目の中で、それぞれ３つの領域（Big、Middle、Small）
から１つずつを選び、その２つのメンバーシップ出力値
の論理積を計算することになる。

【数２０】 ここで、ＲはＡＮＤルールの出力値であり、１とｍはメ
ンバーシップ層後半部のユニット番号である。また、こ
こでも論理積の計算により、ｍｉｎ関数の括弧内の２つ
の関数の値のうち、小さい方の値を選択することにな
る。最後に、次式に示すように、出力層において出力値
を計算する。これは、例えば「Ｘ1 がBig である」とい
うようなファジールールの前件部命題によって得られた
各ＡＮＤルールの出力値とそのルールからの結合の重み
の値Ｗf とを掛け合わせ、それをルールの出力全体の合
計値で除算したものの総和として算定される。

【数２１】 ここで、ｎはルール層のユニット番号である。

【００６３】上記一連の処理が、構築されたネットワー
クに入力値を代入してから出力値を取得するまでの過程
である。なお、最初にネットワークを構築した時点で
は、各層ごとに所定の値が重みとして付与されているた
め、入力値を代入したとしても、対象物の入出力関係を
正しくシミュレートすることができない。そこで、正し
いシミュレートを行うために重みの調整を行うネットワ
ークの学習を行うのである。

【００６４】次に、かかる学習により対象物の入出力関
係をいかにして正しくシミュレートするかについて説明
する。まず、対象物の入出力関係を表したサンプルデー
タの出力値を教師データＴとおき、次式に示すようにこ
の教師データＴとサンプルデータの入力値（Ｘ1 、Ｘ
2、…、Ｘn）から（３０）式〜（３５）式により得られ
た出力値ｙとの２乗誤差を求める。

【数２２】 ここで、Ｅは教師データと出力値の２乗誤差を示し、こ
の誤差を少なくすることによって、対象物の入出力関係
のシミュレートが正しいとみなすことが可能となる。

【００６５】この誤差を低減する方法として、ここでは
バックプロパゲーション法を基にした学習アルゴリズム
を用いることとする。以下、この学習アルゴリズムにつ
いて説明する。まず、次式に示すように、（３６）式を
ｙにおいて偏微分し、誤差に対する出力値の影響を求め
る。

【数２３】 次に、次式に示すように、（３６）式のｙに（３５）式
を代入した後に、該（３６）式をＷf において偏微分す
る。

【数２４】 次に、（３９）式及び（４０）式に示すように、（３
６）式に（３５）式、（３４）式、（３２）式又は（３
３）式及び（３０）式を代入した後、該（３６）式をＷ
g 、Ｗc において偏微分する。

【数２５】

【数２６】

【００６６】そして、この（３８）式から（４０）式が
誤差に対するそれぞれの重みの影響を示している。ここ
で、（３９）式及び（４０）式におけるｒとしては、修
正すべきメンバーシップ関数を実現している重みからＡ
ＮＤルールの出力として選択された数だけ、ルール層の
ユニットからの誤差の総和をとっている。これらの影響
が少なくなる方向に重みを修正することにより、全体的
に誤差を低減する。この際、修正する量については次式
で表される。

【数２７】

【数２８】

【数２９】 ここで、α、β及びγは、影響を小さくする重みの修正
量をどの程度にするかを決定する学習パラメータと呼ば
れるものである。これを用いて（４４）式〜（４６）式
に示すような修正を行う。

【数３０】

【数３１】

【数３２】

【００６７】上記一連のアルゴリズムに従って繰り返し
学習を行い、逐次重みを修正することにより、誤差はあ
る程度まで小さくなるため、かかる誤差が許容値以下に
なった時点で学習を終了する。なお、この誤差の許容値
はあらかじめ設定される値であり、本実施の形態では５
パーセントとしている。

【００６８】多層パーセプトロンの場合と同様に、この
場合についても学習はあらかじめなされており、実際に
変換処理を行う時点では、学習後のファジー・ニューラ
ルネットワークを用いて高周波帯域の復元を行う。

【００６９】なお、上述したアダマール変換又はＤＣＴ
と、多層パーセプトロンまたはファジー・ニューラルネ
ットワークとは、いかなる組み合わせであっても問題は
生じない。また、ここではアダマール変換及びＤＣＴを
直交変換として用いているが、その他の直交変換につい
ても同様に用いることができる。さらに、バックプロパ
ゲーション法を基にした学習タイプのニューラルネット
ワークであれば、他の種類のニューラルネットワークを
用いることも可能である。

【００７０】また、本実施の形態では、低解像度から高
解像度への変換を行う場合を示したが、逆に高解像度か
ら低解像度への変換を行うこともできる。具体的には、
図１１に示すように、ＤＣＴの場合には、ニューロで高
周波帯域を復元する代わりに、２次元ＤＣＴ後のＤＣＴ
領域から変換する解像度分だけ高周波成分を取り除き、
その後２次元ＩＤＣＴを行うことにより実現できる。ま
た、原画像の拡大／縮小処理は、図１２に示すように、
解像度変換前後の画素の大きさを等しくしたまま変換処
理を行うことにより実現できる。

【００７１】次に、本実施の形態における処理結果を従
来法であるニアレスト・ネイバー、バイリニア及びキュ
ービック・コンボリューションと比較した結果を図１３
に示す。ここでは、ＳＣＩＤの標準画像の中から同じ画
像で解像度の違う３００ｄｐｉの画像と４００ｄｐｉの
画像を用いて実験しており、３００ｄｐｉの画像を各種
方法により４００ｄｐｉに解像度変換したものを、ＳＣ
ＩＤの４００ｄｐｉの画像と比較し、その結果を誤差で
表している。この結果から明らかなように、本実施の形
態では、従来法と比較して光学的に解像度変換した画像
に近い画像、すなわち高画質の解像度変換画像を取得す
ることができる。

【００７２】上述してきたように、本実施の形態では、
超解像法をサンプリング時に失われた情報を復元する基
本原理とし、その中でもニューラルネットワークを適用
することにより、サンプリング時に失われた空間的高周
波成分を復元し、画像のディテール情報及びエッジ情報
を推定し、復元するよう構成しているので、変換画像の
高画質化を図ることができる。

【００７３】また、本実施の形態では、直交変換として
行列演算における乗算を不要とするアダマール変換（Ha
damard transform）を用いるよう構成しているので、演
算上の負荷を軽減し、もって高速化を図ることができ
る。

【００７４】また、本実施の形態では、直交変換として
離散的コサイン変換（ＤＣＴ）を用いるよう構成してい
るので、演算上の負荷を軽減するとともに高速アルゴリ
ズムを適用可能とし、もって高速化を図ることができ
る。

【００７５】また、本実施の形態では、ニューラルネッ
トワークとして多層パーセプトロンを用いるよう構成し
ているので、Ｇ・Ｐ反復法のように繰り返しを行うこと
なく、事前に空間的高周波成分を推定できるよう学習
し、もって１回の変換／逆変換のみで処理を終わらせる
ことができる。

【００７６】また、本実施の形態では、ニューラルネッ
トワークとしてファジー・ニューラルネットワークを用
いるよう構成しているので、多層パーセプトロンほど高
速ではないが、より高精細な復元を図ることができる。

【００７７】

【発明の効果】以上詳細に説明したように、第１の発明
では、サンプリングした原画像の解像度を変換する際
に、原画像に対して直交変換の正変換を行って空間的低
周波成分を抽出し、抽出した空間的低周波成分をニュー
ラルネットワークに入力して、サンプリング時に失われ
た原画像の空間的高周波成分を復元し、復元した空間的
高周波成分及び空間的低周波成分に対して直交変換の逆
変換を行って解像度変換画像を取得するよう構成したの
で、サンプリング時に失われた空間的高周波成分を効率
良く復元し、解像度変換された高画質な画像を迅速に取
得することが可能となる。

【００７８】また、第２の発明では、正変換と逆変換が
同じアダマール変換を直交変換とするよう構成したの
で、演算上の負荷を軽減し、もって変換処理を高速化す
ることが可能となる。

【００７９】また、第３の発明では、高速アルゴリズム
が適用可能な離散的コサイン変換を直交変換とするよう
構成したので、演算上の負荷を軽減し、もって変換処理
を高速化することが可能となる。

【００８０】また、第４の発明では、Ｇ・Ｐ反復法のよ
うに繰り返しを行うことなく、事前に空間的高周波成分
を推定できるよう学習し、もって１回の変換／逆変換の
みで処理を終わらせることができる多層パーセプトロン
をニューラルネットワークとして用いるよう構成したの
で、解像度変換された高画質な画像を迅速に取得するこ
とが可能となる。

【００８１】また、第５の発明では、ファジー・ニュー
ラルネットワークをニューラルネットワークとして用い
るよう構成したので、より高精細な解像度変換画像を取
得することが可能となる。

【図面の簡単な説明】

【図１】本実施の形態で用いる画像処理装置の基本構成
を示す図である。

【図２】本実施の形態の基本原理を示す図である。

【図３】図１に示す解像度変換処理部の処理行程を模式
的に示す図である。

【図４】図３に示す処理工程に対応するフローチャート
である。

【図５】本実施の形態で用いる多層パーセプトロンを模
式的に示す図である。

【図６】シグモイド関数の説明図である。

【図７】学習データの説明図である。

【図８】本実施の形態で採用するファジー・ニューラル
ネットワークを模式的に示す図である。

【図９】メンバーシップ関数の説明図である。

【図１０】ニューラルネットワークの出力と直交変換結
果との対応を示す図である。

【図１１】高解像度から低解像度へ変換する場合の処理
を示す説明図である。

【図１２】拡大縮小処理の場合の変換処理を示す説明図
である。

【図１３】本実施の形態と従来法との処理結果の比較を
示す図である。

【符号の説明】

１０ 原画像格納部 １２ 解像度変換処理部 １４ 変換画像格納部 Ｘ1 〜Ｘ4 入力値 Ｙ1 〜Ｙ64 出力値 Ｗij，Ｗjk 重み

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 サンプリングした原画像の解像度を所定
   倍に変換する際に、サンプリング時に喪失した空間的高
   周波成分を復元する画像処理方法において、 前記原画像に対して直交変換の正変換を行って空間的低
   周波成分を抽出し、抽出した空間的低周波成分を事前に
   空間的高周波成分を推定できるように学習したニューラ
   ルネットワークに入力し、前記所定倍の解像度変換に応
   じた高周波帯まで周波数領域を拡張してサンプリング時
   に失われた原画像の空間的高周波成分を復元し、 復元した空間的高周波成分及び前記空間的低周波成分に
   対して前記直交変換の逆変換を行って前記原画像の画像
   領域に戻して解像度変換画像を取得することを特徴とす
   る画像処理方法。
2. 【請求項２】 前記直交変換としてアダマール変換を用
   いることを特徴とする請求項１記載の画像処理方法。
3. 【請求項３】 直交変換として離散的コサイン変換を用
   いることを特徴とする請求項１記載の画像処理方法。
4. 【請求項４】 前記ニューラルネットワークとして多層
   パーセプトロンを用いることを特徴とする請求項１記載
   の画像処理方法。
5. 【請求項５】 前記ニューラルネットワークとしてファ
   ジー・ニューラルネットワークを用いることを特徴とす
   る請求項１記載の画像処理方法。