JPH09319866A

JPH09319866A - 画像処理方法

Info

Publication number: JPH09319866A
Application number: JP8132222A
Authority: JP
Inventors: Teruhiko Matsuoka; 輝彦松岡
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-05-27
Filing date: 1996-05-27
Publication date: 1997-12-12
Anticipated expiration: 2016-05-27
Also published as: US6233365B1; EP0810550A2; EP0810550A3; JP3184092B2; DE69719859T2; EP0810550B1; DE69719859D1

Abstract

(57)【要約】【課題】画像の解像度および倍率を変換したときに、
どのような入力画像に対してもエッジ部および斜め線が
滑らかな出力画像を得ることのできる画像処理方法を提
供する。【解決手段】ｎ（ｎ＞１）階調の原画像を入力する画
像データ入力手段１と、入力された原画像に対して解像
度や倍率の変換処理を行う画像データ変換手段２と、変
換画像を出力する画像データ出力手段３とを備える。画
像データ変換手段２は、複数のマトリクスに分割したｎ
階調の入力画像データ毎に、該入力画像毎に学習可能な
階層型ニューラルネットワークを用いて上記変換処理を
行う。これにより、どのような画像が入力されても、そ
れぞれの入力画像毎にネットワークの重みを調整するこ
とができるので、常に最適な変換処理が可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ｎ（ｎ＞１）階調
の入力画像に対して変換処理を施して、画像の解像度や
倍率を変換して、ｎ階調の出力画像を得る画像処理方法
に関するものである。

【０００２】

【従来の技術】従来より、ｎ（ｎ＞１）階調の入力画像
に対して変換処理を施して、画像の解像度や倍率を変換
して、ｎ階調の出力画像を得る画像処理方法として種々
のものが提案されている。

【０００３】画像の解像度を変換する方法として、例え
ば、図７（ａ）に示すように、補間前の画素値を補間後
の周辺の補間画素値として用いる単純補間法や、図７
（ｂ）に示すように、補間前の画素値の平均値を補間後
の画素値として用いる平均法等がある。

【０００４】さらに他の画像の解像度を変換する方法と
して、例えば図７（ｃ）に示すように、補間前の各画素
値を直線で結び、この直線上の値を補間値として用いる
線形補間法がある。現在、この線形補間法が主流となっ
ている。

【０００５】一方、画像の倍率を変換する方法として、
例えば図８（ａ）に示すように、補間前の画素値を補間
後の周辺の変倍画素値として用いる単純補間法や、図８
（ｂ）に示すように、補間前の画素値の平均値を変倍画
素値として用いる平均法等がある。

【０００６】さらに他の画像の倍率を変換する方法とし
て、例えば図８（ｃ）に示すように、補間前の各画素値
を直線で結び、この直線上の値を補間値として用いる線
形補間法がある。現在、この線形補間法が主流となって
いる。

【０００７】ところが、上記の各方法では、解像度変換
処理あるいは変倍処理された画像のエッジ部がボケた
り、斜め線がギザギザになったりして滑らかさが無くな
るという問題が生じる。

【０００８】そこで、例えば特開平６−１２４８６号公
報には、入力画像に対してニューラルネットワークを用
いて非線形な拡大処理を行い、処理後の画像のエッジ部
をハッキリとさせ、斜め線のギザギザを目立たなくして
滑らかさのある画像を得る『画像補正装置』が開示され
ている。

【０００９】上記画像補正装置では、以下のようにして
拡大処理される。先ず、２値画像において、注目画素と
その右隣、下隣、斜下隣の４画素領域を抽出する。次
に、この４画素領域の各画素の値を変更した場合、即ち
注目画素を主走査方向にＫ倍、副走査方向にＬ倍拡大し
た場合、この拡大した領域の画素が周囲の画素と滑らか
に接続できるような拡大領域の画素を統計的に調べ、そ
の結果を教師信号とし、また、４画素領域の各画素の値
を入力信号として予めニューラルネットワークの学習を
行う。そして、学習後のニューラルネットワークを用い
て、入力された２値画像の拡大処理を行う。

【００１０】

【発明が解決しようとする課題】しかしながら、上記公
報に開示されている拡大処理では、予め用意された統計
的なデータが用いられてニューラルネットワークが学習
されているので、学習後のニューラルネットワークの結
合の重みは固定される。このため、再学習による重みの
微調整ができず、統計的なデータが不十分の場合、入力
画像の種類によっては、滑らかな拡大画像を得ることが
できないという問題が生じる。

【００１１】本発明は、上記の問題点を解決するために
なされたもので、その目的は、どのような画像が入力さ
れても、画像の解像度および倍率を変換したときに、エ
ッジ部および斜め線が滑らかとなるような出力画像を得
ることのできる画像処理方法を提供することにある。

【００１２】

【課題を解決するための手段】請求項１の画像処理方法
は、上記の課題を解決するために、ｎ（ｎ＞１）階調の
入力画像を複数のマトリクスに分割し、これら分割され
たマトリクス毎に、入力画像毎に学習可能な階層型ニュ
ーラルネットワークを用いて解像度変換処理および変倍
処理の少なくとも一方の処理を行い、ｎ階調の処理画像
を出力画像として得ることを特徴としている。

【００１３】上記の構成によれば、入力画像を、分割し
たマトリクス毎に、入力画像毎に学習可能な階層型ニュ
ーラルネットワークを用いて解像度変換処理や変倍処理
を行うようになっているので、出力画像のエッジ部をハ
ッキリさせることができると共に、斜め線をギザギザの
ない滑らかな線にすることができる。しかも、上記階層
型ニューラルネットワークは、入力画像毎に学習可能で
あるので、随時学習が可能となり、ニューラルネットワ
ークの結合の重み調整を入力画像毎にリアルタイムで行
うことができ、入力されるどのような画像に対して入出
力関係を最適にすることができる。

【００１４】このようなリアルタイムに学習可能な階層
型ニューラルネットワークを用いて、分割したマトリク
ス毎に、解像度変換処理および変倍処理の少なくとも一
方の処理が行われると、それぞれの入力画像毎にネット
ワークの重みを調整することができるので、常に最適な
変換処理が可能となる。したがって、どのような入力画
像に対しても、変換処理において生じる問題としてのエ
ッジ部分のボケや、斜め線のギザギザを無くすことがで
きるので、変換後の画像に滑らかさが生じ、変換画像の
品位を向上させることができる。

【００１５】請求項２の画像処理方法に示すように、請
求項１の構成に加えて、階層型ニューラルネットワーク
は、入力画像の各画素の位置情報を入力とし、入力され
た各画素の位置情報における画素値を出力とするように
構成されていることを特徴としている。

【００１６】これにより、請求項１の構成による作用に
加えて、入力画像に対して解像度変換処理や変倍処理を
行うには、階層型ニューラルネットワークは、入力が入
力画像の各画素の位置情報だけで十分であり、また、こ
のときの出力が入力画像の各マトリクス内における各位
置での画素値であるので、ニューラルネットワークにお
ける入出力関係が複雑にならずに、規模が小さく、簡単
な構造のニューラルネットワークを用いることができ
る。

【００１７】また、請求項３の画像処理方法は、上記の
課題を解決するために、請求項１または２の構成に加え
て、解像度変換処理や変倍処理を行う際、初めに上記マ
トリクス内の既存の画素値を教師データとし、その既存
の画素値の位置情報を入力データとして階層型ニューラ
ルネットワークに学習させ、学習終了後、解像度変換処
理では、補間画素の位置情報を入力することによって補
間画素値を得、変倍処理では、変倍後の画素の位置情報
を入力することによって変倍画素値を得ることを特徴と
している。

【００１８】上記の構成によれば、請求項１または２の
構成による作用に加えて、解像度変換処理や変倍処理を
行う際、階層型ニューラルネットワークの学習方法が、
既存画素の位置情報とその既存画素値を用いて行われる
ので、学習のための計算量が少なくて済み、高速に学習
を行うことができる。これにより、画像の解像度変換処
理や変倍処理の高速化を図ることができる。

【００１９】請求項４の画像処理方法は、上記の課題を
解決するために、請求項２または３の構成に加えて、階
層型ニューラルネットワークは、２つのノードからなる
入力層、少なくとも１つ以上のノードからなる中間層、
１つのノードからなる出力層より構成されるバックプロ
パゲーション型ニューラルネットワークであることを特
徴としている。

【００２０】上記の構成によれば、請求項２または３の
構成による作用に加えて、入力画像に対して解像度変換
処理や変倍処理を行う場合、階層型ニューラルネットワ
ークとして、２入力１出力のバックプロパゲーション型
ニューラルネットワークが用いられているので、入出力
関係が簡素であり、簡単なハード構成にて入力画像の変
換処理を行うことができる。

【００２１】請求項５の画像処理方法は、上記の課題を
解決するために、請求項２または３の構成に加えて、階
層型ニューラルネットワークは、２つのノードからなる
入力層、ｂｉｇ、ｍｉｄｄｌｅ、ｓｍａｌｌを表現する
メンバーシップ関数を構成する２つの層からなるメンバ
ーシップ層、２つの入力に対して全てのメンバーシップ
値の組み合わせをとり、ファジィの理論積を得るように
構成されるルール層、１つのノードからなる出力層より
構成されるファジィ・ニューラルネットワークであるこ
とを特徴としている。

【００２２】上記の構成によれば、請求項１、２または
３の構成による作用に加えて、入力画像に対して解像度
変換処理や変倍処理を行う場合、階層型ニューラルネッ
トワークとして、２入力１出力のファジィ・ニューラル
ネットワークが用いられているので、ハード構成上は上
記の請求項４記載のバックプロバケーション型ニューラ
ルネットワークよりも複雑になるものの、より細かい部
分画像の階調曲面を表現することが可能となり、請求項
４のバックプロバケーション型ニューラルネットワーク
より最適な補間画素値あるいは変倍画素値を得ることが
可能となる。

【００２３】

【発明の実施の形態】本発明の実施の一形態について図
１ないし図６に基づいて説明すれば、以下の通りであ
る。

【００２４】本実施の形態に係る画像処理方法を適用し
た画像処理装置は、図１に示すように、画像データ入力
手段１と、画像データ変換手段２と、画像データ出力手
段３とからなり、ｎ（ｎ＞１）階調の原画像を入力し
て、この原画像に対して解像度や倍率の変換処理を施し
てｎ階調の変換画像を出力するようになっている。

【００２５】即ち、画像データ入力手段１は、図示しな
いスキャナ等の画像読取り手段によりｎ階調の原画像を
画像データとして取り込むようになっている。また、画
像データ変換手段２は、後述する方法により画像データ
入力手段１にて入力された画像データに対して解像度や
倍率を変換するようになっている。さらに、画像データ
出力手段３は、画像データ変換手段２にて解像度や倍率
が変換された画像データをメモリ等の記憶手段に記憶
し、その後、この記憶した画像データに対して出力処理
を施して、この処理画像をｎ階調の変換画像として出力
するようになっている。

【００２６】上記画像データ変換手段２は、入力された
原画像に対して解像度や倍率の変換処理を施すために、
画像データ分割手段４、既存画素位置情報／画素値抽出
手段５、既存画素値学習手段６、変換画素位置入力手段
７、変換画素値演算手段８、変換画素値出力手段９を備
えている。

【００２７】上記画像データ分割手段４は、画像データ
入力手段１により取り込まれた画像データ（以下、入力
画像データと称する）を各画素の位置情報に基づいてマ
トリクス状に分割する手段である。このとき、分割され
る一つのマトリクスの大きさは、基本的には入力画像デ
ータよりも小さければ良く、演算の簡略化、高速化を考
慮すれば、マトリクスの縦・横ともに入力画像データの
縦・横の画素数の約数となるようにすれば良い。尚、本
実施の形態では、入力画像データの大きさを２５５×２
５５画素とし、一つのマトリクスの大きさを３×３画素
とする。また、入力画像データは、ｎ＝２５６階調、縦
・横３００ｄｐｉ×３００ｄｐｉの解像度とする。

【００２８】既存画素位置情報／画素値抽出手段５は、
画像データ分割手段４で３×３画素の大きさのマトリク
スに分割された入力画像データ（以下、部分画像データ
と称する）に含まれる各画素の位置情報とそれぞれの位
置での画素値とを階層型ニューラルネットワークの入力
データおよび教師データとして抽出し、これら各データ
を図示しないメモリに一時的に格納させる手段である。
尚、変倍処理を行うとき、既存画素位置情報／画素値抽
出手段５にて抽出する各画素の位置情報は、変倍後の位
置情報とする。

【００２９】上記の画素値とは、画像データの各画素に
おける濃度値や輝度値等の階調を表す値である。また、
この画素値から得られる教師データは、階層型ニューラ
ルネットワークがそれぞれの入力値に対して正しい出力
値を出力できるように目標値として与えるデータであ
る。つまり、上記の階層型ニューラルネットワークは、
出力値がこの教師データに近づくようにネットワークの
結合の重みを変化させていくようになっている。

【００３０】既存画素値学習手段６は、既存画素位置情
報／画素値抽出手段５でメモリに格納させた画像データ
の位置情報および上記画像データの各位置での画素値を
入力データおよび教師データとして階層型ニューラルネ
ットワークに与えて、該ニューラルネットワークを学習
させる。この学習回数は、最高１０００回程度とする。
しかしながら、学習誤差が５％程度になった場合には、
学習回数が１０００回に満たなくとも学習を終了する。
この学習方法については、後述する。

【００３１】本実施の形態では、上記の階層型ニューラ
ルネットワークとして、バックプロパゲーション型ニュ
ーラルネットワークとファジィ・ニューラルネットワー
クとを用いた場合について説明する。尚、各階層型ニュ
ーラルネットワークの詳細は、上記学習方法と共に後述
する。

【００３２】上記既存画素値学習手段６において、階層
型ニューラルネットワークの学習が行われると、図２に
示すように、既存の画素値を非線形な曲線で結んだとき
に形成される階調曲面が得られる。図２では、●は既存
画素を、○は変換により補間された画素を示し、ｘ、ｙ
はそれぞれ入力画素データのｘ軸、ｙ軸を示し、ｚ軸は
画素値を示し、入力画像データのｘ軸、ｙ軸の解像度が
それぞれ２倍となるような解像度変換を行った結果を示
している。

【００３３】変換画素位置入力手段７は、既存画素値学
習手段６で学習された階層型のニューラルネットワーク
に対して、変換後の各画素の位置情報を入力する手段で
ある。図２における○のｘとｙの値が、変換後の各画素
の位置情報である。

【００３４】変換画素値演算手段８は、変換画素位置入
力手段７にて位置情報の入力された階層型ニューラルネ
ットワークによりそれぞれの位置での画素値を演算して
求める。求めて得られた結果が、図２における○で示さ
れた部分であり、それぞれの○のｚの値が補間画素値と
なる。

【００３５】変換画素値出力手段９は、変換画素値演算
手段８での演算により求められた変換画素値をメモリに
記憶させ、その後画像データ出力手段３に変換後の画像
データとして出力するようになっている。

【００３６】ここで、上記既存画素値学習手段６で使用
される２種類の階層型ニューラルネットワークについ
て、図３ないし図６に基づいて以下に説明する。

【００３７】先ず、バックプロパゲーション型ニューラ
ルネットワークについて説明する。本ニューラルネット
ワークは、図３に示すように、２入力１出力となってお
り、入力層１１、中間層１２、出力層１３の３層で構成
されている。上記ニューラルネットワークにおいて、２
つの入力項目はそれぞれ画素の位置情報であり、１つの
出力項目は入力された画素位置における画素値である。

【００３８】入力層１１は、入力値Ｘ１が入力されるノ
ードＡ１、入力値Ｘ２が入力されるノードＡ２の２つの
ノードからなる。参照符Ｘ１・Ｘ２は、画素の位置情
報、即ちＸ１は画素のｘ軸の位置情報、Ｘ２は画素のｙ
軸の位置情報を示す。

【００３９】中間層１２は、９つのノードＤ１〜Ｄ９か
らなり、これらノードＤ１〜Ｄ９は入力層１１のノード
Ａ１と重みＷ11〜Ｗ19で結合されると共に、入力層１１
のノードＡ２と重みＷ21〜Ｗ29で結合されている。この
重みＷ11〜Ｗ19、Ｗ21〜Ｗ29は、後述する学習により調
整するようになっている。

【００４０】尚、中間層１２のノード数は、サンプルの
画像データを用いて中間層１２におけるノード数を１か
ら順に１個ずつ増やして学習させたときに、一番精度良
く学習できたときのノード数を用いるようになってい
る。したがって、本実施の形態のように、中間層１２の
ノード数を９個に限定するものではなく、学習精度を考
慮して任意のノード数にしても良い。

【００４１】出力層１３は、１つのノードＥ１からな
り、このノードＥ１は中間層１２のノードＤ１〜Ｄ９と
重みＶ11〜Ｖ91で結合されている。この重みＶ11〜Ｖ91
は、後述する学習により決定され、出力値Ｙ１として出
力されるようになっている。

【００４２】上記のように構築されたバックプロパゲー
ション型のニューラルネットワークの学習方法について
以下に説明する。

【００４３】先ず、入力層１１から出力層１３までの順
方向の演算について説明する。最初に、入力層１１では
部分画像データの位置情報を入力データ（Ｘ１・Ｘ２）
として入力し、そのまま中間層１２に出力する。即ち、
以下の（１）式に示すようになる。

【００４４】

【数１】

【００４５】ここで、Ｉ_iは入力層１１の各ノードから
の出力値であり、例えばノードＡ１からの出力値はＩ₁
となり、ノードＡ２からの出力値はＩ₂となる。また、
Ｘｉは画素の位置情報を表す入力データを表し、例えば
Ｘ１は画素のｘ軸の位置情報、Ｘ２は画素のｙ軸の位置
情報を表す入力データを表す。

【００４６】次に、中間層１２では、入力層１１からの
出力値に基づいて演算が行われ、各ノードＤ１〜Ｄ９の
出力値が決定される。即ち、入力層１１と中間層１２と
の間では、以下の（２）式による演算が行われる。

【００４７】

【数２】

【００４８】ここで、Ｈ_jは中間層１２の各ノードから
の出力値であり、例えばノードＤ１からの出力値は
Ｈ₁、ノードＤ２からの出力値はＨ₂となる。また、Ｗ
_ijは入力層１１の各ノードと中間層１２の各ノードとの
結合の度合いを示す重みであり、例えば入力層１１のノ
ードＡ１と中間層１２のノードＤ１との結合の重みはＷ
₁₁である。また、θ１_jは中間層１２の各ノードにおけ
るオフセット値である。

【００４９】上記の（２）式の（Ｉ_i・Ｗ_ij＋θ１_j）
を入力値Ｘとした場合、ｆ（Ｘ）は入力値Ｘに対して単
調に増加する非線形な単調増加関数であり、例えば図４
に示すようなシグモイド関数が適用される。このシグモ
イド関数は、以下の（３）式で表される。

【００５０】

【数３】

【００５１】最後に、出力層１３では、中間層１２から
の出力値に基づいて演算が行われ、ノードＥ１の出力値
が決定される。即ち、中間層１２と出力層１３との間で
は、以下の（４）式による演算が行われる。

【００５２】

【数４】

【００５３】ここで、Ｏｋは出力層１３のノードＥ１か
らの出力値Ｙ１である。また、Ｖ_jkは中間層１２の各ノ
ードＤ１〜Ｄ９と出力層１３のノードＥ１との結合の度
合いを示す重みであり、例えば中間層１２のノードＤ１
とノードＥ１との結合の重みはＶ₁₁である。また、θ２
_kは出力層１３のノードＥ１におけるオフセット値であ
る。

【００５４】上記の（４）式の（Ｈ_j・Ｖ_jk＋θ２_k）
を入力値Ｘとした場合、ｆ（Ｘ）は入力値Ｘに対して単
調に増加する非線形な単調増加関数であり、上述した
（２）式と同様に、例えば図４に示すようなシグモイド
関数が適用される。

【００５５】次に、学習のための逆方向の演算について
以下に説明する。この学習の目的は、ニューラルネット
ワークにおける最適な入出力関係を得ることであり、こ
のために、教師データを目標にして、ネットワーク中の
結合の重みを微調整するようになっている。以下に、ネ
ットワークの結合の重みの微調整の方法について説明す
る。

【００５６】先ず、出力層１３のノードＥ１の出力値と
教師データとの２乗誤差を、以下の（５）式を用いて計
算する。

【００５７】

【数５】

【００５８】ここで、Ｅｋは教師データと出力値との２
乗誤差であり、Ｔｋは教師データである。つまり、この
学習の目的は、上記Ｅｋを小さくすることになる。そこ
で、以下の（６）式を用いて、ＥｋをＯｋで偏微分する
ことにより、ＯｋによるＥｋへの影響を求める。

【００５９】

【数６】

【００６０】更に、中間層１２と出力層１３との間の結
合の重みＶ_jkによるＥｋへの影響、および入力層１１と
中間層１２との間の結合の重みＷ_ijによるＥｋへの影響
を、以下の（７）・（８）式を用いて求める。

【００６１】

【数７】

【００６２】

【数８】

【００６３】上記の（７）・（８）式を用いて求めたＥ
ｋへの影響に基づき、以下の（９）・（１０）式を用い
て各結合の重みを微調整する。

【００６４】

【数９】

【００６５】

【数１０】

【００６６】ここで、αは微調整する度合いを示す値で
あり、通常０．０５〜０．２５ぐらいの値を用いる。ま
た、ｔは学習回数を表している。

【００６７】したがって、上記（９）・（１０）式で
は、現在の結合の重み（Ｖ_jk、Ｗ_ij）に微調整する値を
加えて、次回の演算／学習のときの結合の重みとしてい
る。

【００６８】以上のように、上記のアルゴリズムに従っ
て繰り返し学習を行い、結合の重みを修正していくこと
で、教師データと出力値との２乗誤差をある程度まで小
さくできるようになる。そして、予め設定された学習回
数、もしくは誤差の値が誤差の許容値以下になった時点
で学習を終了する。尚、本実施の形態では、前述した通
り規定の学習回数を１０００回とし、誤差の許容値は５
％とし、学習回数が１０００回あるいは誤差が５％以下
になった時点で学習を終了するようになっている。

【００６９】このように学習されたバックプロパゲーシ
ョン型ニューラルネットワークにより、解像度変換処理
や変倍処理を入力された画像の全ての部分画像に対して
行うことによって、入力された画像が変換処理され、解
像度が変換された画像、もしくは倍率が変換された画像
となる。

【００７０】次に、ファジィ・ニューラルネットワーク
について説明する。本ニューラルネットワークは、図５
に示すように、２入力１出力となっており、入力層２
１、中間層としてのメンバーシップ層前半部２２、メン
バーシップ層後半部２３、ルール層２４、および出力層
２５の５つの層からなり、２層目と３層目を合わせてメ
ンバーシップ層を構築している。上記ファジィ・ニュー
ラルネットワークにおいて、２つの入力項目はそれぞれ
画素の位置情報であり、１つの出力項目は入力された画
素位置における画素値である。

【００７１】上記のファジィ・ニューラルネットワーク
における各層のノードとノードとの間の結合は以下のよ
うにして構成される。

【００７２】先ず、入力層２１は、入力項目毎に２つの
ノードＡ１、Ａ２およびノードＡ３、Ａ４で構成されて
おり、ノードＡ２、Ａ４にはそれぞれ定数１が入力さ
れ、ノードＡ１には入力値Ｘ１（ｘ軸の位置情報）が入
力され、ノードＡ３には入力値Ｘ２（ｙ軸の位置情報）
が入力されるようになっている。

【００７３】次に、メンバーシップ層では、各入力項目
毎に、図６に示すような、ｂｉｇ、ｍｉｄｄｌｅ、ｓｍ
ａｌｌのメンバーシップ関数が構成されている。

【００７４】従って、メンバーシップ層前半部２２で
は、ノードＢ１〜Ｂ４、ノードＢ５〜Ｂ８の各４つのノ
ードを構成し、ノードＢ１〜Ｂ４では定数１と入力値Ｘ
１とを結合させ、ノードＢ５〜Ｂ８では定数１と入力値
Ｘ２とを結合させる一方、メンバーシップ層後半部２３
では、ノードＣ１〜Ｃ３、ノードＣ４〜Ｃ５の各３つの
ノードを構成し、メンバーシップ層前半部２２の１つま
たは２つのノードを結合させるようになっている。

【００７５】即ち、メンバーシップ層前半部２２の１つ
のノードを結合させる部分であるノードＣ１、Ｃ４は、
ｂｉｇのメンバーシップ関数を構成する部分となり、ノ
ードＣ３、Ｃ６は、ｓｍａｌｌのメンバーシップ関数を
構成する部分となる。また、メンバーシップ層前半部２
２の２つのノードを結合させる部分であるノードＣ２、
Ｃ５は、ｍｉｄｄｌｅを構成する部分となる。

【００７６】上記構成のメンバーシップ層の各ノード
は、１入力項目毎に必ず構成されるものであり、入力項
目毎のノード数は固定である。本実施の形態では、１入
力項目に対するメンバーシップ層前半部２２のノード数
は４、メンバーシップ層後半部２３のノード数は３とな
っている。

【００７７】次いで、ルール層２４では、メンバーシッ
プ層後半部２３の入力値Ｘ１に関係するノードＣ１に対
して入力値Ｘ２に関係するノードＣ４〜Ｃ６のそれぞれ
と論理積を取るようにノードＤ１〜Ｄ３が構成されてい
る。同様にして入力値Ｘ１に関係するノードＣ２に対し
て入力値Ｘ２に関係するノードＣ４〜Ｃ６のそれぞれと
論理積を取るようにノードＤ４〜Ｄ６が構成され、入力
値Ｘ１に関係するノードＣ３に対して入力値Ｘ２に関係
するノードＣ４〜Ｃ６のそれぞれと論理積を取るように
ノードＤ７〜Ｄ９が構成されている。即ち、ルール層２
４では、２つの入力値Ｘ１・Ｘ２に対して全てのメンバ
ーシップ値の組み合わせをとり、ファジィの論理積を得
るように構成されている。

【００７８】最後に、出力層２５では、ルール層２４か
らの出力を全て結合し、入力画像の各画素位置での画素
値である出力値Ｙ１を出力する１つのノードＥ１を有し
ている。

【００７９】このようにして構成されたファジィ・ニュ
ーラルネットワークのノード間の結合部分には、結合毎
に全て重みがある。

【００８０】従って、入力層２１とメンバーシップ層前
半部２２との結合部分では、メンバーシップ関数のセン
ター値（メンバーシップ関数の出力値が０．５となると
きの入力値）が重みＷｃ₁₁〜Ｗｃ₁₄およびＷｃ₂₁〜Ｗｃ
₂₄となっている。

【００８１】即ち、メンバーシップ関数は、前述したよ
うに３種類あり、それぞれのメンバーシップ関数のセン
ター値は各重みと一致している。例えば、入力値Ｘ１の
ｂｉｇを表すメンバーシップ関数のセンター値の重みは
Ｗｃ11であり、ｍｉｄｄｌｅを表すメンバーシップ関数
のセンター値の重みはＷｃ12とＷｃ13であり、ｓｍａｌ
ｌを表すメンバーシップ関数のセンター値の重みはＷｃ
14である。尚、ｍｉｄｄｌｅは、２つのメンバーシップ
関数の論理積の形となっているので、２つのセンター値
を有している。

【００８２】次に、メンバーシップ層前半部２２とメン
バーシップ層後半部２３との結合部分では、メンバーシ
ップ関数の傾きが重みＷｇ11〜Ｗｇ14およびＷｇ21〜Ｗ
ｇ24となっている。この場合、メンバーシップ関数の傾
きが各重みと一致している。例えば、入力値Ｘ１のｂｉ
ｇを表すメンバーシップ関数の傾きの重みはＷｇ₁₁であ
り、ｍｉｄｄｌｅを表すメンバーシップ関数の傾きの重
みはＷｇ12とＷｇ13であり、ｓｍａｌｌを表すメンバー
シップ関数の傾きの重みはＷｇ14である。尚、ｍｉｄｄ
ｌｅは、２つのメンバーシップ関数の論理積の形となっ
ているので、２つの傾きを有している。

【００８３】最後に、ルール層２４と出力層２５との結
合部分では、エキスパートから得た知識が重みＷｆ1 〜
Ｗｆ9 となっている。このエキスパートから得た知識で
は、出力値が大きくなるような入力値の組み合わせのル
ールの重みは１に近い値とし、出力値が小さくなるよう
な入力値の組み合わせのルールの重みは０に近い値とす
る。それ以外のルールの重みは０．５に初期設定してお
く。

【００８４】また、上述した結合部分以外の結合部分の
重み、例えばメンバーシップ層後半部２３とルール層２
４との結合部分の重みは、１で固定されている。

【００８５】上記構成のファジィ・ニューラルネットワ
ークにおいて、各層の出力値を求める方法について以下
に説明する。尚、入力層２１の出力値は、入力値と同じ
であるので説明は省略する。

【００８６】メンバーシップ層は、以下の（１１）式に
示すように、２層目でメンバーシップ関数のセンター値
Ｗｃ11〜Ｗｃ14およびＷｃ21〜Ｗｃ24を加える。

【００８７】

【数１１】

【００８８】ここで、ｘは入力層２１の出力値、Ｗｃは
メンバーシップ関数のセンター値、Ｈは２層目の出力で
ある。また、ｉは各入力項目の数であり、ｊはｂｉｇの
とき１、ｍｉｄｄｌｅのとき２または３、ｓｍａｌｌの
とき４となっている。

【００８９】上記（１１）式は、後に代入する以下の
（１２）式に示すようなシグモイド関数の原点の位置を
メンバーシップ関数のセンター値の位置に合わせること
を示している。

【００９０】次に、以下の（１３）式に示すように、３
層目でメンバーシップ関数の傾きを掛けてシグモイド関
数に代入することにより、その入力値の各領域でのメン
バーシップ関数の出力値を得るようになっている。尚、
ｍｉｄｄｌｅの場合は（１３）式の代わりに以下の（１
４）式を用いる。

【００９１】

【数１２】

【００９２】

【数１３】

【００９３】

【数１４】

【００９４】ここで、Ｗｇはメンバーシップ関数の傾き
の値、ｆ（Ｘ）はシグモイド関数、Ｍはメンバーシップ
関数の出力値、ｍｉｎ｛ｆ（Ｘ１），ｆ（Ｘ２）｝はｆ
（Ｘ１）とｆ（Ｘ２）との論理積を示す。また、ｋはメ
ンバーシップ層後半部２３のノードの番号であり、θは
ｂｉｇのとき１、ｍｉｄｄｌｅのとき２、ｓｍａｌｌの
とき３となっている。また、上記（１４）式では、論理
積を計算することにより、ｍｉｎのカッコの中の２つの
関数のうち、小さい方の値を選択することになる。

【００９５】次いで、ルール層２４では、以下の（１
５）式を用いてＡＮＤルールの計算が行われる。即ち、
２つの入力項目の中で、それぞれ３つの領域（ｂｉｇ、
ｍｉｄｄｌｅ、ｓｍａｌｌ）から１つずつ選び、その２
つのメンバーシップ出力値の論理積の計算が行われる。

【００９６】

【数１５】

【００９７】ここで、ＲはＡＮＤルールの出力値であ
り、ｋ１とｋ２はメンバーシップ層後半部２３のノード
番号である。また、ここでも論理積の計算により、ｍｉ
ｎのカッコの中の２つの関数のうち、小さい方の値を選
択することになる。

【００９８】最後に、出力層２５では、以下の（１６）
式を用いて出力値の計算が行われる。即ち、ファジィル
ールの前件部命題（例：Ｘ１がｂｉｇである）によって
得られた各ＡＮＤルールの出力値とそのルールからの結
合の重みの値Ｗｆを掛け合わせて、それをＡＮＤルール
の出力全体の合計値で割ったものの総和を取ることで計
算が行われる。

【００９９】

【数１６】

【０１００】ここで、ｎはルール層２４のノード番号で
ある。

【０１０１】以上が、上記のファジィ・ニューラルネッ
トワークに入力値を代入してから出力値を得るまでの計
算の過程を示す。尚、上記構成のファジィ・ニューラル
ネットワークを初めに構築した状態では、各層のノード
間の結合の重みの値は各層毎に決まった値を有してお
り、入力値を代入しても、出力値はでたらめな値であ
り、対象物の入出力関係を正しくシミュレートできな
い。そこで、正しくシミュレートするために、結合の重
みの調整を行う必要がある。これがファジィ・ニューラ
ルネットワークにおける学習である。

【０１０２】上記ファジィ・ニューラルネットワークに
おける学習について以下に説明する。

【０１０３】対象物の入出力関係を表したサンプルデー
タの出力値を教師データＴとし、以下の（１７）式を用
いて、この教師データＴと、サンプルデータの入力値
（Ｘ１、Ｘ２、…、Ｘｎ）から上記の（１１）〜（１
６）式によって得られた出力値ｙとの２乗誤差を用い
る。

【０１０４】

【数１７】

【０１０５】ここで、Ｅは教師データＴと出力値ｙとの
２乗誤差を表す。この誤差を少なくすることによって対
象物の入出力関係が正しくシミュレートできているもの
と判断する。

【０１０６】この誤差を減らす方法として、バックプロ
パゲーション法に基づいて学習アルゴリズムを用いる。
以下、この学習アルゴリズムについて説明する。

【０１０７】上記（１７）式をｙにおいて偏微分する
と、以下の（１８）式に示すようになる、これが、誤差
に対する出力値ｙの影響を示す。

【０１０８】

【数１８】

【０１０９】次いで、上記（１７）式をＷｆにおいて偏
微分すると、以下の（１９）式に示すようになる。この
とき、上記（１７）式のｙに上記（１６）式を代入す
る。

【０１１０】

【数１９】

【０１１１】次に、上記（１７）式をＷｇ、Ｗｃにおい
てそれぞれ偏微分すると、以下の（２０）（２１）式に
示すようになる。このとき、上記（１７）式に、上記
（１６）式、（１５）式および（１４）式、または（１
３）式、（１１）式を代入する。

【０１１２】

【数２０】

【０１１３】

【数２１】

【０１１４】上記（１９）〜（２１）式までが誤差に対
するそれぞれの結合の重みの影響を示す。ここで、上記
（２０）式および（２１）式におけるｒは修正すべきメ
ンバーシップ関数を実現している重みからＡＮＤルール
の出力として選択された数だけ、ルール層２４のノード
からの誤差の総和を取っている。

【０１１５】これらの影響が少なくなる方向に重みを修
正することによって、全体的に誤差を減らすようにす
る。この修正する量は、以下の（２２）〜（２４）式に
示すようになる。

【０１１６】

【数２２】

【０１１７】

【数２３】

【０１１８】

【数２４】

【０１１９】ここで、α、β、γは学習パラメータであ
り、影響を小さくする重みの修正量を決定するためのパ
ラメータである。このパラメータを用いて、以下の（２
５）〜（２７）式に示すような修正が行われる。

【０１２０】

【数２５】

【０１２１】

【数２６】

【０１２２】

【数２７】

【０１２３】以上のような学習アルゴリズムに従って繰
り返し学習を行い、重みを修正することで誤差を小さく
している。そして、誤差の値が予め設定した誤差の許容
値以下になった時点で学習を終了とする。この誤差の許
容値は予め設定されるものであり、本実施の形態では５
％以下になった時点で学習を終了するものとする。

【０１２４】このように学習されたファジィ・ニューラ
ルネットワークにより、解像度変換処理や変倍処理を、
入力された画像の全ての部分画像に対して行うことによ
って、上述したバックプロパゲーション型ニューラルネ
ットワークよりも適切に入力された画像が変換処理さ
れ、解像度が変換された画像、もしくは倍率が変換され
た画像を得ることができる。

【０１２５】本実施の形態における画像処理方法では、
解像度変換処理や変倍処理を行う際、先ず、上記画像デ
ータ分割手段４にて分割されたマトリクス内の既存の画
素の画素値を教師データとし、その既存の画素の画素値
に対応する位置情報を入力データとして既存画素値学習
手段６にて階層型ニューラルネットワークに学習させ、
学習終了後、解像度変換処理であれば、補間画素の位置
情報を入力することによって補間画素値を得、変倍処理
であれば、変倍後の画素の位置情報を入力することによ
って変倍画素値を得るようになっている。

【０１２６】このように、入力画像を、分割したマトリ
クス毎に、入力画像毎に学習可能な階層型ニューラルネ
ットワークであるバックプロパゲーション型ニューラル
ネットワークやファジィ・ニューラルネットワークを用
いて解像度変換処理や変倍処理が行われるので、出力画
像のエッジ部をハッキリさせることができると共に、斜
め線をギザギザのない滑らかな線にすることができる。

【０１２７】しかも、上記階層型ニューラルネットワー
クは、入力画像毎に学習可能であるので、入力されるど
のような画像に対して入出力関係を最適にすることがで
きる。このようなリアルタイムに学習可能な階層型ニュ
ーラルネットワークを用いて、分割したマトリクス毎
に、解像度変換処理および変倍処理の少なくとも一方の
処理が行われると、それぞれの入力画像毎にネットワー
クの重みを調整することができるので、常に最適な変換
処理が可能となる。

【０１２８】したがって、どのような入力画像に対して
も、変換処理において生じる問題としてのエッジ部分の
ボケや、斜め線のギザギザを無くすことができるので、
変換後の画像に滑らかさが生じ、変換画像の品位を向上
させることができる。

【０１２９】また、上記画像処理方法における階層型ニ
ューラルネットワークは、入力画像の各画素の位置情報
を入力とし、入力された各画素の位置情報における画素
値を出力とするように構成されている。

【０１３０】このように、入力画像に対して解像度変換
処理や変倍処理を行うには、階層型ニューラルネットワ
ークは、入力が入力画像の各画素の位置情報だけで十分
であり、また、このときの出力が入力画像の各マトリク
ス内における各位置での画素値であるので、ニューラル
ネットワークにおける入出力関係が複雑にならずに、規
模が小さく、簡単な構造のニューラルネットワークを用
いることができる。

【０１３１】さらに、本画像処理方法では、解像度変換
処理や変倍処理を行う際、階層型ニューラルネットワー
クの学習方法が、既存画素の位置情報とその既存画素値
を用いて行われるので、学習のための計算量が少なくて
済み、高速に学習を行うことができる。これにより、画
像の解像度変換処理や変倍処理の高速化を図ることがで
きる。

【０１３２】そして、入力画像に対して解像度変換処理
や変倍処理を行う場合、画像処理方法に適用される階層
型ニューラルネットワークとしてバックプロパゲーショ
ン型ニューラルネットワークが用いられているので、入
力画像に対して解像度変換処理や変倍処理を行う場合、
簡素なハード構成にて入力画像の変換処理を行うことが
できる。

【０１３３】さらに、入力画像に対して解像度変換処理
や変倍処理を行う場合、階層型ニューラルネットワーク
として、２入力１出力のファジィ・ニューラルネットワ
ークが用いられているので、ハード構成上は上記のバッ
クプロバケーション型ニューラルネットワークよりも複
雑になるものの、より細かい部分画像の階調曲面を表現
することが可能となり、バックプロバケーション型ニュ
ーラルネットワークより最適な補間画素値あるいは変倍
画素値を得ることが可能となる。

【０１３４】尚、本実施の形態では、階層型ニューラル
ネットワークとして、図３に示すバックプロパゲーショ
ン型ニューラルネットワークや、図５に示すファジィ・
ニューラルネットワークを用いたが、これらに限定する
ものではなく、入力層から出力層へ向かう結合のみがあ
る他の階層型ニューラルネットワークを用いても同様の
効果を奏する。

【０１３５】

【発明の効果】請求項１の発明の画像処理方法は、以上
のように、ｎ（ｎ＞１）階調の入力画像を複数のマトリ
クスに分割し、これら分割されたマトリクス毎に、入力
画像毎に学習可能な階層型ニューラルネットワークを用
いて解像度変換処理および変倍処理の少なくとも一方の
処理を行い、ｎ階調の処理画像を出力画像として得る構
成である。

【０１３６】それゆえ、どのような画像が入力されて
も、それぞれの入力画像毎にネットワークの重みを調整
することができるので、常に最適な変換処理が可能とな
る。これにより、各変換処理において生じる問題として
のエッジ部分のボケや、斜め線のギザギザを無くすこと
ができるので、変換後の画像に滑らかさが生じ、変換画
像の品位を向上させることができるという効果を奏す
る。

【０１３７】請求項２の発明の画像処理方法は、以上の
ように、請求項１の構成に加えて、階層型ニューラルネ
ットワークは、入力画像の各画素の位置情報を入力と
し、入力された各画素の位置情報における画素値を出力
とするように構成されている。

【０１３８】それゆえ、請求項１の構成による効果に加
えて、階層型ニューラルネットワークとして、規模が小
さく、簡単な構造のニューラルネットワークを用いるこ
とができるという効果を奏する。

【０１３９】請求項３の発明の画像処理方法は、以上の
ように、請求項１または２の構成に加えて、解像度変換
処理や変倍処理を行う際、初めに上記マトリクス内の既
存の画素値を教師データとし、その既存の画素値の位置
情報を入力データとして階層型ニューラルネットワーク
に学習させ、学習終了後、解像度変換処理では、補間画
素の位置情報を入力することによって補間画素値を得、
変倍処理では、変倍後の画素の位置情報を入力すること
によって変倍画素値を得る構成である。

【０１４０】それゆえ、請求項１または２の構成による
効果に加えて、解像度変換処理や変倍処理を行う際、階
層型ニューラルネットワークの学習方法が、既存画素の
位置情報とその既存画素値を用いて行われるので、学習
のための計算量が少なくて済み、高速に学習を行うこと
ができる。これにより、画像の解像度変換処理や変倍処
理の高速化を図ることができるという効果を奏する。

【０１４１】請求項４の発明の画像処理方法は、以上の
ように、請求項２または３の構成に加えて、階層型ニュ
ーラルネットワークは、２つのノードからなる入力層、
少なくとも１つ以上のノードからなる中間層、１つのノ
ードからなる出力層より構成されるバックプロパゲーシ
ョン型ニューラルネットワークである。

【０１４２】それゆえ、請求項２または３の構成による
効果に加えて、入力画像に対して解像度変換処理や変倍
処理を行う場合、階層型ニューラルネットワークとし
て、２入力１出力のバックプロパゲーション型ニューラ
ルネットワークが用いられているので、簡素なハード構
成にて入力画像の変換処理を行うことができるという効
果を奏する。

【０１４３】請求項５の発明の画像処理方法は、以上の
ように、請求項２または３の構成に加えて、階層型ニュ
ーラルネットワークは、２つのノードからなる入力層、
ｂｉｇ、ｍｉｄｄｌｅ、ｓｍａｌｌを表現するメンバー
シップ関数を構成する２つの層からなるメンバーシップ
層、２つの入力に対して全てのメンバーシップ値の組み
合わせをとり、ファジィの理論積を得るように構成され
るルール層、１つのノードからなる出力層より構成され
るファジィ・ニューラルネットワークである。

【０１４４】それゆえ、請求項２または３の構成による
効果に加えて、入力画像に対して解像度変換処理や変倍
処理を行う場合、階層型ニューラルネットワークとし
て、２入力１出力のファジィ・ニューラルネットワーク
が用いられているので、ハード構成上は上記の請求項４
記載のバックプロバケーション型ニューラルネットワー
クよりも複雑になるものの、より細かい部分画像の階調
曲面を表現することが可能となり、請求項４のバックプ
ロバケーション型ニューラルネットワークより最適な補
間画素値あるいは変倍画素値を得ることができるという
効果を奏する。

【図面の簡単な説明】

【図１】本発明の画像処理方法を適用した画像処理装置
の概略ブロック図である。

【図２】階調曲面を示す説明図である。

【図３】図１に示す画像処理装置に適用される階層型ニ
ューラルネットワークとしてのバックプロパゲーション
型のニューラルネットワークを示す模式図である。

【図４】シグモイド関数を示すグラフである。

【図５】図１に示す画像処理装置に適用される階層型ニ
ューラルネットワークとしてのファジィ・ニューラルネ
ットワークを示す模式図である。

【図６】メンバーシップ関数を示すグラフである。

【図７】従来の画像処理方法における解像度変換方法を
示す説明図である。

【図８】従来の画像処理方法における変倍処理方法を示
す説明図である。

【符号の説明】

１画像データ入力手段２画像データ変換手段３画像データ出力手段４画像データ分割手段５既存画素位置情報／画素値抽出手段６既存画素値学習手段７変換画素位置入力手段８変換画素値演算手段９変換画素値出力手段

Claims

【特許請求の範囲】

【請求項１】ｎ（ｎ＞１）階調の入力画像を複数のマト
リクスに分割し、これら分割されたマトリクス毎に、入
力画像毎に学習可能な階層型ニューラルネットワークを
用いて解像度変換処理および変倍処理の少なくとも一方
の処理を行い、ｎ階調の処理画像を出力画像として得る
ことを特徴とする画像処理方法。
【請求項２】上記階層型ニューラルネットワークは、入
力画像の各画素の位置情報を入力とし、入力された各画
素の位置情報における画素値を出力とするように構成さ
れていることを特徴とする請求項１記載の画像処理方
法。
【請求項３】上記変換処理を行う際、先ず、入力される
画像のマトリクス内の既存の画素値を教師データとし、
その既存の画素値の位置情報を入力データとして階層型
ニューラルネットワークに学習させ、学習終了後、上記
変換処理が解像度変換処理であれば、補間画素の位置情
報を入力することによって補間画素値を得、また、変倍
処理であれば、変倍後の画素の位置情報を入力すること
によって変倍画素値を得ることを特徴とする請求項１ま
たは２記載の画像処理方法。
【請求項４】上記階層型ニューラルネットワークは、２
つのノードからなる入力層、少なくとも１つ以上のノー
ドからなる中間層、１つのノードからなる出力層より構
成されるバックプロパゲーション型ニューラルネットワ
ークであることを特徴とする請求項２または３記載の画
像処理方法。
【請求項５】上記階層型ニューラルネットワークは、２
つのノードからなる入力層、ｂｉｇ、ｍｉｄｄｌｅ、ｓ
ｍａｌｌを表現するメンバーシップ関数を構成する２つ
の層からなるメンバーシップ層、２つの入力に対して全
てのメンバーシップ値の組み合わせをとり、ファジィの
理論積を得るように構成されるルール層、１つのノード
からなる出力層より構成されるファジィ・ニューラルネ
ットワークであることを特徴とする請求項２または３記
載の画像処理方法。