JPH0272491A - 画像変換処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 Ａ　産業上の利用分野 本発明は、画像人力データに対して特定の画像変換処理
を施す画像変換処理装置に関し、特に、ニューロンに対
応する信号処理を行う所謂ニューラルネットワーク（Ｎ
ｅｕｒａｌ　Ｎｅｔｗｏｒｋ　：　神経回路ｙＩ）を用
いた画像変換処理装置に関する。

Ｂ　発明の（既習 本発明は、それぞれニューロンに対応する信号処理を行
う複数のユニットにて構成された入力層、中間層および
出力層から成る学習機能を有するニューラルネットワー
クにて画像変換処理装置を構成することにより、任意の
画像入力データに対して特定の画像変換処理を施すこと
ができるようにしたものである。

Ｃ従来の技術 一般に、ディジクルプロセッサによる画像変換処理は、
画像の白黒反転処理、フィルタリング処理、細線化処理
、輪郭抽出処理等の各種画像変換処理の徂み合わせによ
り行われ、従来、人力画像データについて第１の画像変
換処理アルゴリズムにより第１の中間画像データを得て
、さらに次の第２の画像変換処理アルゴリズムにより第
２の中間画像データを得るという手順で、特定の画像処
理に必要な複数単位の各種画像変換処理アルゴリズムに
よる画像変換処理を順番に施すことによって、特定の画
像変換処理を行うようにしている。

また、従来より、ニューロンに対応する信号処理を行う
ニューラルネットワークによる信号処理システムの研究
開発が進められており、例えば、第４図に示すように、
入力Ｊｆｆｉ（３１）と出力層（３３）の間に中間層（
３２）を有する多層構造のニューラルネットワークにお
いて、その学習アルゴリズムとして例えばハックプロパ
ゲーション（Ｂａｃｋ　ｐｒｏρａｇａＬｉｏｎ　：逆
伝播）学習則ｒ　’Ｐａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂ
ｕｔｅｄＰｒｏｃｅｓｓｉｎｇＪＶｏｌ、Ｉ　Ｔｈｅ旧
Ｔ　Ｐｒｅｓｓ　１９８６　　や日経エレクトロニクス
１９８７年８月ｌＯ日号、　Ｎｏ、４２７．ｐρ１１５
−１２４等参照」を適用することにより、高速画像処理
やパターン認識等の各種の信号処理への応用が試みられ
ている。

すなわち、第５図に示すニューラルネットワクを構成す
る各ユニット（ｕ７）は、それぞれニューロンに対応す
る信号処理を行うもので、ユニット（ｕ；）からユニン
）（ｕ＝）への結合係数ｗ１．で結合されるユニット（
ｕ　；）の出力値。、の総和ｎｅ１Ｊを例えばｓｉｇｍ
ｏｉｄ関数などの所定の関数ｆで変換した値０、を出力
する。すなわち、パターンｐの値が入力層の各ユニノ）
（ｕｊ　に入力値としてそれぞれ供給されたとき、中間
層および出力層の各ユニット（ｕ４）の出力値Ｏａｔは
、ｏ＋１ｊ＝　ｆ　ｊ　（ｎｅＬｐｌ） ＝ｆ、（Σｗｊｉ’ｏｐａｉ　）　　、・・第１式なる
第１弐で表される。

そして、入力層（３１）から出力層（３３）へ向がって
、各ニューロンに対応するユニン）（Ｕ、）の出力（ａ
を順次計算していくことで、上記出力層（３３）のユニ
ット（Ｕ、）の出力値０１が得られる。

バックプロパゲーション学習アルゴリズムにおいては、
パターンｐを与えたときの、出力層（３３）の各ユニノ
ｈ（ｕ７）の実際の出力値ｏｐｊと望ましい出力値Ｌｏ
ｉすなわち教師信号との二乗誤差の総和Ｅｐ を極小化するように、結合係数ｗＪ、を変える学習処理
を出力層（３３）から入力層（３１）へ向かって順次に
行うことにより、教師信号の値しｐｊに最も近い出力値
Ｏｅ＝が上記出力層（３３）のユニッ）（ｕＪ）から出
力されるようになる。

そして、二乗誤差の総和Ｅ、を小さくする結合係数Ｗｊ
ｉの変化量ΔＷ４、を、 ΔＷ５．ｃｃ−９Ｅ、／ａＷｊム・・・・・第３式と決
めると、上記第３式は、 Δｗｊ＋−η・δ９、・０９□　・・・・・・・・・・
第４弐に変形することができる（この過程は上述の文献
を参照）。

ここで、ηは学習レート（定数）で、ユニットの数や層
の数さらには入出力の値等から経験的に決定される。ま
た、δ９Ｊはユニット（Ｕ、）のもつ誤差値である。

従って、上記変化量ΔＷ　Ｉ　＋を決定するためには、
上記誤差値δ、Ｊをネットワークの出力層から入力層に
向かって逆向きに求めていけば良い。出力層のユニット
（ｕＪ）の誤差値δ２Ｊは、δｐＪ＝（Ｌｐ、０ｐ＝）
　ｆ　’Ｊ（ｎｅｔＪ）　＋＋＋＋・第５式なる第５式
で与えられ、中間層のユニット（ｕＪ）の誤差値δ、Ｊ
は、そのユニット（ｕＪ）が結合されている各ユニット
（ｕｈ）　　（この例では出力層の各ユニット）の結合
係数Ｗｋｊおよび誤差値δ、を用いて、 δ、Ｊ！　ｆ　’７（ｎｅＬＪ）ΣδｊｋＷｋ、・・・
・・第６式なる再帰開数にて計算される（上記第５式お
よび第６式を求める過程は上述の文献を参照）。

なお、上記ｒ　’　４　（ｎｅｔ７）は、出力関数ｆ　
７（ｎｅＪ）の微分値である。

そして、変化量ΔＷｊ、は、上記第５式および第６式の
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 ΔＷ　ｊ　ｉ　＋。、Ｉ）＝η・δｐＪ’　Ｏｏｔ十α
°ΔＷ４□（１１）・・・・・・第７式 なる第７式にて求めることで、より安定した結果が得ら
れる。なお、αはエラーの振動を減らし、収束を速める
ための安定化定数である。

そして、この学習を操り返し行い、出力値０．１と教師
信号の値Ｌｐｊとの二乗誤差の総和Ｅ、が十分に小さく
なった時点で学習を完了するようにしていた。

Ｄ　発明が解決しようとする課題 ところで、上述のように従来の画像変換処理装置では、
特定の画像処理に必要な複数中位の各種画像変換処理ア
ルゴリズムをＱＩＩＪしておき、ディジクルプロセッサ
にて、入力画像データについて上記各種画像変換処理ア
ルゴリズムによる画像変換処理を順番に施すことによっ
て、特定の画像変換処理を行うようにしているために、
その変換処理プログラムが極めて複雑になってしまうば
かりでなく、その実行に著しく時間がかかってしまうと
いう問題点があった。また、従来の画像変換処理装置は
、画像変換処理アルゴリズムとして確立された処理を組
み合わせた変換処理以外の処理を行うことはできないも
のであった。

そこで、本発明は、上述の如き従来の画像変換処理装置
の問題点に迄み、簡単な回路網にて複雑な画像変換処理
を高速に行うことができるようにすることを目的とし、
ニューラルネットワークを用いて任意の画像入力データ
に対して特定の画像変換処理を施すことができるようし
た新規な構成の画像変換処理装置を提供するものである
。

Ｅ　５題を解決するための手段 本発明に係る画像変換処理装置は、それぞれニューロン
に対応する信号処理を行う複数のユニットにて構成され
た入力層、中間層および出力層から成る学習機能を有す
る信号処理部を備え、上記入力層に人力される原画の小
領域画像データについて、上記原画に特定の画像変換を
施した画像の小領域の画像データを教師信号として、上
記出力層から得られる出力信号と上記教師信号との誤差
情報に基づいて上記各ユニットの間の結合の強さの係数
を学習する学習処理を上記信号処理部に施し、上記学習
処理済の上記信号処理部にて任意の画像人力データに対
して特定の画像変換処理を施すことを特徴としている。

Ｆ　作用 本発明において、信号処理部は、それぞれニューロンに
対応する信号処理を１行う複数のユニットにて構成され
た入力層、中間層および出力層から成り学習機能を有し
ている。上記信号処理部は、予め、上記入力層に人力さ
れる原画の小領域画像データについて、上記原画に特定
の画像変換を施した画像め小領域の画像データを教師信
号として、上記出力層から得られる出力信号と上記教師
信号との誤差情報に基づいて上記各ユニットの間の結合
の強さの係数を学習する学習処理が施される。

そして、本発明に係る画像変換処理装置では、学習処理
済の上記信号処理部にて任意の画像入力データに対して
特定の画像変換処理を施す。

Ｇ　実施例 以下、本発明に係る画像変換処理装置の一実施例につい
て、図面に従い詳細に説明する。

第１図に示す実施例の画像変換処理装置は、３×３画素
の入力画像データＤＩ）Ｉが入力されそれぞれニューロ
ンに対応する信号処理を行う９個のユニソ）（ＩＩ）〜
（１９）にて構成した入力１５（１１）と、上記入力層
（１１）の各ユニノ）　（ＩＩ）〜（■、）に結合され
それぞれニューロンに対応する信号処理を行う３個のユ
ニット（ｌｌ、）〜（Ｈ３）にて構成された中間層（１
２）と、上記中間Ｎ（１２）の各ユニット（Ｉｌｌ）〜
（ｌｈ）に結合されニューロンに対応する信号処理を行
う１個のユニット（０，）にて構成された出力層（１３
）とからなる３層構造のニューラルネットワークにて構
成した信号処理部（１０）を備え、上記信号処理部（ｌ
Ｏ）に第２図に示す如き構成の学習装置（３０）にて予
め所望の画像変換の学習処理が施されている。

上記学習装置（３０）は、３層構造のニューラルネノド
ワークにて構成した上記信号処理部（ｌＯ）に対してバ
ンクプロパゲーション学習則に従った学習処理を行うも
ので、上記人力Ｊｌ（１１）に入力される原画の小領域
画像データＤｒｎについて、上記原画に特定の画像変換
を施した画像の小領域の画像データを教師信号ＤＬ＠と
して、上記出力１　（１３）から得られる出力信号Ｄｏ
ｕｔと上記教師信号Ｄ１ｍ　との誤差情報に基づいて、
二乗誤差を極小化するように、上記出力ＩＩ　（１３）
から上記人力Ｎ（１３）に向かって、上記各ユニットの
間の結合の強さの係数Ｗｊｉを順次に変化させる学習処
理を上記信号処理部（１０）に学習処理部（２０）にて
施す。

」二記学習装置（３０）では、例えば、原画として人物
をビデオカメラにより１最影し、その各画素に対応する
撮影出力をディジタル化した画像データを図示しないメ
モリに記憶するとともに、上記原画に特定の画像変換を
施した画像として例えば上記人物を描いたスケッチ画を
上記ビデオカメラにて１最影し、その各画素に対応する
撮影出力をディジタル化した画像データを図示しないメ
モリに記憶しておき、上記信号処理部（１０）に対して
、原画すなわち上記人物の撮影画像を上記スケッチ画の
画像に変換するスケッチ画変換処理における有為情報を
含む小画像領域の画像データについて学習処理を行う。

例えば、第３図Ａに示すように、上記原画に対する特定
の画像変換処理すなわちこの場合にはスケッチ画変換処
理における有為情報としである特徴Ａを示す小画像領域
の３×３画素分の画像データＡ１〜Ａ、を学習処理用の
入力画像データ０．１として、上記信号処理部（１０）
の入力層（１１）を構成している９個のユニット（■１
）〜（Ｉ、）に与えるとともに、第３図Ｂに示すように
、教師信号Ｄｔ＃とじて上記学習処理用の入力画像デー
タ０．７に対する変換処理後の上記３×３画素の中心画
素の画像データ八〇を上記学習処理部（２０）に与え、
上記学習処理部（２０）にて、上記出力ｆｆ１（１３）
のユニット（Ｏｌ）から得られる出力信号ＤｏｕＬと上
記教師信号Ｄｔａとの誤差情報に基づいて、上記出力層
（１３）から上記入力層（１３）に向かって、上記各ユ
ニットの間の結合の強さの係数Ｗ　ｊ　ｉを学習する学
習処理を上記信号処理部（ＸＯ）に施す。上記特徴Ａを
示す３×３画素分の画像データＡ１〜＾、についての学
習処理を終了したならば、上記スケッチ画変換処理にお
ける他の特徴Ｂを示す３×３画素分の画像データ８１〜
Ｂ、を学習処理用の入力画像データ０．７として、上記
入力層（１１）のユニット（■１）〜（１，）に与える
とともに、上記学習処理用の人力画像データＤ、。に対
する変換処理後の上記３×３画素の中心画素の画像デー
タＢ０を教師信号Ｄｔａとして上記学習処理部（２０）
に与え、上記学習処理部（２０）にて、上記出力層（１
３）のユニ７）（０１）から得られる出力信号り、、、
と上記教師信号Ｄｔｅとの誤差情報に基づいて上記各ユ
ニットの間の結合の強さの係数Ｗｊｉを上記出力層（１
３）から上記入力層（１１）に向かって学習する学習処
理を上記信号処理部（１０）に施す、以下、同様に上記
スケッチ画変換処理における各種特徴を示す３×３画素
の小領域画像データについての学習処理を上記信号処理
部（１０）に順次施す。

上述の学習処理の施された上記信号処理部（１０）では
、上記原画の画像データを３×３画素の小領域画像デー
タずつ上記信号処理部（１０）の上記人力１　（１１）
のユニット（１１）〜（Ｉ、）に入力して上記出力層（
１３）のユニット（０＋）からの変換処理済の出力信号
口。。アとして全ての画素について変換処理済の画像デ
ータを得ることによって、原画すなわち上記人物の撮影
画像を上記スケッチ画の画像に変換するスケッチ画変換
処理を施した画像データを得ることができる。

そして、上記学習処理済の上記信号処理部（ｌＯ）では
、上記学習処理により上記各ユニットの間の結合の強さ
の係数Ｊｉとしてスケッチ画変換処理用の情報テンプレ
ートが形成され、上記原画以外の任意の画像を示す画像
入力データＤ０を３ｘ３画素の小領域画像データずつ上
記信号処理部（１０）の上記入力層（１１）のユニット
（１，）〜（Ｉ、）に走査人力した場合にも、上記出力
層（１３）のユニット（０１）からの出力信号として全
ての画素についてスケッチ変換処理済の画像出力データ
ロ。Ｕ、を得ることができる。

なお、本発明は、上述の実施例のみに限定されるもので
なく、上述の学習処理にて画像換処理用の情報テンプレ
ートを形成することにより、原画に対する特定の画像変
換処理として上記スケッチ変換処理以外に、画像の白黒
反転処理、フィルタリング処理、細線化処理や輪郭抽出
処理等の各種画像変換処理を自由に行うことができる。

また、上記ハックプロパゲーション学習前以外の学習ア
ルゴリズムを採用して上記信号処理部（ｌＯ）に学習処
理を施すようにしても良い。

さらに、本発明に係る画像変換処理装置は、上述の実施
例における信号処理部（１０）にような３層構造のニュ
ーラルネットワーク以外の多層構造のニューラルネット
ワークにて構成した信号処理部を用いることもでき、例
えば、第４図に示すように、５×５画素分の画像入力デ
ータＤＩＮが入力される２５個のユニット（１＋）〜（
１２５）にて入力層（２１）を構成し、上記人力＠　（
２１）の各ユニット（■１）〜（１２５）に結合された
９個のユニット（８１，）〜（ＨＩ３）にて第１中間層
（２２Ａ）を構成し、上記第１中間層（２２Ａ）の各ユ
ニット（］１□１）〜（ＩＩ＋ｑ）に結合された２個の
ユニット（ＩＩ□１）、（１１２□）にて第２中間層（
２２Ｂ）を構成し、出力層（２３）を１個のユニット（
０１）にて構成した４層構造のニューラルネットワーク
にて信号処理部を構成するようにしても良い。

Ｈ発明の効果 本発明に係る画像変換処理装置では、それぞれニューロ
ンに対応する信号処理を行う複数のユニットにて構成さ
れた入力層、中間層および出力層から成り学習機能を有
する信号処理部に対して、予め原画に特定の画像変換を
施した画像の小領域の画像データを教師信号として、上
記入力層に入力される上記原画の小領域画像データにつ
いて、上記出力層から得られる出力信号と上記教師信号
との誤差情報に基づいて上記各ユニットの間の結合の強
さの係数を学習する学習処理を施し、学習処理済の上記
信号処理部にて任意の画像入力データに対して特定の画
像変換処理を施す。

従って、本発明によれば、上記信号処理部に対する学習
処理の際に教師信号として与える画像データにより、任
意の画像変換処理機能を実現することができ、学習処理
済の信号処理部にて任意の画像入力データに対して特定
の画像変換処理を施すことにより、簡単な回路網にて複
雑な画像変換処理を高速に行うことができる。

【図面の簡単な説明】

第１図は本発明に係る画像変換処理装置の構成を概念的
に示す模式図、第２図は上記画像変換処理装置を構成し
ている信号処理部に学習処理を施すために用いられる学
習装置の構成を示すブロック図、第３図Ａは学習用の画
像入力データの内容を説明するための模式図、第３図Ｂ
は上記画像入力データに対する教師信号として与える画
像データの内容を説明するための模式図、第４図は上記
画像変換処理装置を構成している信号処理部の他の構成
例を概念的に示す模式図である。 第５図はパックプロパゲージジン学習前の適用されるニ
ューラルネットワークの一般的な構成を示す模式図であ
る。

Claims (1)

1. 【特許請求の範囲】 それぞれニューロンに対応する信号処理を行う複数のユ
   ニットにて構成された入力層、中間層および出力層から
   成る学習機能を有する信号処理部を備え、 上記入力層に入力される原画の小領域画像データについ
   て、上記原画に特定の画像変換を施した画像の小領域の
   画像データを教師信号として、上記出力層から得られる
   出力信号と上記教師信号との誤差情報に基づいて上記各
   ユニットの間の結合の強さの係数を学習する学習処理を
   上記信号処理部に施し、 上記学習処理済の上記信号処理部にて任意の画像入力デ
   ータに対して特定の画像変換処理を施すことを特徴とす
   る画像変換処理装置。