JPH0620048A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPH0620048A
JPH0620048A JP4174078A JP17407892A JPH0620048A JP H0620048 A JPH0620048 A JP H0620048A JP 4174078 A JP4174078 A JP 4174078A JP 17407892 A JP17407892 A JP 17407892A JP H0620048 A JPH0620048 A JP H0620048A
Authority
JP
Japan
Prior art keywords
output
image
data
layer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4174078A
Other languages
English (en)
Inventor
Yukari Shimomura
ゆかり 下村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP4174078A priority Critical patent/JPH0620048A/ja
Publication of JPH0620048A publication Critical patent/JPH0620048A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 [目的] 本発明は、ボケた画像の輪郭を簡単に安定性
よく再生できる画像処理装置を提供しようとするもので
ある。 [構成] 本発明の画像処理装置は、理想出力画像とし
た原画像と、この原画像を故意に作成したボケ画像を与
えることによりバックプロパゲーション法によりニュー
ラルネットワーク回路103をあらかじめ学習させてお
く。そして、入力した所定画素領域をニューラルネット
ワーク回路103によって再生処理し、この結果を出力
する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像処理装置、詳しくは
老朽して輪郭にボケが生じたものを、再生するための画
像処理装置に関するものである。
【0002】
【従来の技術】従来、ボケた画像を復元する場合には、
人間の目による判断により書き換えという処理を行なう
しかすべがなかった。
【0003】
【発明が解決しようとしている課題】しかしながら、上
記の方法では、時間がかかるし、ある程度の技術が必要
という欠点があった。また、人手による作業のため処理
画像に安定性がない、ムラがあるなどの欠点もあった。
【0004】本発明はかかる従来技術に鑑みなされたも
のであり、ボケた画像の輪郭を簡単に安定性よく再生で
きる画像処理装置を提供しようとするものである。
【0005】
【課題を解決するための手段】この課題を解決するため
本発明の画像処理装置は以下に示す構成を備える。すな
わち、理想とする画像と該画像に対応するボケ画像に基
づき、バックプロパゲーション法に基づく学習済みのニ
ューラルネットワーク手段と、該ニューラルネットワー
ク手段での処理対象の所定画素領域を入力する入力手段
と、前記ニューラルネットワーク手段によって、前記入
力手段から入力された所定画素領域を再生処理した結果
を出力する出力手段とを備える。
【0006】
【作用】かかる本発明の構成において、入力手段で入力
された所定画素領域の画像を、バックプロパゲーション
法に基づいて予め学習させたニューラルネットワーク手
段によって再生処理し、それを出力手段で出力する。
【0007】
【実施例】以下、添付図面に従って本発明に係る実施例
を詳細に説明する。尚、本実施例では、ボケ画像データ
から輪郭再生画像データを復元する際の参照領域をウイ
ンドとして、本来は参照領域はできるかぎり大きく取る
のだが、説明するのに簡単のため、3×3画素領域(ウ
インドウ)をその大きさとして採用する。
【0008】図1は、この3×3を参照領域とした実施
例の画像処理装置の構成を示すブロック図である。同図
において、図示されていない画像入力装置(例えばスキ
ャナ)によって、原稿より読み取られた画像データは3
ラインバッファ101へ入力される。この3ラインバッ
ファ101は画像の垂直方向に連続する3ラインのデー
タが記憶される。3ラインの内、同じ水平位置の左端か
ら右端までのデータが順次クロックに同期して遅延素子
(ラッチ)群102に対して出力される。すると、この
ラッチ群102には、図2に示されるような水平、垂直
方向に3×3の小領域内のデータがラッチされる。ラッ
チ群102は9個のラッチからなり、各ラッチの出力は
ニューラルネットワーク回路103に入力される。ニュ
ーラルネットワーク回路103は、その入力値から後述
する処理を行ない、その結果の処理画像データ(輪郭再
生データ)を出力する。
【0009】ニューラルネットワーク回路103の中は
本実施例の場合、入力層ニューロン9個、中間層ニュー
ロン9個、出力層ニューロン1個の計19個のニューロ
ンからなり、図4に示すように中間層のニューロンは、
入力層のすべてのニューロンと結合しており、同様に出
力層のニューロンは、中間層のニューロンすべてに結合
している。すべての結合には強度があり上記強度の決定
のために後述のバックプロパゲーションアルゴリズムで
学習する。そして、ラッチ群102からの出力を入力層
のニューロンが受け取り、入力層ニューロンは受け取る
だけで、それを自分の出力(iout)とし、中間層ニ
ューロンへと渡す。すべての入力層からの出力iout
を受けたj番目の中間層ニューロンは図5に示すよう
に、入力層からのデータiout[i]にその結合強度
wji[j,i]をかけ、その総和sumを sumj =Σwji[j,i]*iout[i] により計算し、次にj番目の中間層の出力jout
[j]を、0〜1値に正規化するためにシグモイド関数
を用いて
【0010】
【数1】 によって計算する。上記中間層からの出力joutは出
力層k−out[k]として渡され、同様に、
【0011】
【数2】 によって計算され、今回出力層のニューロンkoutは
1つのためkout[0]が得ようとしている輪郭再生
画素データとなる。
【0012】次に前述の結合強度を決定するための学習
アルゴリズム、バックプロパゲーションについて述べ
る。
【0013】ニューラルネットワークそのものの考え方
は、例えば、「ニューラルネツトをパターン認識、信号
処理、知識処理に使う」(日経エレクトロニクス;19
87年8月10日)等に詳しく説明されている。
【0014】図4は、この学習のためのニューラルネツ
トの1実施例の構成を示すブロック図を示している。同
図のニューラルネットワークは、M×Nの大きさの参照
ブロックに対応できるようになっている。301は入力
層iを、302は中間層jを、303は出力層kを示
す。従って、図2の大きさの参照ブロックが本実施例の
装置に適用される場合には、入力層iとして3×3の9
個のニューロンが必要になり、また、その3×3の中心
(図2の“*”印)を注目画素として出力するために出
力層として1個のニューロンが必要となる。尚、本実施
例では、中間層として9個のニューロンとしたが、これ
はいくつでも良い。各ニューロンは、不図示の複数の加
算器及び乗算器、除算器からなる。図4において、各ニ
ューロンを接続する実線はデータの入出力方向を示す。
例えば、中間層の1番目のニューロンは、入力層の全て
のニューロンと結合している。入力層iと中間層間jの
結合の強度はWjiで表わされ、中間層jと出力層k間の
結合強度はWkjで表わされる。
【0015】図4を用いて、結合強度を学習して得るた
めの手順を簡単に説明する。先ず、学習データとして、
画像データと、この画像データを何らかの方法でボケさ
せたボケ画像データを用意する。元の画像データは理想
出力として、教師信号(teach信号)を生成するた
めに使用される。即ち、結合強度Wji,Wkjを初期的に
適当に決定してから、この初期値に基づいて結合された
ネットワークに、学習データとして上記ボケ画像データ
を入力し、出力の画像データ(kout)を得る。この
出力と前記理想出力としての原画像データとを比較し、
この比較から教師信号(teach)を生成する。この
過程を図4では、A→Bの過程として示している。この
教師信号から、バックプロパゲーション法により、学習
しながら前記Wji,Wkjを修正していく。この過程は、
図4では、C→Dとして示されている。この学習を繰返
すと、結合強度Wji,Wkjは、ボケ画像→輪郭再生画像
(復元)に適切なものとして修正されていく。
【0016】このようにして、結合強度が決定され固定
されると、図4のニューラルネットワーク回路103
は、ボケ画像→再生画像変換(復元)に適切なシステム
として機能する。
【0017】図6及び図7はこの学習の為のフローチヤ
ートである。
【0018】先ず、ステップS402では、入力層と中
間層の結びつきの強さを示す重み係数Wji,中間層と出
力層の結びつきの強さを示す重み数Wkjに初期値を与え
る。初期値として、学習過程の収束を考慮して、−0.
5〜+0.5の範囲の値を選択する。ステップS404
では、学習用の入力データのなかから、任意の位置の画
素を注目画素(図2の*で示した位置)として選択す
る。ステップS404〜ステップS406は、ニューラ
ルネットワーク回路103への入出力データのセツトの
手順である。即ち、ステップS406では、この注目画
素を中心とする3×3領域内の画像データiout(こ
こで、i=1〜9)を、入力層にセツトする。また、ス
テップS408では、前記注目画素に対応する理想出力
としての多値画像データ(ideal−out)を用意
する。ステップS410は、与えられた変換係数に基づ
き出力kout(k)を計算する手順を示している。
【0019】即ち、入力層からのデータiout(i)
に中間層の係数Wjiを掛け、その総和SumFjを、 により計算し、次にj番目の中間層の出力jout
(j)を、0/1値に正規化するためにシグモイド関数
を用いて、
【0020】
【数3】 によって計算する。ここで、SumFjのFは前向き(Fo
rward )を意味する。
【0021】同様にして、中間層から出力層への出力値
koutは次のようにして求める。まず、初めに出力層
の係数Wkjを用い、中間層からの出力値jout(j)
とにより積の総和を求めその値SumFKを得る。
【0022】
【数4】 次に、0/1に正規化するためにシグモイド関数を用い
て、
【0023】
【数5】 に従って出力層kの出力kout(k)を得る。
【0024】こうして、1組のサンプルデータについて
のFORWARD方向の計算を終了する。以下は、BA
CKWARDの演算、即ち、上記入力と理想出力の組か
ら成るサンプルデータからの学習により結合強度を修正
するための手順である。
【0025】そこで、ステップS412で、初期値(ス
テップS402でセツト)のWji,Wkjから計算した出
力値koutと、予め用意してある理想出力ideal
_out(k)とを比較する。即ち、この比較により、
出力層の教師信号teach_k(K)を、 teach_k(k)={ideal_out(K)−kout(k)} *kout(k)*{1−kout(k)}…(5) によって計算する。(5)式中のkout(k)*{1
−kout(k)}はシグモイド関数の微分の意義を有
する。
【0026】次に、ステップS414で、出力層の結合
度の変化幅△Wkj(k,j)を求める。即ち、 △Wkj(k,j)=β*jout(j)*teach_k(k) +α*△Wkj(k,j) …(6) を計算する。尚、α、βは固定値の係数で、この実施例
では、共に“0.5”とした。ステップS415では、
この変化幅△Wkj(k,j)に基づいて、中間層と出力
相関の結合度Wkj(k,j)を更新、即ち、学習する。
【0027】 Wkj(k,j)=△Wkj(k,j)+Wkj(k,j) …(7) 次に、ステップS416で中間層の教師信号teach
_j(j)を計算する。即ち、先ず、
【0028】
【数6】 に基づいて、中間層の各ニューラルにおける、出力層か
らのBACKWARD方向の寄与を演算する。そして、
この寄与を、次式に従ってシグモイド関数の微分値を用
いて正規化することにより、中間層の教師信号teac
h_j(j)を演算する。
【0029】 teach_j(j)=jout(j)*{1−jout(j)}* SumBj …(9) 尚、(9)式のteach_j(j)は中間層における
理想信号としての意義を有する。
【0030】次に、ステップS418で、この教師信号
teach_j(j)を用いて、中間層の結合度の変化
幅△Wji(j,i)を演算する。即ち、 △Wji(j.i)=β*iout(i)*teach_j(j) +α*△Wji(j,i) …(10) そして、ステップS420では結合度Wji(j,i)を
更新する。即ち、 Wji(j,i)=Wji(j,i)+△Wji(j,i) …(11) である。
【0031】こうして、1つの注目画素の理想多値画像
データideal_OUTと、これに対応する2値画像
データであって、対応位置周りの9画素の2値画像デー
タとから、結合度WjiとWkjとが学習される。
【0032】ステップS422では、このような操作
を、全注目画素(全組のサンプリングデータ)について
行ったかを調べ、全組のサンプリングデータについて実
行するまでステップS404〜ステップS420の手順
を繰返す。
【0033】全組のサンプリングデータについての学習
を1回だけ行ったのでは精度が低いと考えられるので、
ステップS424での判断により、この精度が高くなっ
たと考えられるまで、ステップS404〜ステップS4
22の処理を繰返す。
【0034】尚、ステップS404で指定される注目画
素は、シーケンシヤルではなくランダムに指定される方
がよい。
【0035】こうして、図5におけるニューラルネット
ワーク内の結合定数がボケ画像→輪郭再生画像に最適な
ように決定される。
【0036】以上説明した実施例において、各層のニュ
ーロンの数は自由に決めることができる。設けるウイン
ドウを5×5にすれば入力層ニューロン数は25個にな
るし、もちろんウインドウは矩形である必要はない。入
力層のニューロンには参照領域の画素以外の情報(例え
ば位置など)をあたえても良い。
【0037】出力層のニューロンも1個でなくn個でn
ビツトの出力を得ても良いし、層の数も3層でなく4層
にしても良い。
【0038】また、今実施例では入力層ー中間層、中間
層ー入力層間はすべて結合させたが、すべて結合する必
要もない。逆に変則的に入力層ー出力層間を結合させた
りしても良い。
【0039】尚、実施例における装置はハード的に処理
する例を説明したが、本発明の趣旨に従えば、図6及び
図7に示すフローチャートに係る処理を実現すれば良い
のであるから、プログラムをロードすることで上記処理
を実現するようにしても良い。
【0040】以上説明したように本実施例によれば、ボ
ケた画像の輪郭を短時間で誰でも安定性よく再生できる
ようになる。
【0041】
【発明の効果】以上説明したように本発明によれば、ボ
ケた画像の輪郭を簡単に安定性よく再生できるようにな
る。
【図面の簡単な説明】
【図1】実施例における画像処理装置のブロック構成図
である。
【図2】入力のボケ画像データと理想出力として原画像
データの対応関係を示す図である。
【図3】入力のボケ画像データと理想出力として原画像
データの対応関係を示す図である。
【図4】本実施例の結合強度の決定の際に用いられるニ
ューラルネットワーク回路の構成を示すブロック図であ
る。
【図5】各ニューロンの出力値の計算の様子を示す図で
ある。
【図6】ニューラルネットワーク回路内で行なわれる学
習の制御手順のフローチヤートである。
【図7】ニューラルネットワーク回路内で行なわれる学
習の制御手順のフローチヤートである。
【符号の説明】
101 3ラインバッファ 102 遅延素子群 103 ニューラルネットワーク回路 301 入力層 302 中間層 303 出力層

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 理想とする画像と該画像に対応するボ
    ケ画像に基づき、バックプロパゲーション法に基づく学
    習済みのニューラルネットワーク手段と、 該ニューラルネットワーク手段での処理対象の所定画素
    領域を入力する入力手段と、 前記ニューラルネットワーク手段によって、前記入力手
    段から入力された所定画素領域を再生処理した結果を出
    力する出力手段とを備えることを特徴とする画像処理装
    置。
JP4174078A 1992-07-01 1992-07-01 画像処理装置 Pending JPH0620048A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4174078A JPH0620048A (ja) 1992-07-01 1992-07-01 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4174078A JPH0620048A (ja) 1992-07-01 1992-07-01 画像処理装置

Publications (1)

Publication Number Publication Date
JPH0620048A true JPH0620048A (ja) 1994-01-28

Family

ID=15972267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4174078A Pending JPH0620048A (ja) 1992-07-01 1992-07-01 画像処理装置

Country Status (1)

Country Link
JP (1) JPH0620048A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015083199A1 (en) * 2013-12-04 2015-06-11 J Tech Solutions, Inc. Computer device and method executed by the computer device
JP2018055516A (ja) * 2016-09-30 2018-04-05 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
WO2022145232A1 (ja) * 2021-01-02 2022-07-07 天海 金 情報処理装置および情報処理方法、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015083199A1 (en) * 2013-12-04 2015-06-11 J Tech Solutions, Inc. Computer device and method executed by the computer device
JP2018055516A (ja) * 2016-09-30 2018-04-05 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
WO2022145232A1 (ja) * 2021-01-02 2022-07-07 天海 金 情報処理装置および情報処理方法、並びにプログラム

Similar Documents

Publication Publication Date Title
US5293456A (en) Object recognition system employing a sparse comparison neural network
EP0449516B1 (en) Image processing using neural network
JPH06266687A (ja) テクスチュアイメージ合成装置
JPH09319866A (ja) 画像処理方法
US5168352A (en) Coloring device for performing adaptive coloring of a monochromatic image
US5581662A (en) Signal processing apparatus including plural aggregates
JPH0620048A (ja) 画像処理装置
JPH0451384A (ja) ニューラルネットワークの構築方法
US6026178A (en) Image processing apparatus using neural network
JP2859377B2 (ja) ニューラルネットを用いた画像処理方法および画像処理装置
US7324980B2 (en) Information processing apparatus and method
JPH0447470A (ja) ニューラルネットを用いた画像処理方式及び同方式を用いた画像処理装置
JP2810497B2 (ja) 画像処理装置
JPH0447473A (ja) ニューラルネットワークを用いた画像処理方法
CN115273182B (zh) 长视频专注度预测方法及装置
JPH0447474A (ja) ニューラルネットワークを用いた画像処理方式
JP2891505B2 (ja) 中間調画像復元方法
Kursun et al. Single-frame super-resolution by a cortex based mechanism using high level visual features in natural images
JPH0447472A (ja) ニャーラルネットワークを用いた画像処理方式
Qiu Image Reconstruction of Tang Sancai Figurines Based on Artificial Intelligence Image Extraction Technology Based on Ration
JPH05303645A (ja) 画像認識装置
JPH03273456A (ja) 領域分離方法
Kulkarni Neural nets for image restoration
JPH0451386A (ja) ニューラルネットワーク及びその構築方法
CN114926568A (zh) 模型训练方法、图像生成方法和装置