JPH06348840A - 画像復元方法 - Google Patents

Abstract

(57)【要約】 【目的】 学習機能をもつニューラルネットを用い、劣
化した画像とその原画像とを用いて学習を行い、ニュー
ラルネットそのものに補正処理を行わせることにより、
画質が劣化した画像の復元を行い画像処理手段が容易に
なるようにすることを目的にする。 【構成】 本発明の構成は画像の変化を生じさせる系を
通過した後の画像データの復元の対象となる画素とその
周辺の複数の画素とを入力信号とし、前記画像の変化を
生じさせる系を通過する前の原画像データの対応する画
素を教師信号として、ニューラルネットの学習を行い、
前記画質の変化を生じさせる系を通過した画像データの
対象画素とその周囲の複数の画素を、前記学習したニュ
ーラルネットに入力し、前記ニューラルネットから出力
されたデータを復元画像とする、ことを特徴とした画像
復元方法である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像データの復元修正に
関し、詳しくは、画像データの入力系、伝送系、出力系
などによって画質の劣化した画像データの修復に関す
る。

【０００２】

【従来の技術】写真などの画像の原稿をスキャナなどの
画像入力装置を用いてディジタル画像データに変換し、
このディジタル画像に対し画像処理を行い、変換した画
像データを出力装置で出力しハードコピーとする装置が
多くの産業分野で用いられている。たとえば、医用画像
の分野では、撮影条件の設定の失敗により濃度階調の不
適切なＸ線写真をスキャナで読み取り、画像処理で階調
の補正を行い、プリンタでハードコピーを作成し、濃度
階調の整った複製を作成するシステムなどが用いられて
いる。また、印刷分野では、原稿を同様にスキャナで読
み取り、各種の編集処理や色の修正を行い、色分解し、
それぞれの版を作成するシステムが多く用いられてい
る。

【０００３】これらの装置で問題となるのは、入力装
置、出力装置において、それぞれの物理特性により、鮮
鋭性の劣化やノイズの増加などの画質の劣化が起こるこ
とである。

【０００４】このような画質の劣化を補正する手段とし
て、従来は、入力装置、出力装置の空間周波数特性など
の物理特性を測定し、その劣化する特性を補正するよう
なフィルタを設計し、そのフィルタにより画像処理を行
い、画像データの劣化した画質の復元処理を行うことが
一般的である。すなわち、画像入力部および、画像出力
部の空間周波数特性をそれぞれ測定し、２つの空間周波
数の劣化を組み合わせた特性を求め、その劣化特性を補
正するための逆フィルタを計算し、N×Mのマトリックス
の係数に展開する。このマトリックスをもちいて画像デ
ータとの畳み込み積分を行うことによって、復元処理を
行っている。

【０００５】

【発明が解決しようとする課題】しかしながら、画質の
劣化は、空間周波数特性やノイズなどの測定可能な物理
特性によってのみ起こるわけではなく、種々の要因が複
雑に絡み合って起こるため、測定可能な物理特性から設
計を行ったフィルタでは、画質の復元が十分に行えない
という問題があった。

【０００６】また、画像の画質には鮮鋭度やノイズなど
複数の要因があり、あるフィルタにより鮮鋭度は改善さ
れるがノイズが増加することが起こり、別のフィルタで
は逆にノイズは減少するが鮮鋭度が低下することが起こ
るなど、すべての画質項目を満足できるようなフィルタ
を設計することは難しいと言う問題があった。

【０００７】また、入出力系の物理特性を測定するのは
難しく、装置の使用者が簡単に行うことができないた
め、経時変化などにより発生する装置の物理特性の変化
に対応して、画質補正のフィルタを改良することは実用
に供されてはいなかった。

【０００８】本発明は上記問題点に鑑みてなされたもの
であり、複雑な物理特性の測定やフィルタ設計のための
計算を必要とせず、装置の使用者が容易に修正調整が行
える、相反する要因も含めた全体的な画質の復元の方法
を提供することを目的とする。

【０００９】

【課題を解決するための手段】このため本発明では、あ
る系によって劣化した画像の復元を行う方法として、画
像の変化を生じさせる系を通過した後の画像データの復
元の対象となる画素とその周辺の複数の画素とを入力信
号とし、前記画像の変化を生じさせる系を通過する前の
原画像データの対応する画素を教師信号として、ニュー
ラルネットの学習を行い、前記画質の変化を生じさせる
系を通過した画像データの対象画素とその周囲の複数の
画素を、前記学習したニューラルネットに入力し、前記
ニューラルネットから出力されたデータを復元画像とす
る、ことを特徴とした画像復元方法を構成した。

【００１０】

【作用】かかる構成の画像復元方法によると、画像が劣
化する系を通る前の原画像データと系を通った後の劣化
画像とを用意し、劣化画像の修復すべき画素とその周辺
の複数の画素のデータを入力信号として用い、また原画
像の対応する画素を教師信号として用い、画像復元のた
めのニューラルネットを学習させることによって、画質
が劣化する系の補正を容易に行うための方法を提供する
ことができる。

【００１１】すなわち、このように学習させたニューラ
ルネットに、同じ系により、画質が劣化した画像データ
の画素とその周辺の複数の画素とを入力することによ
り、その劣化した画素に対応する復元された画素が出力
される。これらの操作を画像の必要な画素に対して順次
行うことにより、画質が復元された画像を容易に得るこ
とが可能となる。

【００１２】したがって、画質復元のためのフィルタの
作成にあたり、画質が劣化する系の物理特性を測定する
ことが不要になり、相反する要因も含めた全体的な画質
復元のための手段を供することが可能となる。

【００１３】また、装置の使用者であっても、劣化する
前後の画像データの対を用意することができれば、経時
的に変化する劣化特性の補正を容易に行うことが可能と
なる。

【００１４】

【実施例】以下に本発明の実施例を説明する。

【００１５】図１は本発明にかかる画像復元方法を利用
した一実施例を示すものである。本実施例はＸ線写真を
画像入力装置で読み込みディジタル画像データに変換し
た後にディジタル画像処理による画像強調処理および階
調補正処理を行った上で、画像出力装置によりハードコ
ピーを作成し、もとのＸ線写真の複製を作成するもので
ある。

【００１６】ここで、画像入力部１は、Ｘ線フィルム上
に撮影記録されたＸ線画像をレーザ光で走査し、透過し
た光を光電子増倍管で光電変換し電気信号にした後、ア
ナログ−ディジタル変換によりディジタル画像に変換し
画像記憶部２に転送するものである。Ｘ線写真上の画像
は、約１８０μmでサンプリングされ、各画素は光学濃
度０から３が１２ビット４０９６階調に均等に量子化さ
れる。胸部Ｘ線写真で多く使われる大角サイズの場合約
２０００×２０００画素のディジタル画像に変換され
る。しかしながら、この画像入力の際に、入力装置の光
学的特性、電気的特性、機械的特性により、もとのＸ線
写真上の画像のすべての情報を変換することはできず、
得られた画像データの上では鮮鋭性の低下やノイズの増
化といった画質の劣化が生じる。

【００１７】画像記憶部２はＤＲＡＭなどの半導体メモ
リにより構成され、画像入力部１から転送されてくる画
像データを遅滞なく記憶する。該画像記憶部２に記憶さ
れた画像は、小領域の複数の画素データが並列に読み出
され、画像復元部３に送られ、この中に構成されている
ニューラルネット３ａに入力される。ニューラルネット
３ａはすでに学習済みで、本実施例の各要素で劣化する
画質全体を補正するように各ノードの重み係数が設定さ
れており、入力された複数の画素のデータから劣化した
特性を補正した１つの画素のデータを出力する。画像記
憶部２からは順次画素データが読み出され、画質復元が
画像全体に対し逐次的に行われる。

【００１８】画像復元部３から出力された補正済みの画
素データは、画像処理部４に送られ、あらかじめ定めら
れた階調変換特性によりその値が変換される。ここで
は、Ｘ線撮影のさいの条件の設定のミスなどで生じたＸ
線写真上の濃度の不適切などが修正される。またそのほ
かの画像強調処理が施される。

【００１９】画像出力部５では、画像処理部４から送ら
れてきたディジタル画像データを順次ディジタル−アナ
ログ変換し電気信号に変換し、この電気信号によりレー
ザ光を変調し、感光材料上に露光を行うことによって、
ハードコピーを作成する。この画像出力部においても、
電気的特性、光学的特性などにより画質が劣化する。

【００２０】このように本実施例から次に説明する学習
手段を除いた段階では、画像入力部１および画像出力部
５のアナログ系を含む部分で画質が劣化する。このた
め、本実施例における画像復元部３では、最終的に作成
されるハードコピーにおいて、原稿となるＸ線写真と同
等の画質になるように、画像入力部１および画像出力部
５の両方の画質劣化を補正するための処理を行う。

【００２１】このような復元処理を行うためのニューラ
ルネットの学習は次のように行う。学習画像記憶部６に
は、一般的なＸ線写真に含まれる画像情報を十分に持っ
た理想的なディジタル画像が記憶されている。このデー
タを読み出し、画像出力部５によりハードコピーを作成
する。このハードコピーは、画像出力部５によって生じ
た画質の劣化が含まれている。次に該ハードコピーを画
像入力部１により再び本装置に読み込み画像記憶部２に
記憶させる。画像記憶部２上の前記入力した画像データ
には学習画像記憶部６上の画像データに比べ、画像出力
部５および画像入力部１によって生じた画質の劣化が含
まれている。還元すれば、学習画像記憶部６上の画像と
画像記憶部２上の前記入力した画像との画質劣化の関係
は、本実施例に入力する原稿の画像と、復元処理を行わ
ずにそのまま出力した複製画像との画質劣化の関係に等
しい。

【００２２】このため、画像記憶部２上の前記入力した
画像データから小領域内の複数の画素を読み出し、前記
小領域の中心に対応する画素を学習画像記憶部６上の画
像から読みだし、それらを用いてニューラルネット３ａ
を学習させることにより、入出力系による劣化を含んだ
画像を、原画像データに変換することが可能となる。

【００２３】ところで、前記ニューラルネット３ａは、
人間の脳の神経回路網を真似たネットワークで、脳の神
経細胞に相応したユニットが複雑に接続しあっており、
各ユニット間の接続の結合荷重を適宜決定することによ
り、パターン認識機能を持つことができる。本発明にお
いては、通常はパターン認識に利用されるニューラルネ
ットを、複数の画素データを入力し、それらのデータを
元に処理を施したデータを出力させる画像処理に、ニュ
ーラルネットを応用している。

【００２４】図２に、本実施例におけるニューラルネッ
ト３ａによる画像復元処理の手順を示す。該ニューラル
ネット３ａは３層の構造を持ち、それぞれ入力層、中間
層、出力層と呼ばれる。入力層は、入力される画像デー
タの個数に応じたユニットから成り、本実施例では５×
５のマトリックスの画素データが入力されるため２５個
のユニットから構成される。ここで入力される画素は、
復元の対象となる画素とその周辺の複数の画素が画像記
憶部から読み出される。この際に、元の画像データの０
から４０９５の整数値を０から１．０の少数値に正規化
して入力する。

【００２５】各入力層からの出力はそれぞれ、すべての
中間層のユニットに送られる。各中間層ではすべての入
力に対しあらかじめ決められた荷重係数を掛け合わせた
後にそれらの総和を求める。この総和は各ユニットごと
に決定された関数によって変換された後に次の層に出力
される。

【００２６】中間層は図２では１層で示してあるが、複
数層の構成にすることも可能であり、ユニット数ととも
に経験的に決められる。ここでは、中間層のユニットの
総数として入力ユニットの数の１／３から１／２程度の
数を用いている。また、中間層の層の数を増やしたほう
が、同じユニット数の場合、結合の数が少なくなるた
め、計算時間の短縮化をはかることが可能となる。

【００２７】最終の中間層から出力された値は、１個の
出力層に集められ、同様の荷重総和が求められ関数によ
り０から１の範囲の値が出力される。この出力値に対
し、画像データとして必要な範囲の値に変換するための
処理を行い、復元画像として出力される。ここで、出力
されたデータは、入力された小領域の中央に対応する画
素データとなる。このようにして、１画素ごとに復元処
理が行われ、入力する小領域を順次ずらしながら処理を
行うことによって、１画像分の処理が完了する。

【００２８】次に、本発明の中心である、画像復元を行
うためのニューラルネットの学習段階について、説明す
る。前述のように、学習画像記憶部６の画像と、該画像
を出力および入力して得た画像記憶部２の画像とをもち
いて学習を行う。ここでは、画像復元過程と同様に画像
記憶部２の画像データを読みだし、学習手段３bに入力
する。学習手段３bの構成はニューラルネット３ａと同
様の構成を持っており、前記画像データは入力層に同様
に入力される。ここで、各ユニットの荷重係数は初期値
としてランダムな値が設定されており、その値によって
各入力値は変換され出力層から出力される。ここで、出
力層には学習画像記憶部６の画像の前記入力された小領
域に対応する画素の値が同様に送られてきており、この
値と出力層からの値が比較される。そしてその差が最小
となるように各ユニットの荷重係数が出力層のユニット
から逆に入力層に向かって調整されていく。これらの動
作を、画像の必要な領域において１回以上行うことによ
って、学習を行い各ユニットの荷重係数を決定する。こ
の際に、中間層のユニット数や、層の数を調整し、最も
効果的な構成に変更することが可能である。このように
学習手段３bで決定された復元のための係数はニューラ
ルネット３ａに転送され、画質復元の処理に用いられ
る。

【００２９】さらに、図３に本実施例の拡張をしめす。
前記の実施例に画像記録部７を付加したものである。画
像記録部７は画像記憶部２に記憶されている画像を読み
取り、圧縮／伸長部７ａにより高倍率の圧縮処理を施し
た後に、光磁気ディスクなどの高密度記録媒体７ｂに記
録するものである。記録した画像は使用者の選択により
記録媒体７ｂから読み出され、圧縮／伸長部７ａにおい
て伸長処理を施した後に、画像記憶部２に書き込まれ
る。ここで圧縮／伸長部７ａは高倍率の圧縮処理を行う
ため非可逆の圧縮手法を用いており、画質の劣化は避け
られないものとなっている。

【００３０】このような圧縮処理による画質の劣化の復
元を行うため、本実施例の拡張では、前記実施例におい
て述べた画質復元処理を適用することを行っている。

【００３１】すなわち、画像記憶部２の画像を、一旦画
像記録部７に転送し圧縮伸長処理を行い再び、画像記憶
部２の別の領域に転送する。画像復元部３の学習手段３
bは画像記憶部２の原画像と圧縮伸長画像とを読み込
み、圧縮伸長画像を原画像に戻すような学習を行う。

【００３２】このようにして学習した係数は、ニューラ
ルネット３ａに転送され、圧縮伸長処理によって生じる
画質の劣化の復元に用いられる。

【００３３】ここで、学習段階および復元段階におい
て、ニューラルネットへの入力としてN×Mのマトリック
スの小領域の複数の画素を用いているが、特にこの形に
限定されるものではなく、任意の形状でよく、また画素
も隣接している必要はない。特に低周波数領域の復元が
必要な場合には、マトリックスのサイズを大きくする必
要があるがこのような場合、入力のデータがかなり多く
なるため、画素に間隔を置くことにより計算量の増大を
防ぐことができる。また、本実施例では、１回の演算で
１つの復元データを出力しているが、出力層のユニット
の数を増やし、複数の画素の処理を同時に行うよう学習
させることも可能である。

【００３４】

【発明の効果】以上説明したように、本発明にかかる画
像復元方法によると、劣化する前の原画像と劣化した画
像とでニューラルネットの学習を行い、そのニューラル
ネットを用いて画質の復元処理を行うことが可能となる
ため、従来は必要であった劣化する系の物理特性の測定
やフィルタの設計が不要となるばかりでなく、劣化の過
程が物理特性として測定できない系などでの画質復元が
可能となる。また、劣化の特性が経時的に変化する場合
でも、容易に復元特性を求め直すことが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例を示すブロック図。

【図２】図１におけるニューラルネットの構成を示す概
略図。

【図３】本発明の別の実施例を示すブロック図。

【符号の説明】

１ 画像入力部 ２ 画像記憶部 ３ 画像復元部 ３ａ ニューラルネット ３ｂ 学習手段 ４ 画像処理部 ５ 画像出力部 ６ 学習画像記憶部 ７ 画像記録部 ７ａ 圧縮／伸長部 ７ｂ 高密度記録媒体

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画像の変化を生じさせる系を通過した後
   の画像データの復元の対象となる画素とその周辺の複数
   の画素とを入力信号とし、前記画像の変化を生じさせる
   系を通過する前の原画像データの対応する画素を教師信
   号として、ニューラルネットの学習を行い、前記画質の
   変化を生じさせる系を通過した画像データの対象画素と
   その周囲の複数の画素を、前記学習したニューラルネッ
   トに入力し、前記ニューラルネットから出力されたデー
   タを復元画像とする、ことを特徴とした画像復元方法。