JPH05205048A - 画像復元方法 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、画像復元方法において、原画像の性
質が事前に分からない場合にも従来に比して一段と原画
像に近い復元画像を求める。 【構成】劣化画像の共分散行列の固有ベクトルのうち一
部の固有ベクトルが張る部分空間を原画像の属する部分
空間とみなして部分射影フイルタを導出して第１段階の
処理画像を求め、続いて第１段階の処理画像を新たな劣
化画像とみなして射影フイルタを導出し、当該射影フイ
ルタにより第１段階の処理画像より得られた第２段階の
処理画像を最終的な復元画像とすることにより、原画像
の性質が事前に分からない場合でも、従来の復元処理に
比して一段と良い復元画像を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図７〜図９） 発明が解決しようとする課題 課題を解決するための手段（図１及び図２） 作用（図３〜図６） 実施例（図１〜図６） （１）画像復元処理の原理（図３〜図６） （２−１）実施例の構成及び動作（図１〜図６） （２−２）実施例の効果 （３）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は画像復元方法に関し、例
えば手振れ等により劣化した劣化画像から原画像に近い
最適な復元画像を復元する場合に適用して好適なもので
ある。

【０００３】

【従来の技術】従来、景色や人物を撮影する際の手振れ
やピンボケ等により撮像画像として原画像ｆに対して画
質の劣化した劣化画像ｇしか得ることができない場合が
あり、このような劣化画像ｇから原画像ｆを復元するた
め種々の方法が考えられている。

【０００４】これらの方法は、図７に示すように、原画
像ｆが属する原画像空間Ｈ₁ から観測空間Ｈ₂ への劣化
作用素Ａにより劣化した原画像ｆに雑音ｎが重畳した劣
化画像ｇ

【数１】 から、原画像空間Ｈ₁ に属し、かつ原画像ｆに近い復元
画像ｆ₁ を復元する復元フイルタＢを求めることを意味
する。

【０００５】ここで復元画像ｆ₁ は、次式

【数２】 で与えられるが、このような復元画像ｆ₁ を与える画像
復元フイルタの１つとして射影フイルタや部分射影フイ
ルタがある。

【０００６】因みに（１）式及び（２）式において、原
画像空間Ｈ₁ 及び観測空間Ｈ₂ はｍ次元実ベクトル空間
とし、原画像ｆ、劣化画像ｇ及び復元画像ｆ₁ はそれぞ
れｍ行×ｍ列の行列Ｆ、Ｇ及びＦ₁ で表されるものとす
る。また劣化作用素Ａの劣化は１次元方向への劣化（例
えば横方向へのずれによる劣化）であるとし、劣化作用
素Ａはｍ行×ｍ列の行列である。さらに行列Ｎは雑音ｎ
に対応するｍ行×ｍ列の行列である。

【０００７】ここで射影フイルタは、図８に示すよう
に、原画像ｆより、次式

【数３】 を満たす部分空間Ｓへの正射影、すなわち原画像ｆに最
も近い部分空間Ｓ上の点（以下最良近似という）を復元
画像ｆ₁ とする画像復元フイルタである。

【０００８】（３）式において行列Ａ^* は観測空間Ｈ₂
から原画像空間Ｈ₁ への共役作用素Ａ^* に対応する行列
であり、劣化行列Ａの共分散行列となつている。また部
分空間Ｓは共役作用素Ａ^* の値域として与えられ、この
ため部分空間Ｓは、劣化作用素Ａにより観測空間Ｈ₂ 上
の同一点に写像される元の集合である零空間Ｋ（Ａ）に
直交する直交補空間になつている。

【０００９】このため射影フイルタは、劣化作用素Ａに
より同一の劣化画像ｇに写像される画像群（ｆ＋Ｋ
（Ａ））の全ての点に対して共通な最良近似を求めるこ
とができ、その結果原画像ｆが予め分からない場合にも
劣化画像ｇが与えられれば、原画像ｆに対して最良近似
になる復元画像ｆ₁ を求めることができる。

【００１０】ところがこの射影フイルタは劣化行列Ａが
正則でなくても適用できるフイルタであるが原画像空間
Ｈ₁ の全体を復元の対象としているので、（３）式より
分かるように復元画像ｆ₁ が属する部分空間Ｓの次元を
劣化行列Ａの階数より大きくとれず、このため復元画像
ｆ₁ を探す空間が原画像空間Ｈ₁ に対して小さくならざ
るを得なかつた。従つてあまり画質の良い復元画像を得
ることができなかつた。

【００１１】一方、部分射影フイルタは、図９に示すよ
うに、原画像ｆが原画像空間Ｈ₁ のうちのある部分空間
Ｓ₁ だけに属しているとして、次式

【数４】 で表される部分空間Ｓ₂ に復元画像ｆ₂ を求める画像復
元フイルタである。

【００１２】（４）式において行列Ｐ₁ は部分空間Ｓ₁
への射影行列であり、部分空間Ｓ₂は原画像ｆの属する
部分空間Ｓ₁ と零空間Ｋ（Ａ）との共通部分に直交する
直交補空間である。ここで部分空間Ｓ₁ の次元が原画像
空間Ｈ₁ の次元よりも低ければ、部分空間Ｓ₂ の次元は
射影フイルタで最良近似を求めた部分空間Ｓの次元より
も高くなつているので、復元画像ｆ₂ が属する部分空間
Ｓ₂ は部分空間Ｓよりも大きくなる（図９）。

【００１３】従つて部分射影フイルタが原画像ｆに対し
て最良近似を探す空間を射影フイルタの場合に対して拡
張することができ、部分射影フイルタでは部分空間Ｓ₁
に属する画像に限り、射影フイルタよりも画質の良い復
元画像ｆ₂ を得ることができる。

【００１４】

【発明が解決しようとする課題】ところで部分射影フイ
ルタによつて復元画像ｆ₂ を得るためには、原画像ｆが
属していて原画像空間Ｈ₁ よりも低次元の部分空間Ｓ₁
を求めておかなくてはならない。ところが画像の復元処
理を実行する際には原画像に関する知識は事前には全く
与えられないので、このような部分空間Ｓ₁ を求めるこ
とは困難である。

【００１５】ところで原画像ｆを最良に近似する部分空
間Ｓ₁ は、その原画像ｆの共分散行列Ｆ^* の固有ベクト
ルのうちの一部で張られる部分空間であることが知られ
ている。また一次元的に劣化している画像を扱うときに
は共分散行列を求めるときの統計を取る方向と劣化の方
向が直交するので、原画像ｆの共分散行列Ｆ^* と劣化画
像ｇの共分散行列Ｇ^* とでは大きな違いはない。

【００１６】そこで劣化画像ｇを構成するｍ個の列ベク
トルの共分散行列Ｇ^* の固有ベクトルから対応する固有
値が大きい順にｎ個の固有ベクトルを取りだして、これ
らのｍ個の固有ベクトルで張られる部分空間を近似的に
原画像ｆが属する部分空間Ｓ₁ とすることが考えられ
る。

【００１７】このとき部分空間Ｓ₁ の次元はｎであるか
ら、ｎ＜ｍであれば（４）式で与えられる部分空間Ｓ₂
の次元が（３）式で与えられる部分空間Ｓの次元よりも
高くなるので、この部分空間Ｓ₁ を用いて部分射影フイ
ルタを導出して復元画像ｆ₂を復元すれば、射影フイル
タを用いた場合よりも良い復元画像が得られる可能性が
ある。

【００１８】ところが確かにこの部分空間Ｓ₁ の次元ｍ
は原画像空間Ｈ₁ の次元よりも低くなつているが、この
部分空間Ｓ₁ はあくまでも近似的に原画像ｆを含むと言
えるだけであつて、厳密な意味で原画像ｆを要素として
含んでいる部分空間Ｓ₁ であるとは言えないので、この
部分空間Ｓ₁ を基にして部分射影フイルタを導出して画
像を復元しても良い復元画像は得られないことが多い。
このため部分射影フイルタを単独で用いて画像復元処理
を実行しても良い復元画像を得ることは困難であつた。

【００１９】本発明は以上の点を考慮してなされたもの
で、原画像の性質が事前に分からない場合にも従来に比
して一段と原画像に近い復元画像を得ることができる画
像復元方法を提案しようとするものである。

【００２０】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、劣化画像ｇを復元し、原画像ｆに
近い復元画像ｆ₃ を求める画像復元方法において、劣化
画像ｇの共分散行列Ａ^* の固有ベクトルのうち一部の固
有ベクトルが張る部分空間Ｓ₁ に、原画像ｆが属してい
るとみなして部分射影フイルタＢ₂ を導出し、当該部分
射影フイルタＢ₂ を劣化画像ｇに作用させて第一段階の
処理画像ｆ₂ を求めた後、当該第一段階の処理画像ｆ₂
を求める処理過程（ステツプＳＰ１〜ステツプＳＰ７）
を新たな劣化過程として射影フイルタＢ₃ を導出し、射
影フイルタＢ₃ を第一段階の処理画像ｆ₂ に作用させて
第二段階の処理画像ｆ₃ を求めて復元画像とするように
する（ステツプＳＰ８及びステツプＳＰ９）。

【００２１】

【作用】劣化画像ｇの共分散行列Ａ^* の固有ベクトルの
うち一部の固有ベクトルが張る部分空間Ｓ₁ に、原画像
ｆが属しているとみなして部分射影フイルタＢ₂ を導出
し、当該部分射影フイルタＢ₂ を劣化画像ｇに作用させ
て第一段階の処理画像ｆ₂ を求めた後、当該第一段階の
処理画像ｆ₂ を求める処理過程（ステツプＳＰ１〜ステ
ツプＳＰ７）を新たな劣化過程として射影フイルタＢ₃
を導出し、射影フイルタＢ₃ を第一段階の処理画像ｆ₂
に作用させて第二段階の処理画像ｆ₃ を求めて復元画像
とすることにより、部分射影フイルタＢ₂ 単独では復元
画像ｆ₂ に生じていた縦じま状の模様を復元画像から取
り除くことができ、原画像ｆの性質が事前に分かつてい
ない場合にも従来に比して一段と原画像ｆに近い復元画
像を得ることができる。

【００２２】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００２３】（１）画像復元処理の原理 この実施例において、Ｘ^* は行列Ｘの共分散行列を示
し、Ｘ⁺ は行列Ｘのムーア・ペンローズ一般逆行列を示
し、Ｒ（Ｘ）は行列Ｘの値域を示し、Ｋ（Ｘ）は行列Ｘ
の零空間を示し、dim(Ｓ）は部分空間Ｓの次元を示すも
のとする。

【００２４】射影フィルタＢ₁ は、（３）式を満たす部
分空間Ｓに復元画像ｆ₁ を求める復元作用素であり、具
体的には、次式

【数５】 で与えられる。

【００２５】ここで（５）式において、行列Ｖ₁ 及びＵ
₁ はそれぞれ、次式

【数６】

【数７】 で表される作用素である。

【００２６】因みに（６）式において行列Ｑは雑音ｎの
相関作用素であり、次式

【数８】 に示すように雑音ｎの平均値で与えられる。

【００２７】また部分射影フイルタＢ₂ は、原画像ｆが
属する部分空間をＳ₁ としたとき、（４）式を満たす部
分空間Ｓ₂ の中から復元画像ｆ₂ を求める復元作用素で
あり、具体的には、次式

【数９】 で与えられる。

【００２８】ここで（９）式において、行列Ｖ₂ 及びＵ
₂ はそれぞれ、次式

【数１０】

【数１１】 で表される作用素である。

【００２９】因みに（９）式において行列Ｐ₁ は、原画
像ｆが属する部分空間Ｓ₁ への射影行列である。ここで
部分空間Ｓ₁ は、劣化画像Ａの共分散行列Ａ^* の固有ベ
クトルから対応する固有値の大きい順にｎ個取り出した
固有ベクトルにより張られる空間とする。

【００３０】このとき部分空間Ｓ₁ の次元は、確かに原
画像空間Ｈ₁ の次元ｍよりも低くなるが、原画像ｆが属
する部分空間とは厳密には言えなくなるために、（９）
式より導出される部分射影フイルタＢ₂ では良い復元画
像ｆ₂ は得られない。そこで部分射影フイルタＢ₂ によ
る第１段階目の画像復元処理によつて求められた復元画
像ｆ₂ を新たな劣化画像と考えることにより再度復元処
理を実行し、原画像ｆにより近い復元画像ｆ₃ を得るこ
とを考える。

【００３１】すなわち（２）式において、ｆ₂ を新たな
劣化画像とし、次式

【数１２】 に示すように、画像復元フイルタＢ₃ による２段階目の
画像復元処理によつて復元画像ｆ₃ を復元する。ここで
行列（Ｂ₂ Ａ）が新たな劣化作用素を示し、行列（Ｂ₂
Ｎ）が雑音を表す。

【００３２】ところが（12）式に従つて２段階目の画像
復元処理を実行する場合において、１段回目の画像復元
処理と同様に劣化画像（Ｂ₂ Ａ）の共分散行列（Ｂ
₂ Ａ）^*の固有ベクトルの一部が張る空間を部分空間Ｓ
₁ として導出された部分射影フイルタを画像復元フイル
タＢ₃ として復元処理を実行すると、原画像ｆが部分空
間Ｓ₁ に属しているとは厳密には言えないため、２段階
目の画像復元処理による復元画像ｆ₃ は良い復元画像と
はならない。

【００３３】そこで２段階目の画像復元処理を実行する
場合には、部分空間Ｓ₁ を原画像空間Ｈ₁ 全体として部
分射影フイルタを導出してそれを画像復元フイルタＢ₃
として復元処理すれば、原画像ｆが必ず部分空間Ｓ₁ に
属するので、良い復元画像を得ることができる。ところ
で部分空間Ｓ₁ を原画像空間Ｈ₁ 全体としたときの部分
射影フイルタＢ₃ は射影行列Ｐ₁ が単位行列Ｅになるの
で射影フイルタに一致する。

【００３４】従つて２段階目の画像復元処理に用いられ
る画像復元フイルタＢ₃ は、次式

【数１３】 で与えられる。

【００３５】ここで（13）式における行列Ｖ₃ 及びＵ₃
はそれぞれ、次式

【数１４】

【数１５】 で与えられる作用素である。

【００３６】因みに（14）式において、行列Ｑ₃ は、次
式

【数１６】 で与えられる雑音である。

【００３７】すなわち本発明においては、原画像ｆ（図
３）に対する劣化画像ｇ（図４）から原画像ｆに近い復
元画像を復元する処理を２段階に分け、まず第１段階目
の画像復元処理においては、部分空間Ｓ₁ （共分散行列
Ａ^* の固有ベクトルのうち対応する固有値の大きいもの
から順にｎ個の固有ベクトルで張られる部分空間）への
部分射影フイルタＢ₂ （（９）式）により第１段目の復
元画像ｆ₂ （図５）を求める。

【００３８】続く第２段階目の画像復元処理において
は、第１段階目の復元画像ｆ₂ （図５）を新たな劣化画
像であるとして射影フイルタ（（13）式）により求めら
れる第２段目の復元画像ｆ₃ （図６）を最終的な復元画
像とするようにする。これにより最終的な復元画像ｆ₃
は、第１段階目の復元画像ｆ₂ から縦じま状の模様を取
り除いた鮮明な復元画像となり、原画像ｆがどの空間に
属するか分からない場合にも従来の部分射影フイルタ単
独による復元処理に比して一段とより良い復元画像を得
ることができる。

【００３９】因みに図４に示す劣化画像ｇは、原画像ｆ
を横方向にぶれさせた上に正規分布的なノイズを加えた
劣化画像である。またこのようにして得られた復元画像
ｆ₃ の画質を評価して、当該復元画像ｆ₃ の画質が良く
ないと判断したときは、第１段階目の画像復元処理にお
いて部分空間Ｓ₁ を求めるときに用いた劣化画像Ａの共
分散行列Ａ^* の固有ベクトルの数を変えて部分空間Ｓ₁
を張り直し、満足できる画質の復元画像が得られるまで
以上の操作を繰り返すようにしても良い。

【００４０】（２−１）実施例の構成及び動作 図１において、１は全体として画像復元装置を示し、Ｃ
ＣＤカメラでなる撮像装置２で撮像された撮像画像を行
列データＳ１として画像処理装置３に入力するようにな
されている。ここで行列データＳ１は、手ぶれ等により
画質が劣化している。

【００４１】画像撮像装置３は、行列データＳ１を入力
すると、図２に示す処理手順に基づいて画像復元処理を
実行する。すなわち画像撮像装置３は、ステツプＳＰ１
から当該処理手順を開始すると、ステツプＳＰ２におい
て劣化画像ｇの共分散行列Ａ^* とその固有値及び固有ベ
クトルを例えばヤコビ法を用いて求める。

【００４２】続くステツプＳＰ３において画像処理装置
３は、制御装置４から入力される制御信号Ｓ２より固有
値の下限を示すパラメータεを入力する。画像処理装置
３は、ステツプＳＰ４から第１段階目の画像復元処理に
入り、まずステツプＳＰ２で得られた固有ベクトルのう
ち対応する固有値がパラメータεよりも小さい固有ベク
トルを除き（ステツプＳＰ４）、残りの固有ベクトルが
張る部分空間Ｓ₁ への射影行列Ｐ₁ を求める（ステツプ
ＳＰ５）。

【００４３】次に画像処理装置３は、射影行列Ｐ₁ と劣
化作用素Ａ及び雑音の相関作用素Ｑ₂ を用いることによ
り（９）式〜（11) 式から部分射影フイルタＢ₂ を導出
し（ステツプＳＰ６）、（２）式に示すように劣化画像
ｇに部分射影フイルタＢ₂ を作用させて第１段目の処理
画像ｆ₂ を求める（ステツプＳＰ７）。

【００４４】画像処理装置３は、続くステツプＳＰ７か
ら第２段階目の画像復元処理に入り、ステツプＳＰ６で
求めた部分射影フイルタＢ₂ に劣化作用素Ａを掛けて新
たな劣化作用素（Ｂ₂ Ａ）を求めると共に部分射影フイ
ルタＢ₂ と雑音の相関作用素Ｑ₂ から（16）式を用いて
新たな雑音の相関作用素Ｑ₃ を求め、この劣化作用素
（Ｂ₂ Ａ）と相関作用素Ｑ₃ とを用いて、（12）式〜
（15）式から射影フイルタＢ₃ を導出する。

【００４５】画像処理装置３は、続くステツプＳＰ９に
移ると、（12）式に示すように第１段目の処理画像ｆ₂
に射影フイルタＢ₃ を作用させて第２段目の処理画像ｆ
₃ を求める。この第２段目の処理画像ｆ₃ は、画像処理
装置３を制御する制御装置４に第２段階処理画像データ
Ｓ３として出力され、当該制御装置４において良い復元
画像か否か判定される（ステツプＳＰ１０）。

【００４６】ここで否定結果が得られると（すなわち良
い復元画像でないと判断すると）、制御装置４は制御信
号Ｓ２として新たなパラメータεを画像処理装置３に出
力し、画像処理装置３はパラメータεを新たな値に設定
すると共に（ステツプＳＰ１１）、ステツプＳＰ４に戻
つて第１段階目の画像復元処理（ステツプＳＰ４〜ステ
ツプＳＰ６）及び第２段階目の画像復元処理（ステツプ
ＳＰ７〜ステツプＳＰ９）を再度実行する。

【００４７】やがて肯定結果が得られると（すなわち良
い復元画像であると判断すると）、画像処理装置３は表
示装置５及び記録装置６に最終的な復元画像ｆ₃ の画像
データＳ４を供給してデイスプレイ上に復元画像ｆ₃ を
表示させると共に記録媒体に画像データＳ４を記録し、
ステツプＳＰ１１に移つて当該処理を終了する。

【００４８】（２−２）実施例の効果 以上の構成によれば、劣化画像ｇから原画像ｆに近い復
元画像ｆ₃ を復元する復元処理として、まず第１段階目
の復元処理で劣化画像の共分散行列Ａ^* の固有ベクトル
の一部で張る部分空間Ｓ₁ への部分射影フイルタＢ₂ に
よつて第１段目の復元画像ｆ₂ を求めた後、第２段階の
復元処理で第１段目の復元画像ｆ₂ を劣化画像とする射
影フイルタＢ₃ によつて第２段目の復元画像ｆ₃ を求
め、当該第２段目の復元画像ｆ₃ を最終的な復元画像と
することにより、原画像ｆの性質が復元処理の事前に分
からない場合にも、部分射影フイルタＢ₂ 単独による復
元処理の場合に比して一段と原画像ｆに近い復元画像を
容易に得ることができる。

【００４９】（３）他の実施例 なお上述の実施例においては、文字「Ａ」について劣化
画像（図４）から復元画像（図６）を復元する場合につ
いて述べたが、本発明はこれに限らず、種々の画像を復
元する場合に広く適用し得る。

【００５０】また上述の実施例においては、劣化画像
（図４）から復元画像（図６）を復元するまでの処理に
ついて述べたが、本発明はこれに限らず、レンズのオー
トフオーカスに用いても良く、またセキユリテイカメラ
による人物認識等種々の分野に適用し得る。

【００５１】

【発明の効果】上述のように本発明によれば、第１段階
の復元処理において、劣化画像の共分散行列の固有ベク
トルのうち一部の固有ベクトルが張る部分空間に原画像
が属しているとみなして導出した部分射影フイルタを劣
化画像に作用させて第１段階の処理画像を求め、続く第
２段階の復元処理においては、当該第一段階の処理画像
を新たな劣化画像として導出した射影フイルタを第一段
階の処理画像に作用させて第二段階の処理画像を求めて
復元画像とすることにより、原画像の性質が事前にわか
らない場合でも、原画像に一段と近い復元画像を従来に
比して容易に得ることができる。

【図面の簡単な説明】

【図１】本発明による画像復元方法を適用した画像復元
装置の一実施例を示すブロツク図である。

【図２】その動作の説明に供するフローチヤートであ
る。

【図３】画像復元処理の説明に供する原画像を示す略線
図である。

【図４】画像復元処理の説明に供する劣化画像を示す略
線図である。

【図５】第１段階の画像復元処理により得られる処理画
像を示す略線図である。

【図６】第１段階の処理画像を新たな劣化画像とする第
２段階の画像復元処理により得られる処理画像を示す略
線図である。

【図７】劣化画像の画像復元処理の説明に供する略線図
である。

【図８】射影フイルタによる画像復元処理の説明に供す
る略線図である。

【図９】部分射影フイルタによる画像復元処理の説明に
共する略線図である。

【符号の説明】

１……画像復元装置、２……撮像装置、３……画像処理
装置、４……制御装置、５……表示装置、６……記録装
置、Ｈ₁ ……原画像空間、Ｈ₂ ……観測空間、Ｓ、
Ｓ₁ 、Ｓ₂ ……部分空間、Ｂ₁ 、Ｂ₃ ……射影フイル
タ、Ｂ₂ ……部分射影フイルタ。

Claims (1)

【特許請求の範囲】
1. 【請求項１】劣化画像を復元し、原画像に近い復元画像
   を求める画像復元方法において、 上記劣化画像の共分散行列の固有ベクトルのうち一部の
   固有ベクトルが張る部分空間に、上記原画像が属してい
   るとみなして部分射影フイルタを導出し、 当該部分射影フイルタを上記劣化画像に作用させて第一
   段階の処理画像を求めた後、 当該第一段階の処理画像を求める処理過程を新たな劣化
   過程として射影フイルタを導出し、 上記射影フイルタを上記第一段階の処理画像に作用させ
   て第二段階の処理画像を求めて復元画像とすることを特
   徴とする画像復元方法。