JPH11265446A - 画像復元方法及び画像復元装置 - Google Patents

Abstract

(57)【要約】 【課題】劣化作用素の行列のサイズを小さくして復元作
用素を算出するための計算量を削減することができる画
像復元方法を提供すること。 【解決手段】単一方向流れ画像の流れ方向を検出し
（１）、検出した流れ方向が水平もしくは垂直になるよ
う幾何学的に補正することにより劣化モデルを分離核に
し（２Ａ）、補正した前記単一方向流れ画像を既存の最
適画像復元フィルタによって復元し（３）、復元後の画
像に対し前記幾何学的補正の逆の操作を行なう（４Ａ）
各工程からなるようにしたものであり、従来に比べ、劣
化作用素の行列のサイズを小さくすることができるた
め、復元作用素を算出する際の計算量を削減することが
でき、高速に復元画像が得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、単一方向流れ画像
を復元する画像復元方法及び画像復元装置に関する。

【０００２】

【従来の技術】従来、劣化画像を復元する方法として
は、一般逆フィルタ、射影フィルタ、部分射影フィルタ
等の最適画像復元フィルタが知られている。これらの最
適画像復元フィルタは、既知であるか、もしくは経験的
に求められる劣化作用素や原画像が属する空間の情報を
元に構成する復元作用素を劣化画像に作用させることに
より復元画像を得るものであり、例えば、前記部分射影
フィルタを用いた画像復元方法としては、特開平５−１
３５１６７に記載の「部分射影フィルタを使用する画像
復元方法」や、特開平５−２０５０４８に記載の「画像
復元方法」などが知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の画像復元方法においては、それを適用しようとした
場合、今仮に、原画像及び劣化画像のサイズをｎ×ｎ次
元ベクトルとして扱わなければならないため、劣化作用
素はｎ×ｎ行ｎ×ｎ列の行列となり、復元作用素を求め
る際の計算量が膨大になってしまうという問題があっ
た。

【０００４】本発明は、上記従来の問題を解決するため
になされたもので、劣化作用素の行列のサイズを小さく
し、復元作用素を算出するための計算量を削減すること
ができる画像復元方法及び画像復元装置を提供すること
を目的とする。

【０００５】

【課題を解決するための手段】本発明ににおける画像復
元方法及び画像復元装置は、上記の目的を達成するた
め、対象とする劣化画像を任意方向の単一方向流れ画像
に限定し、与えられた劣化画像における流れ方向を検出
し、検出した方向が水平もしくは垂直になるように幾何
学的に補正を行い、劣化作用素を水平方向のみかもしく
は垂直方向のみ、すなわち分離核の形式で記述できるよ
うに変換して、劣化作用素の行列のサイズをｎ行ｎ列に
するようにしたものである。

【０００６】本発明は、復元作用素を算出する際の劣化
作用素の行列のサイズをｎ行ｎ列にすることにより、復
元作用素を算出する際の計算量を削減することができる
画像復元方法及び装置が得られる。

【０００７】本発明ににおける画像復元方法及び装置
は、上記の目的を達成するため、対象とする劣化画像を
任意方向の単一方向流れ画像に限定し、与えられた劣化
画像における流れ方向を検出し、検出した方向が水平も
しくは垂直になるように線形変換を行い、劣化作用素を
水平方向のみかもしくは垂直方向のみ、すなわち分離核
の形式で記述できるように変換して、劣化作用素の行列
のサイズをｎ行ｎ列にするようにしたものである。

【０００８】本発明は、復元作用素を算出する際の劣化
作用素の行列のサイズをｎ行ｎ列にすることにより、復
元作用素を算出する際の計算量を削減することができる
画像復元方法及び装置が得られる。

【０００９】

【発明の実施の形態】本発明の請求項１に記載の発明
は、単一方向流れ画像の流れ方向を検出し、前記検出し
た流れ方向が水平もしくは垂直になるよう幾何学的に補
正することにより劣化モデルを分離核にし、補正した前
記単一方向流れ画像を既存の最適画像復元フィルタによ
って復元し、復元後の画像に対し前記幾何学的補正の逆
の操作を行なう各工程からなるようにしたものであり、
従来に比べ、劣化作用素の行列のサイズを小さくするこ
とができるため、復元作用素を算出する際の計算量を削
減することができ、高速に復元画像が得られるという作
用を有する。

【００１０】本発明の請求項２に記載の発明は、単一方
向流れ画像の流れ方向を検出し、前記検出した流れ方向
が水平もしくは垂直になるよう線形変換することにより
劣化モデルを分離核にし、線形変換した前記単一方向流
れ画像を既存の最適画像復元フィルタによって復元し、
復元後の画像に対し前記幾何学的補正の逆の操作を行な
う各工程からなるようにしたものであり、従来に比べ、
劣化作用素の行列のサイズを小さくすることができるた
め、復元作用素を算出する際の計算量を削減することが
でき、高速に復元画像が得られるという作用を有する。

【００１１】本発明の請求項３に記載の発明は、単一方
向流れ画像の流れ方向を検出する流れ方向検出手段と、
前記単一方向流れ画像を幾何学的に補正する幾何学的補
正手段と、前記補正した画像を復元する既存の最適画像
復元フィルタと、前記幾何学的補正手段の逆の操作を行
なう逆演算手段とを具備し、幾何学的補正手段により単
一方向流れ画像の流れ方向を水平もしくは垂直になるよ
う補正してから最適画像復元フィルタで復元するように
したものであり、従来に比べ、劣化作用素の行列のサイ
ズを小さくすることができるため、復元作用素を算出す
る際の計算量を削減することができ、高速に復元画像が
得られるという作用を有する。

【００１２】本発明の請求項４に記載の発明は、単一方
向流れ画像の流れ方向を検出する流れ方向検出手段と、
前記単一方向流れ画像を線形変換する線形変換手段と、
前記線形変換した画像を復元する既存の最適画像復元フ
ィルタと、前記線形変換手段の逆の操作を行なう逆変換
手段とを具備し、線形変換手段により単一方向流れ画像
の流れ方向を水平もしくは垂直になるよう変換してから
最適画像復元フィルタで復元するようにしたものであ
り、従来に比べ、劣化作用素の行列のサイズを小さくす
ることができるため、復元作用素を算出する際の計算量
を削減することができ、高速に復元画像が得られるとい
う作用を有する。

【００１３】本発明の請求項５に記載の発明は、前記流
れ方向検出手段は、画像の全方向に対して微分を行い、
得られた微分画像の分散値が最も小さくなる方向を流れ
方向とするようにしたものであり、分散値が最も小さく
なる方向を流れ方向とするようにしたことにより、簡単
に流れ方向を検出できるとともに、従来に比べ、劣化作
用素の行列のサイズを小さくすることができるため、復
元作用素を算出する際の計算量を削減することができ、
高速に復元画像が得られるという作用を有する。

【００１４】以下、添付図面、図１乃至図５に基づき、
本発明の実施の形態を詳細に説明する。 （実施の形態１）まず、図１を参照して、本発明の実施
の形態１における画像復元方法を説明する。図１は本発
明の実施の形態１における画像復元方法の動作の流れを
示すフローチャートである。

【００１５】図１において、１は単一方向流れ画像の流
れ方向を検出する処理を示し、２Ａは画像を幾何学的に
補正する処理を示し、３は既存の画像復元処理を示し、
４Ａは画像を幾何学的に補正する処理２Ａに対応する逆
演算を行なう処理を示す。

【００１６】次に、図１を参照して、上記のような処理
及び要素で構成された本発明の実施の形態１における画
像復元方法の動作を説明する。まず、処理（以下、ステ
ップと呼ぶ）１において入力流れ画像の流れ方向を検出
する。次に、ステップ２Ａへ進み、ステップ１で検出し
た流れ方向が水平もしくは垂直になるように入力画像を
幾何学的に補正し、劣化のモデルを分離核にする。そこ
で、ステップ３へ進み、ステップ２Ａで補正した画像を
復元する。次に、ステップ４Ａに移り、ステップ２Ａで
行なわれた幾何学的補正の逆の操作を行なうことによ
り、入力流れ画像に対する復元画像を得る。

【００１７】本実施の形態における画像復元方法は、以
上説明したように処理することにより、本来、射影フィ
ルタ等の既存の画像復元処理では、画像のサイズがｎ×
ｎの場合、扱わなくてはならない行列のサイズがｎ×ｎ
行ｎ×ｎ列であるのに対し、本実施の形態における画像
復元方法を使用すれば、ｎ行ｎ列にできるため、計算量
を削減することができるので、高速に復元画像を得るこ
とができる。

【００１８】（実施の形態２）次に、図２を参照して、
本発明の実施の形態２における画像復元方法を説明す
る。図２は本発明の実施の形態２における画像復元方法
の動作の流れを示すフローチャートである。図２におい
て、１は単一方向流れ画像の流れ方向を検出する処理を
示し、２Ｂは画像を線形変換する処理を示し、３は既存
の画像復元処理を示し、４Ｂは画像を線形変換する処理
（ステップ）２Ｂに対応する逆変換を行なう処理を示
す。

【００１９】次に、図２を参照して、上記のような処理
及び要素で構成された本発明の実施の形態２における画
像復元方法の動作を説明する。まず、処理（以下、ステ
ップと呼ぶ）１において入力流れ画像の流れ方向を検出
する。次に、ステップ２Ｂへ進み、ステップ１で検出し
た流れ方向が水平もしくは垂直になるように入力画像を
線形変換し、劣化モデルを分離核にする。そこで、ステ
ップ３へ進み、ステップ２Ｂで補正した画像を復元す
る。最後に、ステップ４Ｂに移り、ステップ２Ｂで行な
われた線形変換の逆変換をを行なうことにより、入力流
れ画像に対する復元画像を得る。

【００２０】本実施の形態における画像復元方法は、以
上説明したように処理することにより、本来、射影フィ
ルタ等の既存の画像復元処理では、画像のサイズがｎ×
ｎの場合、扱わなくてはならない行列のサイズがｎ×ｎ
行ｎ×ｎ列であるのに対し、本実施の形態における画像
復元方法を使用すれば、ｎ行ｎ列にできるため、計算量
を削減することができるので、高速に復元画像を得るこ
とができる。

【００２１】（実施の形態３）次に、図３を参照して、
本発明の実施の形態３における画像復元装置を説明す
る。図３は本発明の実施の形態３における画像復元装置
の構成を示すブロック図である。

【００２２】図３において、１１は単一方向流れ画像の
流れ方向を検出する流れ方向検出手段、１２Ａは画像を
幾何学的に補正する幾何学的補正手段、１３は既存の画
像復元処理を行なう最適画像復元フィルタ、１４Ａは幾
何学的補正手段１２Ａの逆の操作を行なう逆演算手段、
２１は本実施の形態３における画像復元装置に対する単
一方向流れ画像を示し、２２はこの画像復元装置から出
力する復元画像を示すものである。

【００２３】次に、図３を参照して、本発明の実施の形
態３における画像復元装置の動作を説明する。この画像
復元装置は、流れ方向検出手段１１を用いて、入力した
単一方向流れ画像２１の流れ方向を検出する。次に、幾
何学的補正手段１２Ａは、流れ方向検出手段１１で検出
した流れ方向を用いて、入力画像である単一方向流れ画
像２１の流れ方向が水平もしくは垂直になるように、単
一方向流れ画像２１を変換する。

【００２４】ここで、幾何学的補正手段１２Ａにおける
単一方向流れ画像２１の詳細な補正処理動作を説明す
る。この例で、例えば、流れ方向が水平方向からαラジ
アンであったとした場合、まず画像の中心が原点になる
ように水平移動し、画像のすべての点（ｘ，ｙ）の輝度
値をその点の座標にし、回転角αの回転行列

【００２５】

【数１】

【００２６】を乗じて得られた点（ｘ’，ｙ’）の最近
隣格子点の輝度値に変換した画像を変換後の画像、すな
わち水平方向の単一方向流れ画像とするものである。
尚、前述の最近隣格子点の輝度値の代わりに、周囲の任
意数の点の輝度値の加重平均による輝度値としてもよ
い。また、点（ｘ’，ｙ’）の座標が、与えられた画像
の範囲外に位置する場合は、その点の輝度値は０もしく
は擬度値の最大値もしくは任意の値としても構わない。

【００２７】次に、上記の幾何学的補正手段１２Ａの出
力である水平もしくは垂直流れ画像を最適画像復元フィ
ルタ１３で復元する。但し、この場合、一般的な画像復
元方法と同様、ある程度経験的に劣化作用素を推定する
必要がある。最後に、上記の最適画像復元フィルタ１３
からの出力画像を逆演算手段１４Ａで幾何学的に元に戻
すことにより、最終的な復元画像を得る。

【００２８】以上説明したように処理を行なうことによ
り、本来、射影フィルタ等の既存の画像復元処理では、
画像のサイズがｎ×ｎの場合、扱わなくてはならない行
列のサイズがｎ×ｎ行ｎ×ｎ列であるのに対し、本実施
の形態における画像復元装置を使用すれば、ｎ行ｎ列に
できるため、計算量を削減することができるので、高速
に復元画像を得ることができる。

【００２９】（実施の形態４）次に、図４を参照して、
本発明の実施の形態４における画像復元装置を説明す
る。図４は本発明の実施の形態４における画像復元装置
の構成を示すブロック図である。

【００３０】図４において、１１は単一方向流れ画像の
流れ方向を検出する流れ方向検出手段、１２Ｂは画像を
線形変換する線形変換手段、１３は既存の画像復元処理
を行なう最適画像復元フィルタ、１４Ｂは線形変換手段
１２Ｂの逆の操作を行なう逆変換手段、２１は本実施の
形態における画像復元装置に対する単一方向流れ画像を
示し、２２はこの画像復元装置から出力する復元画像を
示すものである。

【００３１】次に、図４を参照して、本発明の実施の形
態４における画像復元装置の動作を説明する。この画像
復元装置は、流れ方向検出手段１１を用いて、入力した
単一方向流れ画像２１の流れ方向を検出する。次に、線
形変換手段１２Ｂは、流れ方向検出手段１１で検出した
流れ方向を用いて、入力画像である単一方向流れ画像２
１の流れ方向が水平もしくは垂直になるように、単一方
向流れ画像２１を変換する。

【００３２】

【外１】

【００３３】尚、回転する前に、画像の上側もしくは下
側、または右側もしくは左側にｎ×ｍ画素の任意の画素
を付加しても構わない。

【００３４】次に、上記の線形変換手段１２Ｂの出力で
ある水平もしくは垂直流れ画像を最適画像復元フィルタ
１３で復元する。但し、この場合も、一般的な画像復元
方法と同様、ある程度経験的に劣化作用素を推定する必
要がある。最後に、上記の最適画像復元フィルタ１３か
らの出力画像を逆変換手段１４Ｂで幾何学的に元に戻す
ことにより、最終的な復元画像を得る。

【００３５】以上説明したように処理を行なうことによ
り、本来、射影フィルタ等の既存の画像復元処理では、
画像のサイズがｎ×ｎの場合、扱わなくてはならない行
列のサイズがｎ×ｎ行ｎ×ｎ列であるのに対し、本実施
の形態における画像復元装置を使用すれば、ｎ行ｎ列に
できるため、計算量を削減することができるので、高速
に復元画像を得ることができる。

【００３６】（実施の形態５）次に、図５を参照して、
本発明の実施の形態５における画像復元装置の流れ方向
検出手段の処理動作を説明する。図５は図３に示す画像
復元装置の流れ方向検出手段の処理動作を示すフローチ
ャートである。

【００３７】まず、図５を参照して、その各処理手段に
ついて説明する。図５において、３１は調査方向の初期
値を設定する処理を示し、３２は調査方向で画像を微分
する処理を示し、３３は微分画像の分散を算出する処理
を示し、３４は分散の値がいままでの最小の値かどうか
を判断する処理を示し、３５は最小値を更新するととも
にそのときの方向を記憶する処理を示し、３７は調査方
向を変更する処理を示し、３８は分散が最小であったと
きの方向を出力する処理を示すものとする。

【００３８】次に、図５を参照して、本発明の実施の形
態５における画像復元装置の流れ方向検出手段の動作を
説明する。まず、ステップ（処理）３１において、調査
方向の初期値を設定し、ステップ３２において、その調
査方向で画像を微分し、ステップ３３において、微分し
た画像の分散を算出する。そこで、ステップ３４へ進
み、分散した値がいままでの最小の値かどうかを判断
し、イエス、すなわち最小値であればステップ３５へ進
み、その分散値を最小値として記憶するとともにそのと
きの方向を記憶してステップ３６へ戻る。

【００３９】ステップ３４において、ノー、すなわち最
小値でなければステップ３６へ進み、全ての方向につい
て調査したかどうかを判断し、ノー、すなわちまだ全て
の方向について調査していないと判断した場合はステッ
プ３７へ進み、調査方向を更新してステップ３２へ戻
り、上記同様にそれ以下の処理を繰り返す。ステップ３
６において、イエス、すなわち既に全ての方向について
調査していたと判断した場合にはステップ３８へ進み、
ステップ３５において記憶した分散値が最小値をとった
ときの方向を出力する。

【００４０】

【発明の効果】本発明は、以上説明したように構成し、
特に与えられた単一方向流れ画像の流れ方向を検出し、
検出した方向が水平または垂直になるよう幾何学的に補
正して、劣化作用素を水平方向または垂直方向のみ、す
なわち分離核の形式で記述できるように変換して、劣化
作用素の行列のサイズを小さくするようにしたことによ
り、復元作用素を算出する際の計算量を削減し、高速に
復元画像を得ることができる。

【００４１】本発明は、特に与えられた単一方向流れ画
像の流れ方向を検出し、検出した方向が水平または垂直
になるよう入力画像を線形変換して、劣化作用素を水平
方向または垂直方向のみ、すなわち分離核の形式で記述
できるように変換して、劣化作用素の行列のサイズを小
さくするようにしたことにより、復元作用素を算出する
際の計算量を削減し、高速に復元画像を得ることができ
る。

【図面の簡単な説明】

【図１】本発明の実施の形態１における画像復元方法の
動作の流れを示すフローチャート、

【図２】本発明の実施の形態２における画像復元方法の
動作の流れを示すフローチャート、

【図３】本発明の実施の形態３における画像復元装置の
構成を示すブロック図、

【図４】本発明の実施の形態４における画像復元装置の
構成を示すブロック図、

【図５】図３に示す画像復元装置の流れ方向検出手段の
処理動作を示すフローチャート

【符号の説明】

１ 流れ方向検出処理 ２Ａ 幾何学的補正処理 ２Ｂ 線形変換処理 ３ 既存の画像復元処理 ４Ａ 逆演算処理 ４Ｂ 逆変換処理 １１ 流れ方向検出手段 １２Ａ 幾何学的補正手段 １２Ｂ 線形変換手段 １３ 最適画像復元フィルタ １４Ａ 逆演算手段 １４Ｂ 逆変換手段 ２１ 単一方向流れ画像 ２２ 復元画像 ３１ 調査方向の初期値設定処理 ３２ 調査方向で画像を微分する処理 ３３ 微分画像の分散を算出する処理 ３４ 分散の値がいままでの最小かどうかを判断する処
理 ３５ 最小値を更新しかつそのときの方向を記憶する処
理 ３６ 全ての方向を調査したかどうかを判断する処理 ３７ 調査方向を更新する処理 ３８ 分散が最小のときの方向を出力する処理

Claims (5)

【特許請求の範囲】
1. 【請求項１】単一方向流れ画像の流れ方向を検出し、前
   記検出した流れ方向が水平もしくは垂直になるよう幾何
   学的に補正することにより劣化モデルを分離核にし、補
   正した前記単一方向流れ画像を既存の最適画像復元フィ
   ルタによって復元し、復元後の画像に対し前記幾何学的
   補正の逆の操作を行なう各工程からなることを特徴とす
   る画像復元方法。
2. 【請求項２】単一方向流れ画像の流れ方向を検出し、前
   記検出した流れ方向が水平もしくは垂直になるよう線形
   変換することにより劣化モデルを分離核にし、線形変換
   した前記単一方向流れ画像を既存の最適画像復元フィル
   タによって復元し、復元後の画像に対し前記幾何学的補
   正の逆の操作を行なう各工程からなることを特徴とする
   画像復元方法。
3. 【請求項３】単一方向流れ画像の流れ方向を検出する流
   れ方向検出手段と、前記単一方向流れ画像を幾何学的に
   補正する幾何学的補正手段と、前記補正した画像を復元
   する既存の最適画像復元フィルタと、前記幾何学的補正
   手段の逆の操作を行なう逆演算手段とを具備し、幾何学
   的補正手段により単一方向流れ画像の流れ方向を水平も
   しくは垂直になるよう補正してから最適画像復元フィル
   タで復元するようにしたことを特徴とする画像復元装
   置。
4. 【請求項４】単一方向流れ画像の流れ方向を検出する流
   れ方向検出手段と、前記単一方向流れ画像を線形変換す
   る線形変換手段と、前記線形変換した画像を復元する既
   存の最適画像復元フィルタと、前記線形変換手段の逆の
   操作を行なう逆変換手段とを具備し、線形変換手段によ
   り単一方向流れ画像の流れ方向を水平もしくは垂直にな
   るよう変換してから最適画像復元フィルタで復元するよ
   うにしたことを特徴とする画像復元装置。
5. 【請求項５】前記流れ方向検出手段は、画像の全方向に
   対して微分を行い、得られた微分画像の分散値が最も小
   さくなる方向を流れ方向とすることを特徴とする請求項
   ３または４記載の画像復元装置。