JPH03157070A - 画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は画像処理方法、特に電子スチールカメラ等によ
りデジタル化されて記憶された画像情報から原画像を復
元する画像処理方法に関する。

［従来の技術］ 従来よりピント合わせ機構や露出機構を有し感光材に画
像情報を記録するいわゆるカメラと言われる画像記録装
置が知られている。この装置においては、レンズを経て
焦点面に結像された画像の記録、再生自体を目的として
いるため、焦点面での画像が焦点はずれやブした画像で
ある場合にはそれ以上の画質の画像を得ることはできな
い。これに対し、固体撮像素子で光電変換された画像信
号を離散化、量子化して半導体メモリ、あるいは磁気デ
ィスク等に記録するいわゆるデジタル電子スチールカメ
ラと言われる画像記録装置の場合には、記憶された画像
情報から撮像時の焦点はずれ、あるいはブレの補正を行
って原画像を復元する画像処理が可能であり、画像をＣ
ＲＴで再生する際に種々の電気的処理を行って画質の良
い画像を得ることが考えられている。

この種の画像処理方法としては、例えば特開昭６２−１
２７９７６号公報に開示されているように、撮像時のブ
レ等をレンズ等の光学手段の特性を示す魚床がり関数で
表現し、この魚床がり関数に基づいて得られた画像を補
正する方法がある。

第６図はこの従来の画像処理方法における装置の構成ブ
ロック図である。撮像用レンズ１にて結像された画像情
報はＣＣＤ　（電荷結合デバイス）を用いた固体撮像素
子２により光電変換される。固体撮像素子２にて電気信
号に変換された画像情報はＡ／Ｄ変換器３にてデジタル
化され、コントローラ４を介してＲＡＭ５、更には主メ
モリ６に記憶される。そして記憶されたデジタル画像情
報は、コントローラ４を介して演算処理装部７に入力さ
れ、所定の処理が行われて焦点はずれやブレのない画像
に補正され、出力される構成である。

以下、この従来の画像処理方法における原画像復元の原
理を説明する。原画像の画像情報をＳ（ｘ、　　ｙ）と
すると、撮像用レンズ等の光学手段を経た画像情報ｇ（
ｘ、’ｙ）は、光学手段の魚床かり関数をｈ　（ｘ、ｙ
）として、 ｇ（ｘ、　ｙ）−Ｊ’　　Ｊ’　　ｓ　（τ１１τ２）
＠ｈ　（ｘ−ｒｌＳｙ−ｒ２）ｄｒｌｄｒ２＝　ｓ　　
Ｃｘｓ　　Ｙ）＊　＊　ｈ　　（Ｘ％　　Ｙ）・・・・
・・・・・・・・　（１） と表現することができる。ここで、記号＊はたたみごみ
を示している。そして、撮像時の焦点はずれやブレは、
この魚床がり関数ｈ　（ｘ、ｙ）の関数形にて表現する
ことができ、例えば焦点はずれに対してはガウス関数に
て表現することができることが知られている。

（１）式をフーリエ変換すると、 Ｇ　（Ｘ、Ｙ）−Ｓ　（Ｘ、Ｙ）　　・Ｈ（Ｘ、Ｙ）（
２） となる。但し、ｇ　（ｘ、　　ｙ）　、ｓ　（ｘ＋　　
ｙ）、ｈ　（ｘ、ｙ）のフーリエ変換をそれぞれＧ　（
Ｘ。

Ｙ）　、Ｓ　（Ｘ、Ｙ）　、Ｈ（Ｘ、Ｙ）とした。

さて、系に雑音が加わらず、魚床がり関数ｈ（ｘ、　　
ｙ）及びｇ　（ｘ、　　ｙ）が既知であるならば、（２
）式より、 （Ｓ　（Ｘ、Ｙ）　　・Ｈ（Ｘ、Ｙ））　　・１／Ｈ（
Ｘ。

Ｙ） −３（Ｘ、　　Ｙ） −Ｇ　　（Ｘ、Ｙ）　　φ１／Ｈ（Ｘ、Ｙ）・・・・・
・・・・　（３） となり、従って、得られた画像情報Ｇ　（Ｘ、　Ｙ）を
伝達関数（魚床がり関数のフーリエ変換）の逆関数特性
を有する逆フィルタに通すことにより、焦点はずれやズ
レが補正され、原画像が復元されることが理解される。

［発明が解決しようとする課題］ しかしながら、この従来の画像処理方法においては幾つ
かの問題があった。すなわち、数学的には（３）式に従
って原画像Ｓ　（Ｘ、Ｙ）を得ることができるが、実際
には伝達関数Ｈ（Ｘ、Ｙ）は零点を含むローパスである
ことが多く、従って１／Ｈ（Ｘ、　Ｙ）は数式上は存在
しても実際の演算処理は不可能で、原画像を復元できな
いのである。

いま、一方向への等速ブレに対応する光学手段の魚床が
り関数ｈ　（ｘ、ｙ）を第７図（Ａ）に示すように矩形
関数 ｈ（ｘ、　ｙ）　−（１／ｘｇ　）　・ｒ＋ｑｔ　（ｘ
／ｘ（、）とする。フーリエ変換して伝達関数を求める
と、）！（ＸＳＹ）　−ｓｉｎ　（πｘ　　Ｘ）　／　
（πＸＯＸ）となる。従って、原画像を復元するための
逆フィルタは、 １／Ｈ（Ｘ、’　　Ｙ）＝　　（πｘ　　　Ｘ）／ｓ１
ｎ　　（ｒｘｏ　Ｘ）となる。第７図（Ｂ）はこの逆フ
イルタ特性を示したものである。図から明らかなように
、この逆フィルタはＸ−ｎ／Ｘ（ｎはＯ以外の整数）で
閃すなわち極となり、雑音が存在する場合にはこの極に
より雑音が増幅されてしまい原画像の復元が極めて困難
となってＬまう。

このように、従来の画像処理方法においては原理的には
原画像を復元できるものの、逆フイルタ特性が不安定で
実用的でなく、また原画像を復元するのにフーリエ変換
を伴なうため処理時間が増大してしまうという問題があ
った。

本発明は上記従来の画像処理方法が有する課題に鑑みな
されたものであり、その目的はブレを含むデジタル画像
から短時間かつ確実に原画像を復元することができる画
像処理方法を提供することにある。

［課題を解決するための手段］ 上記目的を達成するために、本発明の画像処理方法は、
光学手段を経て固体撮像素子上にブレを伴ない結像され
電気信号に変換された画像情報からブレのない原画像を
復元する画像処理方法であって、復元すべき有限の大き
さの原画像の画像情報を所定領域内で積分し、その積分
値で重付けされた２次元デルタ関数列で離散化し、離散
化された前記原画像情報を前記所定領域内の積分値を成
分とする行列とみなし、前記ブレを伴ない電気信号に変
換された画像情報を、前記原画像情報の行列とこの原画
像情報の行列の成分をブレの状態に応じて変更して得ら
れる行列との和とみなし、この加算関係から原画像を復
元することを特徴としている。

［作用］ このように、本発明の画像処理方法は、従来方法のよう
にフーリエ変換したいわゆる周波数領域における逆フィ
ルタによる補正処理を行うのではなく、第１図の原理説
明図に示すように画像情報を行列で表現し、行列方程式
によって代数的に復元するものである。

すなわち、光学手段によってＣＯＤ等の固体撮像素子上
に結像された画像情報は固体撮像素子のセル間隔によっ
てその出力は離散化されている。

このことは、得られる２次元画像情報は、入力画像情報
Ｓ　（Ｘ＋　　ｙ）を固体撮像素子の１セル分の積分値
ｓ　ｏ　　（Ｊ　Ｔ　、　　ｋ　Ｔ　）をサンプル値と
する数値列（サンプリング間隔Ｔ）、すなわち所定の積
分値Ｓ。（ｊＴ、ｋＴ）で重付けされサンプリング間隔
毎に存在する２次元デルタ関数列δ（Ｘ−ｊＴ、Ｙ−Ｋ
Ｔ）で離散化されることを意味している。そして、この
離散化された画像情報Ｓ。

（ｊＴ、ｋＴ）を成分とする行列Ｓは一義的に画像情報
を決定することとなる。

そして、撮像時にブレが生じた場合にはこの離散化され
た画像情報はその空間位置が変化することとなるが、こ
の位置変化は行列Ｓの各成分の変化として現れることと
なり、従ってブレを伴なって得られる離散化された２次
元画像情報Ｇは、原画像の行列Ｓとブレの状態に応じて
この行列Ｓの各成分を変更して得られる行列Ｓ′との和
で表されることとなる。

このように、得られる２次元画像情報が原画像Ｓとブレ
状態を表すＳ′との和によって表現されるため、原画像
Ｓは既知のＧから行列方程式により代数的に求めること
ができる。

［実施例コ 以下、図面を用いながら本発明に係る画像処理方法の好
適な実施例を説明する。

本実施例に用いられる装置構成は従来の構成とほぼ同一
であり、画像情報は光学手段としての撮（象用レンズ１
により結像され、ＣＣＤを用いた固体撮像素子２によっ
て光電変換される。そして、固体撮像素子２によって得
られた時系列信号はＡ／Ｄ変換器３によってデジタル化
され、コントローラ４を介してＲＡＭ５あるいは磁気デ
ィスク等の主メモリに記憶される。

さて、本実施例において特徴的なことは、ＲＡＭ５ある
いは主メモリ６に記憶されたデジタル画像情報からブレ
のない原画像を復元するために、画像処理を行う演算処
理部７が従来とは異なる原理に基づく処理によって原画
像の復元を行うことにある。

復元すべき原画像をＳ　（Ｘ＋　　ｙ）する。サンプリ
ング間隔をＴ１積分時間を八Ｔとすると、この信号ｓ　
（ｘ、ｙ）の離散化された信号列は２次元のデイラック
デルタ関数δ（ｘ、　　ｙ）によって、（ｓ　（ｘ、　
ｙ）＊＊ｒｅｃｔ（ｘ／ΔＴ、ｙ／ΔＴ）１（１／Ｔ）
　２・ｍ　（ｘ　／　Ｔ　、　　ｙ　／　Ｔ　）（４） 但し、　（１，／Ｔ）２　・ｍ　（ｘ／Ｔ、ｙ／Ｔ）Ｎ −ΣΣδ　（ｘ−ｊＴ）　　δ　（ｙ−ｋＴ）１ 及び、ｒｅｃｔ（ｘ／ΔＴ、ｙ／ΔＴ）と表現される。

ここで、（）内の積分はＣＣＤの１画素の面積で受光す
る画像情報に対応する。

（４）式は、 （ｓ（ｘ、ｙ）本＊ｒｅｃｔ（ｘ／ΔＴ、　　ｙ／ΔＴ
））（１／Ｔ）　２・ｍ　（ｘ／ＴＳｙ／Ｔ）・・・・
・・・・・　（５） のように表現することができる。この（５）式は、信号
ｓ　（ｘ、ｙ）のΔＴ×ΔＴの領域の積分値ｓｏ　　（
ｊＴ、ｋＴ）、すなわちＣＣＤの１画素が受光する情報
で重付けされたデルタ関数列として離散化されることを
示している。

第２図（Ａ）はこの離散化された画像情報情報ｇｏ　　
（ｊＴ、ｋＴ）を行列成分にもツｍ　ｘ　ｎ行列Ｓを示
したものである。但し、図において行列Ｓの（ｊｋ）成
分Ｓｊｋを ５ｊｋ−８ｏ　（ｊＴ、ｋＴ）　　　　・・・・・・（
６）とした。

さて、撮像用レンズ１及び固体撮像素子２からなる光学
系が撮像時にある方向へブした場合、固体撮像素子２上
に結像する画像はそのブレの方向に移動し、かつそのブ
レの速度に応じた強度で結像する。すなわち、ブレ状態
に対応する画像情報は、ブレのない原画像情報を表す行
列Ｓの各成分をブレの方向に応じて移動させ、そのブレ
の速度に応じた強度で各ＣＣＤ画素に結像する画像情報
ｓｏ　　　（ｊＴ、ｋＴ）を成分とするｍＸｎ行列Ｓ゛
にて表される。第２図ＣＢ）に、このプレ状態に対応す
る行列Ｓ′の行列成分を示す。なお、本実施例において
は、右へ２列、下に１列移動させており、同図（Ａ）と
同様に ｓ　　ｊｋ−ｇｏ　　（ｊＴ、　ｋＴ）　　　・・・・
・・（７）とした。また、行列成分の移動によって第２
図（Ａ）に示された原画像情報に対応する画像情報が存
在しない行列成分（例えば１行１列成分や２行１列成分
）はすべて０とした。

さて、このようにブレを伴なって得られた画像情報は、
ブレのない復元すべき原画像Ｓとこのプレ状態に対応す
る画像Ｓ′との和となるが、第２図（Ｂ）の行列成分を
有するブレ状態画像の行列Ｓ″を原画像情報の行列Ｓで
表現することを考える。いま、第３図（Ａ）、（Ｂ）に
示すようにそれぞれ、 （Ｈ，）　ｌｊ−δｉ　ｊ＋１ （Ｈ）１ｊ−δ１＋２　Ｊ 但し、δｌｊはクロネッ力−のデルタ なる行列成分を有する行列ＨＳＨ及びスカシｘ ｍｍｐにより Ｓ　　−ｐ−ＨＳＨ−・−・・−・・（８）ｘ と表されるから、結局、得られる画像情報Ｇは、Ｇ−８
＋５− 一３＋ｐ−ＨｙＳＨ・・・・・・（９）となる。この（
９）式はブレを伴なって得られた画像情報Ｇが原画像情
報Ｓの線形変換ではないことを示している。なお、スカ
ラー量ｐはＳ　　ｓｊ”　ｐ　’　Ｓ　ｌｊ”””　（
１０）を満たす量であり、これはブレの方向や速度に依
存する量である。

このように、ブレが等速直線的でない場合にはブレが一
方向の等速ブレの場合と異なり、得られる画像情報は原
画像の線形変換ではなく、従って逆行列を求めて原画像
情報Ｓを復元することはできない。そこで、本実施例に
おいては以下のように順次行列の各成分を比較してＳを
算出している。

すなわち、（９）式の左辺の行列Ｇは第４図に示すよう
に原画像情報Ｓと同様にＣＣＤの１画素で受光する画像
情報で離散化した値ｇ。（ｋＴ。

ｊＴ）−ｇｌｊを成分にもち、一方、右辺の行列Ｓ＋ｐ
−ＨＳＨの成分は第５図に示すようにｘ なるが、行列方程式においては両辺の各列が等しいから
、以下の等式が成り立つ。

（以下余白） すなわち、 ｓ　　−ｇ　　　””１−１ｊ−２・・・・・・（１４
）ｉｊ　　　ｌｊ 但し、Ｓ　　　−０（Ｑ、ｒ＜１） ｒ が成り立ち、従って、得られる既知の行列Ｇの成分ｇｌ
ｊから順次原画像情報の行列Ｓを求めることができる。

具体的には、演算処理部にＲＡＭ５あるいは主メモリ６
に記憶された画像情報Ｇを入力し、撮像用レンズ１、固
体撮像素子２のブレを検出するブレセンサ（例えば超音
波や電磁波等を用いた任意の動き検出センサで構成でき
る）や、画像の自己相関関数を利用した方法等によりス
カラーｆｆ１ｐを決定して（１４）式の演算を順次行え
ばよい。

なお、本実施例の場合を一般化して、（９）式％式％ （１５） とし、ブレのパラメータであるスカラーｆｌｋ　ｐ　ｎ
（ｎ＝１．　２．・・・）を適宜選択することにより、
ブレが任意の方向及び速度で生じた場合にも原画像を復
元することができる。

このように、本発明の画像処理方法はブレを伴なって得
られた２次元画像情報から原画像を復元する際、これら
の画像情報を行列化して処理するものであり、種々のブ
レに対応することができるとともに従来方法のようにフ
ーリエ変換した周波数領域における逆フィルタによる処
理を行わないため高速かつ安定に原画像を復元すること
ができる。

［発明の効果］ 以上説明したように、本発明に係る画像処理方法によれ
ば、ブレを伴なって得られた２次元画像からブレのない
原画像を高速にかつ安定に復元することが可能となる。

【図面の簡単な説明】

第１図は本発明に係る画像処理方法の原理説明図、 第２図乃至第５図は本発明に係る画像処理方法の一実施
例における行列説明図、 第６図は従来の画像処理方法における装置構成ブロック
図、 第７図は従来の画像処理方法の説明図である。 撮像用レンズ 固体撮像素子 Ａ／Ｄ変換器 コントローラ ＡＭ 主メモリ 演算処理部

Claims (1)

1. 【特許請求の範囲】 光学手段を経て固体撮像素子上にブレを伴ない結像され
   電気信号に変換された画像情報からブレのない原画像を
   復元する画像処理方法であって、復元すべき有限の大き
   さの原画像の画像情報を所定領域内の積分値で重付けさ
   れた有限長の２次元デルタ関数列で離散化し、 離散化された前記原画像情報を前記所定領域内の積分値
   を成分とする行列とみなし、 前記ブレを伴ない電気信号に変換された画像情報を、前
   記原画像情報の行列とこの原画像情報の行列の成分をブ
   レの状態に応じて変更して得られる行列との和とみなし
   、 この加算関係から原画像を復元することを特徴とする画
   像処理方法。