JP4948159B2

JP4948159B2 - 点像関数の測定方法、点像関数の生成方法、点像関数測定装置および画像処理装置

Info

Publication number: JP4948159B2
Application number: JP2006355744A
Authority: JP
Inventors: 史紀高橋; 広明小松
Original assignee: Nitto Optical Co Ltd
Current assignee: Nitto Optical Co Ltd
Priority date: 2006-12-28
Filing date: 2006-12-28
Publication date: 2012-06-06
Anticipated expiration: 2026-12-28
Also published as: JP2008167255A

Description

本発明は、点像関数の測定方法、点像関数の生成方法、点像関数測定装置および画像処理装置

ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を用いるカメラで撮影を行う際に、シャッタを押す操作に伴い、カメラが一緒に動いてしまい、その結果、被写体像が劣化してしまい、いわゆる手ぶれ画像として撮影されてしまうことがある。

このような手ぶれ画像を手ぶれがない画像に復元する手段として、手ぶれ画像について点像関数（ＰＳＦ：ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ）を測定し、この点像関数に基づいて手ぶれ画像を復元する画像処理装置が知られている。この点像関数は、手ぶれの軌跡を角速度センサ等により検出し、この軌跡上の画素の受光量を測定したものである。すなわち、点像関数は、手ぶれの軌跡上にある画素の受光量として測定したものである。手ぶれ画像の復元の精度を高めるためには、点像関数の精度を高めることが重要である。点像関数の精度を高めるための手段として、軌跡上の画素の輝度値（受光量）の重み付けを、画素を通過する手ぶれの軌跡の時間に比例させる手段が特許文献１に開示されている。
特開２００６−２７９８０８号公報（要約書参照）

ところで、機械的に開閉を行うシャッタ（いわゆるメカシャッタ）により撮像素子の露光時間を制御する構成とした場合には、シャッタが全閉の状態から全開になるまでの間、および全開から全閉になるまでの間は、開口量が時間の経過と伴に変化する。そのため、シャッタが全閉の状態から全開になるまでの間、および全開から全閉になるまでの間については、画素への受光量の重み付け量を、画素を通過する手ぶれの軌跡の時間に比例させることが適切でなくなる。

例えば、画素への受光時間が同じであっても、全閉に近い状態と全開の状態とでは、全開の状態の方が全閉に近い状態に比べて画素の受光量は大きくなる。したがって、シャッタにより撮像素子の露光時間を制御する構成の場合には、画素への受光量の重み付け量を、画素を通過する手ぶれの軌跡の時間に比例させることとした場合には、点像関数の測定を精度高く行うことができない。

特に、シャッタが開口している時間、すなわち露光時間が短い場合には、シャッタが全閉の状態から全開になるまでの時間、および全開から全閉になるまでの時間が、全露光時間に占める割合が高くなり、画素を通過する手ぶれの軌跡の時間と撮像素子の受光量との比例関係が大きく崩れる。すなわち、露光時間が短いほど、点像関数の測定精度が低下することになる。

そこで、本発明は点像関数の測定を高い精度で行うことができる点像関数の測定方法、点像関数の生成方法、点像関数測定装置および画像処理装置を提供することを目的とする。

上記課題を解決するために、シャッタを備える撮影手段により撮影された撮影画像に関する点像関数の測定方法において、撮像素子が撮影のために露光されている露光時間中の時間の経過と、この時間の経過に伴う撮影手段のぶれ位置との関係に係るぶれ軌跡データを生成するステップと、露光時間中に撮像素子が受光する受光量の総和と、上記撮像素子における各画素が露光時間中における時間経過に伴うシャッタの開口面積に応じて受光する受光量との割合に係る受光量データを生成するステップと、ぶれ軌跡データと受光量データとを用いて点像関数を測定するステップとを有することとする。

この発明によれば、点像関数の測定を高い精度で行うことができる。

上記課題を解決するために、シャッタを備える撮影手段により撮影された撮影画像に関する点像関数の生成方法において、撮像素子が撮影のために露光されている露光時間中の時間の経過と、この時間の経過に伴う撮影手段のぶれ位置との関係に係るぶれ軌跡データを生成するステップと、シャッタが閉じている状態から所定の開口面積まで開くのに要する時間に撮像素子が受光する受光量と、シャッタが所定の開口面積に開いている状態から完全に閉じるまでに要する時間に撮像素子が受光する受光量の少なく一方を、時間の経過とともに変化するものとして計算するステップとを有することとする。

この発明によれば、得られる点像関数の精度を高めることができる。

上記課題を解決するために、シャッタを備える撮影手段により撮影された撮影画像に関する点像関数を測定する点像関数測定装置において、撮像素子が撮影のために露光されている露光時間中の時間の経過と、この時間の経過に伴う撮影手段のぶれ位置との関係に係るぶれ軌跡データを生成するぶれ軌跡データ生成手段と、露光時間中に撮像素子が受光する受光量の総和と、上記撮像素子における各画素が露光時間中における時間経過に伴うシャッタの開口面積に応じて受光する受光量との割合に係る受光量データを生成する受光量データ生成手段とを備え、ぶれ軌跡データ生成手段および受光量データ生成手段からのデータに基づいて点像関数を測定することとする。

また、他の発明は、画像処理装置において、上述の測定方法により測定した点像関数、生成方法により生成した点像関数、または点像関数測定装置により測定した点像関数に基づき、ぶれ画像を復元することとする。

この発明によれば、点像関数の測定または生成を高い精度で行うことができ、加えて、精度の高い画像の復元を行うことができる。

また、他の発明は、上述の発明に加え、上述の測定方法により測定した点像関数、生成方法により生成した点像関数、または点像関数測定装置により測定した点像関数のいずれかの点像関数を利用して、任意の画像データを上記点像関数により変化させた比較用の画像データを生成する比較画像データ生成手段と、処理対象となるぶれ画像データと比較用画像データとを比較し、得られた差分のデータを点像関数に基づいて任意の画像データにプラスし復元画像データを生成する復元画像データ生成手段とを有し、復元画像データを任意の画像データとして利用し、同様の処理を繰り返すことで、ぶれによる劣化を有しない画像に近似する復元画像データを生成する処理を行うこととする。

本発明によれば、点像関数の測定を高い精度で行うことができる。

以下、本発明の実施の形態に係る点像関数の測定方法、点像関数測定装置としての点像関数測定部１および画像処理装置２について図を参照しながら説明する。なお、この画像処理装置２は、撮影手段としての撮像部３にＣＣＤを使用した民生用のいわゆるデジタルカメラとしているが、撮像部３にＣＣＤ等の撮像素子を用いる監視用カメラ、テレビ用カメラ用、内視鏡用カメラ等、他の用途のカメラとしたり、顕微鏡用、双眼鏡用、さらにはＮＭＲ撮影用等の画像診断装置等、カメラ以外の機器にも適用できる。

画像処理装置２は、人物等の被写体を撮像する撮像部３と、この撮像部３で撮像された画像を処理する処理部４と、この処理部４で処理された画像を記録する記録部５と、画像処理装置２の撮影時の手ぶれ等のぶれを検出するぶれ検出部６と、ぶれにより生じたぶれ画像の点像関数を測定する点像関数測定部１と、これらの画像処理装置２の各部の制御を行う制御部７とを有する。制御部７は、不図示のＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やメモリ等を有して構成されている。

撮像部３は、撮影レンズ８、シャッタ９および撮像素子１０を有する。撮影レンズ８およびシャッタ９を通過した被写体光は、撮像素子１０に結像する。撮像素子１０では、結像した被写体光を電気信号に変換する。撮像素子１０としては、ＣＣＤの他、ＣＭＯＳ等を使用してもよい。

シャッタ９は、時間の経過とともに開口量が変化するシャッタであり、例えば、複数のシャッタ羽根を相互に重なり合わせ、重なり量を変えることで、遮光状態から所定の開口量まで開口量が変化する、いわゆるアイリス型のシャッタを用いる。このシャッタ９は、撮影時には、撮影開始ボタン２ａ（例えば、シャッタボタン）の押下により、閉鎖状態から所定の速さで開口面積を広げ、所定の開口量まで開口させた後、所定の速さで開口面積を小さくし、そして開口を閉鎖する。

具体的には、シャッタ９は、例えば、図３に示すように、時間（ｔ）と共に開口面積（Ｓ）が変化するように構成されている。撮影開始ボタン２ａを押下すると、シャッタ９が開き始め、撮像素子１０への露光が開始される。すなわち、図３に示すように、撮影開始ボタン２ａが押下され、シャッタ９が開き始める時刻ｔ０の後、時刻ｔ２までの間は時間の経過と共に開口面積が大きくなり、時刻ｔ２〜ｔ８までの間は一定の開口面積を保つ。そして、時刻ｔ８から開口面積を小さくし始め、時刻ｔ１０でシャッタ９は閉じ終わる。なお、シャッタ９は、上述のようにシャッタ羽根を用いるいわゆるメカシャッタの他に、液晶シャッタを使用し、液晶の光透過状態をメカシャッタと同じように動作するようにしてもよい。

シャッタ９が開き始めてから閉じ終わるまでの時間であるシャッタ速度や、開き速度（シャッタ９が閉じている状態から所定の開口面積まで開くのに要する時間）と閉じ速度（シャッタ９が所定の開口面積に開いている状態から完全に閉じるまでに要する時間）、あるいは開口面積（開口量）等は、被写体の明るさ、あるいは、画像処理装置２による所定の設定内容等に基づき、制御部７において決定される。画像処理装置２にＡＥ（ＡｕｔｏｍａｔｉｃＥｘｐｏｓｕｒｅ）機構が備えられる場合には、被写体の明るさや設定されたシャッタ速度や絞り径等に基づき、シャッタ速度や開口面積が制御部７において自動的に決定される。シャッタ速度や開口面積が、操作者により設定された場合には、その設定内容に従って制御部７がシャッタ９の開閉動作を制御する。

処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）のようなハードウェアで構成されている。この処理部４には、後述する比較用画像の画像データ（以下、比較用画像データ）を生成する際の元となる画像が保管されることもある。処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。

記録部５は、ＩＣメモリ等で構成され、処理部４で処理された画像データが記憶される。画像データの再生に際しては、この記録部５に記憶された画像データに基づく映像がモニタに表示されることになる。なお、記録部５は、ＩＣメモリで構成する他、ハードディスクドライブ等の磁気記録手段や、ＤＶＤ等を使用する光記録手段等を採用しても良い。

ぶれ検出部６は、図２に示すように、画像処理装置２の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを有する。ところで、画像処理装置２で撮影する際の手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動やＺ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサに換えて、角加速度センサを使用しても良い。

点像関数測定部１は、ＣＰＵとメモリ等を有して構成され、ぶれ軌跡データ生成部１１と、受光量データ生成部１２と、点像関数算出部１３とを有する。そして、ぶれ軌跡データ生成部１１で生成されたぶれ軌跡データと、受光量データ生成部１２で生成された受光量データとに基づき、点像関数算出部１３において撮影画像に関する点像関数を算出することで、点像関数を測定する。

ぶれ軌跡データは、画像処理装置２の撮影開始ボタン２ａを押下した際の手ぶれにより、露光時間中に、画像処理装置２が移動することにより、撮像素子１０の撮像面に結像する被写体像の結像位置が移動した際の移動の軌跡を示すデータであり、ぶれ検出部６からの出力データに基づき生成される。このぶれ軌跡データは、撮影開始ボタン２ａが押下され、シャッタ９が開き始めてからシャッタ９が閉じ終わるまでの間の時刻毎の、被写体像の移動の軌跡に関するデータである。具体的には、例えば、画像処理装置２が移動することによる被写体像の移動が、時刻ｔ０〜ｔ１０までの時間に、図４に示すような軌跡ｐでＸＹ平面を移動したとすると、この軌跡ｐを時刻ｔにおける座標を表わす関数Ｐ（ｔ）として、ぶれ検出部６からの出力データに基づき、次の式（１）に基づき生成する。

Ｐ（ｔ）＝（Ｘ（ｔ），Ｙ（ｔ））・・・（１）

受光量データは、露光時間中の各時間における撮像素子１０の受光量と、露光時間中に撮像素子１０が受光する全受光量に対する割合に関するデータである。すなわち、撮像素子１０に、露光時間中の各時刻における受光量が、露光時間中の全受光量に対してどれだけの割合となっているのかを表わすデータである。

例えば、図３は、撮影開始ボタン２ａを押下し、シャッタ９が開き初めてから閉じ終わるまでの露光時間中のシャッタ９の開口状態を示す図である。この図３に示すように、シャッタ９は、時刻ｔ０から開き始め、時刻ｔ２までの間は開口面積を徐々に広げ、時刻ｔ２〜ｔ８までの間は開口面積を一定に維持し、時刻ｔ８〜ｔ１０までの時間に開口面積を徐々に狭め、時刻ｔ１０で閉じ終わる。

撮像素子１０への受光量は、シャッタ９の開口面積と開口時間に比例すると考えられるので、受光量データＱ（ｔ）は、ある時刻ｔにおける受光量が、時刻ｔ０〜ｔ１０の露光時間中の全露光量に対する割合として、次の式（２）に基づき生成する。

ここで、Ｓ（ｔ）は、ある時刻ｔにおけるシャッタ９の開口面積であり、

は、露光時間中のシャッタ９の延べ開口面積である。このＳ（ｔ）および

は、制御部７により決定されるシャッタ９のシャッタ速度（露光時間）やＦナンバ（開口面積）等に基づいて算出される。

そうして、点像関数算出部１３は、上記のぶれ軌跡データＰ（ｔ）と受光量データＱ（ｔ）とに基づき、撮像画像の点像関数を点像関数Ｇとして測定する。この点像関数Ｇの測定方法を図５を参照しながら以下に説明する。

図５（Ａ）（Ｂ）は、それぞれ、画像処理装置２による撮影が、手ぶれすること無く行われた場合と、手ぶれして行われた場合の撮像素子１０の受光状態を説明する図である。図５（Ａ）は、手ぶれが無い状態を示し、図５（Ｂ）は手ぶれを生じた場合を示す。

撮影時の手ぶれにより画像処理装置２が移動すると、撮影レンズ８によって撮像素子１０上（撮像面上）に結像する被写体像は移動する。つまり、画素（ｍ，ｎ）に結像する被写体像に着目すると手ぶれが無いときには、図５（Ａ）に示すように、シャッタ９の開き始めから閉じ終わるまで、該被写体像は、画素（ｍ，ｎ）に結像し続ける。ここでは、該被写体像が、画素（ｍ，ｎ）にのみ結像したことを表現するため、画素（ｍ，ｎ）を黒塗りで描いている。

これに対し、手ぶれが生じた場合には、上述のように、撮影レンズ８によって撮像素子１０上に結像する被写体像は移動する。そのため、図５（Ｂ）に示すように、画素（ｍ、ｎ）に本来結像すべきであった該被写体像は、手ぶれの軌跡上にある他の画素に結像することになる。この図５（Ｂ）は、該被写体像が図４に示す手ぶれの軌跡で移動した場合の、手ぶれの軌跡上にある画素の受光状態を示す。該被写体像が結像する画素を受光量の程度により濃さを違えて黒塗りで描いている。

被写体像が図４に示す手ぶれの軌跡で移動した場合には、図５（Ｂ）に示すように、手ぶれが無いとしたならば、図５（Ａ）に示すように画素（ｍ，ｎ）のみに被写体像が入射すべきところ、画素（ｍ，ｎ）の他に画素（ｍ−１，ｎ），（ｍ―１，ｎ＋１），（ｍ−１，ｎ＋２），（ｍ−２，ｎ＋３）にも該被写体像が結像することになる。つまり、手ぶれの軌跡に従って、手ぶれが無いとしたならば画素（ｍ，ｎ）に全て受光される受光量が、手ぶれの軌跡上にある他の画素に配分されることになる。

ここでの例では、例えば、時刻ｔ０〜ｔ１までの間は、画像処理装置２は手ぶれを起こしてはいるが、被写体像は画素（ｍ，ｎ）に結像する。時刻ｔ１〜ｔ３までの間は、画像処理装置２は、画素（ｍ−１，ｎ）に被写体像が結像する位置に移動し、被写体像はその画素（ｍ−１，ｎ）に結像する。時刻ｔ３〜ｔ５までの間は、画像処理装置２は、画素（ｍ―１，ｎ＋１）に被写体像が結像する位置に移動し、被写体像はその画素（ｍ―１，ｎ＋１）に結像する。そして、時刻ｔ５〜ｔ８までの間は、画像処理装置２は、画素（ｍ−１，ｎ＋２）に被写体像が結像する位置に移動し、被写体像はその画素（ｍ−１，ｎ＋２）に結像する。さらに、時刻ｔ８〜ｔ１０までの間は、画像処理装置２は、画素（ｍ−２，ｎ＋３）に被写体像が結像する位置に移動し、被写体像はその画素（ｍ−２，ｎ＋３）に結像する。

図５（Ｃ）は、上述の図３と同様にシャッタ９の開口状態を示す図であり、時刻ｔ０〜ｔ１０までの間の開口面積の変化の様子を示している。図５（Ｂ）および図５（Ｃ）に示すように、時刻ｔ０〜ｔ１までの間にシャッタ９を通過した被写体光は、その光量を徐々に増しながら画素（ｍ，ｎ）に結像している。また、時刻ｔ１〜ｔ３までの間にシャッタ９を通過した被写体光は、時刻ｔ１〜ｔ２の間は徐々にその光量を増し、時刻ｔ２〜ｔ３の間は一定の光量で画素（ｍ−１，ｎ）に結像している。さらに、時刻ｔ３〜ｔ５までの間にシャッタ９を通過した被写体光は、一定の光量で画素（ｍ―１，ｎ＋１）に結像している。そして、時刻ｔ５〜ｔ８までの間にシャッタ９を通過した被写体光も一定の光量で画素（ｍ−１，ｎ＋２）に結像している。さらに、時刻ｔ８〜ｔ１０までの間にシャッタ９を通過した被写体光はその光量が徐々に減らされながら、その画素（ｍ−２，ｎ＋３）に結像している。

被写体光が結像する各画素（ｍ，ｎ），（ｍ−１，ｎ），（ｍ―１，ｎ＋１），（ｍ−１，ｎ＋２），（ｍ−２，ｎ＋３）に入射する被写体光の全受光量に対する該各画素の受光量は次のように示すことができる。
画素（ｍ，ｎ）については、

となる。
画素（ｍ−１，ｎ）については、

となる。
画素（ｍ―１，ｎ＋１）については、

となる。
そして画素（ｍ−１，ｎ＋２）については、

となる。
さらに、画素（ｍ−２，ｎ＋３）については、

となる。

すなわち、手ぶれがないとしたならば、画素（ｍ、ｎ）に結像しそこに集中したであろう受光量が、各画素（ｍ，ｎ），（ｍ−１，ｎ），（ｍ―１，ｎ＋１），（ｍ−１，ｎ＋２），（ｍ−２，ｎ＋３）にそれぞれ、上式（３）、（４）、（５）、（６）、（７）に示す割合で分散する。そして、この手ぶれの軌跡上にある画素への受光量の分散の割合が点像関数Ｇとして測定される。

つまり、ぶれ軌跡データである（１）式のＰ（ｔ）と、受光量データである（２）式のＱ（ｔ）とから、点像関数Ｇ（Ｘ，Ｙ）は、Ｇ（Ｐ（ｔ））＝Ｑ（ｔ）を計算することで測定することができる。このように、受光量に対するシャッタ９を通過する実際の光量の比に基づいて、点像関数Ｇ（Ｘ，Ｙ）を測定しているので、点像関数Ｇ（Ｘ，Ｙ）を精度高く測定することができる。

特に、シャッタ９は開き始めてから所定の開口面積まで開くまでの間と、所定の開口面積に開いている状態から完全に閉じるまでの間は、開口面積の変化が大きい。しかしながら、受光量に対するシャッタ９を通過する実際の光量の比に基づいて点像関数Ｇ（Ｘ，Ｙ）を測定することで、開口面積の変化が大きい場合であっても、点像関数Ｇを精度高く測定することができる。とりわけ、シャッタ速度が速い場合は、シャッタ９が開口している時間の中で、開口面積が変化している時間の占める割合が高い。しかしながら、受光量に対するシャッタ９を通過する実際の光量の比に基づいて点像関数Ｇ（Ｘ，Ｙ）を測定することで、シャッタ速度が速い場合であっても、点像関数Ｇを精度高く測定することができる。

なお、上述した実施の形態においては、ぶれ軌跡データは、撮像素子１０の撮像面に結像する被写体像の移動の軌跡を示すデータとしているが、画像処理装置２が露光時間中に移動した軌跡を示すデータとしてもよい。

以上のようにして、測定された点像関数Ｇは、処理部４のメモリに記憶される。処理部４では、以下に説明するように測定された点像関数Ｇに基づいて、撮影された撮像画像を補正する。

次に、以上のようにして測定された点像関数Ｇを用いて、処理部４で行う画像処理の内容を説明する。先ず、図６に基づいて、処理の概要を説明する。

図６中、「Ｉ_０」は、任意の画像の画像データ（以下、任意画像データ）であって、処理部４の記録部５に予め保存されている画像のデータである。「Ｉ_０′」は、その任意画像データＩ_０の変化画像のデータを示し、比較のための比較用画像の画像データ（以下、比較用画像データ）である。「Ｉｍｇ′」は、撮影された画像、すなわち、手ぶれにより劣化した劣化画像のデータを指し、この処理において処理対象となる手ぶれ画像の画像データ（以下、手ぶれ画像データ）である。

「Ｄ」は、手ぶれ画像データＩｍｇ′と、比較用画像データＩ_０′との差分のデータである。「ｋ」は、点像関数Ｇに基づく配分比である。「Ｉ_０＋ｎ」は、任意画像データＩ_０に、差分データＤを点像関数Ｇに基づいて配分して新たに生成した復元画像の画像データ（以下、復元画像データ）である。「Ｉｍｇ」は、被写体を手ぶれすることなく撮影したと仮定した場合の画像データ（以下、理想画像データという）である。ここで、ＩｍｇとＩｍｇ′の関係は、次の（１）式で表わされるとする。

Ｉｍｇ′＝Ｉｍｇ＊Ｇ・・・（１）

「＊」は、重畳積分を表わす演算子である。

なお、差分データＤは、対応する画素の単純な差分でも良い場合もあるが、一般的には、点像関数のデータＧにより異なり、次の（２）式で現される。

Ｄ＝Ｆ（Ｉｍｇ′，Ｉｏ，Ｇ）・・・（２）

処理部４の処理ルーチンは、まず、任意画像データＩ_０を初期画像データＩ_０として用意することから始まる（ステップＳ１０１）。この初期画像データＩ_０、すなわち任意画像データＩ_０としては、撮影した画像の画像データである原画像データＩｍｇ′を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ１０２で、処理部４に構成される比較用画像データ生成手段としての比較用画像データ生成部１４により、（１）式のＩｍｇの代わりに初期画像データＩ_０を入れ、点像関数Ｇにより変化させられた画像である比較用画像データＩ_０′を求める。次に、手ぶれ画像のデータＩｍｇ′と比較用画像データＩ_０′と比較し、差分データＤを算出する（ステップＳ１０３）。

次に、ステップＳ１０４で、この差分データＤが所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で、処理部４に構成される復元画像データ生成手段としての復元画像データ生成部１５により、新たな初期画像のデータ（＝復元画像データ）を生成する処理を行う。すなわち、差分データＤを点像関数Ｇに基づいて、初期画像データＩ_０に配分し、復元画像データＩ_０＋ｎを生成する。その後、復元画像データＩ_０＋ｎを初期画像データＩ_０として、ステップＳ１０２，Ｓ１０３，Ｓ１０４を繰り返す。

ステップＳ１０４において、差分データＤが所定値より小さい場合、処理を終了する（ステップＳ１０６）。そして、処理を終了した時点での復元画像データＩ_０＋ｎを正しい画像、すなわち劣化のない基画像データＩｍｇと推定し、そのデータを記録部５に記録する。

以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くこととしている。

最適化問題として解くということは、次の条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）出力が同じであれば、入力は同じである。
（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。

このことを換言すれば、図７（Ａ）（Ｂ）に示すように、手ぶれ画像データＩｍｇ′と近似である比較用画像データＩ_０′（Ｉ_０＋ｎ′）を生成できれば、その生成の元データとなる初期画像データＩ_０または復元画像データＩ_０＋ｎは、手ぶれ画像データＩｍｇ′の基となる理想画像データＩｍｇに近似したものとなる。

なお、この実施の形態では、角速度検出センサは５μｓｅｃ毎に角速度を検出している。また、差分データＤの判定基準となる値は、各データを８ビット（０〜２５５）で表わした場合に、この実施の形態では「６」としている。すなわち、６より小さい、つまり５以下の時は、処理を終了している。また、角速度検出センサで検出したぶれの生データは、センサ自体の校正が不十分なときは、実際のぶれとは対応しない。よって実際のぶれに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。

次に、図６および図７に示す処理方法の詳細を、図８、図９、図１０、図１１、図１２、図１３、図１４および図１５に基づいて説明する。

（手ぶれの復元アルゴリズム）
手ぶれが無いとき、所定の画素に対応する受光量は、露光時間中、その画素に集中する。逆に、手ぶれがある場合、受光量は、露光時間中にぶれた画素に分散する。そして、露光時間中の点像関数Ｇが判れば、露光時間中の受光量の分散の仕方がわかるため、手ぶれした画像から手ぶれの無い画像を作ることが可能となる。

以下、簡単のため、横一次元で説明する。画素を左から順に、ｎ−１，ｎ，ｎ＋１，ｎ＋２，ｎ＋３，…，とし、ある画素ｎに注目する。手ぶれが無いとき、露光時間中の受光量は、その画素に集中するため、受光量の集中度は「１．０」である。この状態を図８に示す。このときの撮影結果を、図９の表に示す。図９に示すものが、劣化しなかった場合の理想画像データＩｍｇとなる。なお、各データは、８ビット（０〜２５５）のデータで表わしている。

露光時間中に手ぶれがあり、露光時間中の全受光量の５０％の時間はｎ番目の画素に、３０％の受光量はｎ＋１番目の画素に、２０％の受光量はｎ＋２番目の画素に、それぞれ分散したとする。すなわち、点像関数Ｇは、ｎ番目、ｎ＋１、ｎ＋２の画素に、それぞれ「０．５」「０．３」「０．２」の配分比で露光時間中の全受光量が分散される内容となっている。

つまり、例えば、露光時刻ｔが時刻ｔ０〜ｔ１０の時間である場合に、ｎ番目の画素に被写体光が入射する時間が時刻ｔ０〜ｔ５であるとき、この間のシャッタ９の伸べ開口面積はＳａ（ｔ＝ｔ０〜ｔ５）となる。そして、このＳａ（ｔ＝ｔ０〜ｔ５）が、露光時間中（時刻ｔ０〜ｔ１０）の延べ開口面積であるΣＳ（ｔ）に対して５割である場合に、ｎ番目の画素に全受光量の５０％が受光されることになる。

同様に、ｎ＋１番目の画素に被写体像が結像する時間が時刻ｔ５〜ｔ８であるとき、この間のシャッタ９の伸べ開口面積はＳｂ（ｔ＝ｔ５〜ｔ８）となる。そして、このＳｂ（ｔ＝ｔ５〜ｔ８）が、露光時間中（ｔ０〜ｔ１０）の延べ開口面積であるΣＳ（ｔ）に対して３割である場合に、ｎ＋１番目の画素に全受光量の３０％が受光されることになる。

さらに、ｎ＋２番目の画素に被写体像が結像する時間が時刻ｔ８〜ｔ１０であるとき、この間のシャッタ９の伸べ開口面積はＳｃ（ｔ＝ｔ８〜ｔ１０）となる。そして、このＳｃ（ｔ＝ｔ８〜ｔ１０）が、露光時間中（時刻ｔ０〜ｔ１０）の延べ開口面積であるΣＳ（ｔ）に対して２割である場合に、ｎ＋２番目の画素に全受光量の２０％が受光されることになる。

上述の場合に、受光量の分散の仕方は、図１０に示す表の通りとなる。

手ぶれは、全ての画素で一様であるので、上下方向への手ぶれ（縦ぶれ）が無いとすると、手ぶれの状況は、図１１に示す表のとおりとなる。図１１中の「理想画像」として示されるデータが、理想画像データＩｍｇで、「手ぶれ画像」として示されるデータが、撮影された画像の画像データ、すなわち手ぶれ画像データＩｍｇ′となる。具体的には、たとえば「ｎ−３」の画素の「１２０」は、点像関数Ｇに基づき「０．５」「０．３」「０．２」の配分比に従い、「ｎ−３」の画素に「６０」、「ｎ−２」の画素に「３６」、「ｎ−１」の画素に「２４」というように分散する。同様に、「ｎ−２」の画素のデータである「６０」は、「ｎ−２」に「３０」、「ｎ−１」に「１８」、「ｎ」に「１２」として分散する。この手ぶれ画像データＩｍｇ′と、図１０に示す点像関数Ｇからぶれの無い理想画像データＩｍｇを算出することとなる。

ステップＳ１０１に示す初期画像データＩ_０としては、どのようなものでも採用できるが、この説明に当たっては、手ぶれ画像データＩｍｇ′を用いる。すなわち、Ｉ_０＝Ｉｍｇ′として処理を開始する。図１２の表中に「入力」とされたものが初期画像データＩ_０に相当する。この初期画像データＩ_０すなわち手ぶれ画像データＩｍｇ′に、ステップＳ１０２で点像関数Ｇを作用させる。すなわち、たとえば、初期画像データＩ_０の「ｎ−３」の画素の「６０」は、ｎ−３の画素に「３０」が、「ｎ−２」の画素に「１８」が、「ｎ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力Ｉ_０′」として示される比較用画像データＩ_０′が生成される。その結果、ステップＳ１０３の差分データＤは、図１２の最下欄に示すようになる。

この後、ステップＳ１０４にて差分データＤの大きさを判断する。具体的には、差分データＤが全て絶対値で５以下となった場合に処理を終了するが、図１２に示す差分データＤは、この条件に合わないため、ステップＳ１０５に進む。すなわち、差分データＤを点像関数Ｇを利用して、初期画像データＩ_０に配分して、図１３中の「次回入力」として示される復元画像データＩ_０＋ｎを生成する。この場合、第１回目であるため、図１３では、Ｉ_０＋１と表している。

差分データＤの配分は、たとえば「ｎ−３」の画素のデータ「３０」に自分の所（＝「ｎ−３」の画素）の配分比である０．５をかけた「１５」を「ｎ−３」の画素に配分し、また「ｎ−２」の画素のデータ「１５」にその「ｎ−２」の画素にきているはずの配分比である０．３をかけた「４．５」を配分し、さらに、「ｎ−１」の画素のデータ「９．２」に、その「ｎ−１」の画素にきているはずの配分比である０．２をかけた「１．８４」を配分する。「ｎ−３」の画素に配分された総量は、「２１．３４」となり、この値を初期画像のデータＩ_０（ここでは撮影画像のデータＩｍｇ′を使用）にプラスして、復元画像データＩ_０＋１を生成している。この復元画像データＩ_０＋１は、図１３の表中の「次回入力」に相当するものである。

図１４に示すように、この復元画像データＩ_０＋１がステップＳ１０２の入力画像のデータ（＝初期画像データＩ_０）になり、ステップＳ１０２が実行される。図１４の表中の「入力Ｉ_０＋１」は、復元画像データＩ_０＋１に相当する。そして、ステップＳ１０３へと移行し、新しい差分データＤを得る。この新しい差分データＤの大きさをステップＳ１０４で判断し、所定値より大きい場合、ステップＳ１０５で新しい差分データＤを前回の復元画像データＩ_０＋１に配分し、新しい復元画像データＩ_０＋２を生成する。この復元画像データＩ_０＋２は、図１５の表中の「次回入力」に相当するものである。その後、ステップＳ１０２の遂行により、復元画像データＩ_０＋２から新しい比較用画像データＩ_０＋２′が生成される。このように、ステップＳ１０２，Ｓ１０３が実行された後、ステップＳ１０４へ行き、そこでの判断によりステップＳ１０５へ行ったり、ステップＳ１０６へ移行する。このような処理を繰り返す。

この画像処理装置２では、処理するに当たり、ステップＳ１０４において、事前に処理回数と、差分データＤの判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として２０回、５０回等任意の回数を設定できる。また、処理を停止させる差分データＤの値を８ビット（０〜２５５）中の「５」と設定し、５以下になったら処理を終了させたり、「０．５」と設定し「０．５」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力した場合、いずれか一方が満足されたとき処理は停止される。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、さらに所定回数の処理を繰り返すようにしても良い。

以上、本発明の実施の形態について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。例えば、制御部７、処理部４、点像関数測定部１で行った処理は、ソフトウェアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。また、上述の本発明の実施の形態では、シャッタ９は、閉じた状態から撮影の開始に併せて開口し、撮影の終了に併せて閉じる動作を行っている。これに対して、撮影開始する前は、シャッタ９を常時開口しているようにしておき、撮影の開始に併せて撮像素子１０を電気的にリセットしてから受光を開始し、そして、撮影の終了に併せてシャッタ９を閉じ撮像素子９への露光を終了するように構成してもよい。この場合、シャッタ９の開口面積Ｓと露光時間Ｔｎとの関係は、図３において、ｔ２からｔ１０に示す関係となる。また、これとは逆に、撮影開始する前は、シャッタ９を常時閉鎖しているようにしておき、撮影の開始に併せてシャッタ９を開口し撮像素子１０への露光を開始し、そして、撮影の終了に併せて撮像素子９の受光を、撮像素子９に対する電気的な制御により停止するように構成してもよい。この場合、シャッタ９の開口面積Ｓと露光時間Ｔｎとの関係は、図３において、ｔ０からｔ８に示す関係となる。

また、画像処理装置２の露光時間中の移動の原因を手ぶれによる場合を例にとって説明したが、手ぶれの他に、画像処理装置２を車載して使用した場合には、車両の振動により撮影画像にぶれが生じることがある。この場合にも、上述したようにぶれ画像を復元することができる。

また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ、ＤＶＤ、ＵＳＢメモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、画像処理装置２は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置２の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置２は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

ところで、上述したように本実施の形態においては、撮像素子１０にＣＣＤを使用している。ＣＣＤの撮像面への電荷の蓄積の停止は、ＣＣＤを電気的に駆動制御することによっては行うことができない。そのため、ＣＣＤへの電荷の蓄積を停止するためには、ＣＣＤに入射する被写体光をシャッタにより遮光することが余儀なくされる。したがって、上述した方法で伝達関数を測定することで、撮像素子１０にＣＣＤを使用した場合にも点像関数を精度高く測定することができる。

なお、撮像素子１０の受光量の変化は、シャッタ９の開口面積の変化の他に、例えば、撮像素子１０の経時的な劣化、撮像素子１０の環境温度等の環境変化に起因する感度の変化等が原因となることがある。したがって、これら点像関数の測定時、あるいは生成時に測定し、本発明に適用するようにしてもよい。

本発明の実施の形態に係る点像関数測定部および画像処理装置の主要構成を示すブロック図である。図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。図１に示すシャッタの露光時間と開口面積の関係を示すグラフである。図１に示す画像処理装置のぶれの軌跡を示すグラフである。図１に示す画像処理装置中の撮像素子への光の入射を説明する図で、（Ａ）は、画像処理装置による撮影が、手ぶれすること無く行われた場合の撮像素子の受光状態を説明する図で、（Ｂ）は、画像処理装置による撮影が、手ぶれして行われた場合の撮像素子の受光状態を説明する図で、（Ｃ）は、シャッタの露光時間と開口面積の関係を示すグラフである。図１に示す画像処理装置の処理部で行う処理方法（処理ルーチン）であって基本的な考え方を説明するための処理フロー図である。図６に示す処理方法の概念を説明するための図である。図６に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。図６に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画像データを示す図である。図６に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときのエネルギーの分散を示す図である。図６に示す処理方法を、手ぶれを例にして具体的に説明するための図で、任意の画像から比較用画像データを生成する状況を説明するための図である。図６に示す処理方法を、手ぶれを例にして具体的に説明するための図で、比較用画像データと、処理対象となるぶれた原画像とを比較して、差分データを生成する状況を説明するための図である。図６に示す処理方法を、手ぶれを例にして具体的に説明するための図で、差分データを配分し任意の画像に加えることで復元画像データを生成する状況を説明するための図である。図６に示す処理方法を、手ぶれを例にして具体的に説明するための図で、生成された復元画像データから新たな比較用画像データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分データを生成する状況を説明するための図である。図６に示す処理方法を、手ぶれを例にして具体的に説明するための図で、新たに生成された差分データを配分し、新たな復元画像データを生成する状況を説明するための図である。

符号の説明

１ … 点像関数測定部（点像関数測定装置）
２ … 画像処理装置
３ … 撮像部（撮影手段）
９ … シャッタ
１０ … 撮像素子
１１ … ぶれ軌跡データ生成部（ぶれ軌跡データ生成手段）
１２ … 受光量データ生成部（受光量データ生成手段）
１４ … 比較用画像データ生成部（比較用画像データ生成手段）
１５ … 復元画像データ生成部（復元画像データ生成手段）
Ｉ_０ … 初期画像データ（任意の画像データ）
Ｉ_０′ … 比較用の画像データ
Ｉｍｇ′ … ぶれ画像データ
Ｄ … 差分のデータ
Ｉ_０＋ｎ … 復元画像データ

Claims

シャッタを備える撮影手段により撮影された撮影画像に関する点像関数の測定方法において、
撮像素子が撮影のために露光されている露光時間中の時間の経過と、この時間の経過に伴う上記撮影手段のぶれ位置との関係に係るぶれ軌跡データを生成するステップと、
上記露光時間中に上記撮像素子が受光する受光量の総和と、上記撮像素子における各画素が上記露光時間中における時間経過に伴う上記シャッタの開口面積に応じて受光する受光量との割合に係る受光量データを生成するステップと、
上記ぶれ軌跡データと上記受光量データとを用いて点像関数を測定するステップと、
を有することを特徴とする点像関数の測定方法。
シャッタを備える撮影手段により撮影された撮影画像に関する点像関数を測定する点像関数測定装置において、
撮像素子が撮影のために露光されている露光時間中の時間の経過と、この時間の経過に伴う上記撮影手段のぶれ位置との関係に係るぶれ軌跡データを生成するぶれ軌跡データ生成手段と、
上記露光時間中に上記撮像素子が受光する受光量の総和と、上記撮像素子における各画素が上記露光時間中における時間経過に伴う上記シャッタの開口面積に応じて受光する受光量との割合に係る受光量データを生成する受光量データ生成手段と、
を備え、
上記ぶれ軌跡データ生成手段および上記受光量データ生成手段からのデータに基づいて点像関数を測定することを特徴とする点像関数測定装置。
ぶれ画像を復元する画像処理装置において、
請求項１記載の測定方法により測定した点像関数、または請求項２記載の点像関数測定装置により測定した点像関数に基づき、ぶれ画像を復元することを特徴とする画像処理装置。
請求項３に記載の画像処理装置は、
前記いずれかの点像関数を利用して、任意の画像データを上記点像関数により変化させた比較用の画像データを生成する比較画像データ生成手段と、
処理対象となるぶれ画像データと上記比較用画像データとを比較し、得られた差分のデータを前記点像関数に基づいて上記任意の画像データにプラスし復元画像データを生成する復元画像データ生成手段とを有し、
上記復元画像データを上記任意の画像データとして利用し、同様の処理を繰り返すことで、ぶれによる劣化を有しない画像に近似する復元画像データを生成する処理を行うことを特徴とする画像処理装置。