JP5357807B2 - 撮影速度決定装置 - Google Patents

Description

本発明は撮影速度決定装置に係り、特に、動きボケの無い画像を撮影するために最適撮影速度を決定することができる撮影速度決定装置に関する。

従来から、移動する被写体を撮影するために、通常の撮影速度より高速の撮影速度で撮影する高速度撮影装置が使用されている。
この高速度撮影装置にあっては、撮影速度を被写体の移動速度に対応して適切に選択することが重要となるが、その理由は以下の通りである。

被写体の移動速度に対して撮影速度が速い場合は、被写体がほとんど動かない動画となってしまうため被写体の動きが把握できないだけでなく、撮像素子に到達する光量が少なくなるため露光不足の画像が生じ易くなる。
逆に、被写体の移動速度に対して撮影速度が遅い場合は、露光不足となるおそれは少なくなるものの、被写体に動きボケが発生し、鮮明な画像を撮影することが困難となる。

したがって、動きボケが略零となる撮影速度で撮影することができれば、動きボケが無い範囲で最大の露光量を得ることができるからである。
従来から、撮影した画像（静止画および動画）から動きボケを除去する方法、および動きボケを除去ための画像処理装置は種々提案されている（例えば、非特許文献１、ならびに、特許文献１および特許文献２参照）。

非特許文献１には、撮影後の画像のフーリエ変換画像と予め定められた探索関数との相互相関値からＰＳＦ（点広がり関数：Point Spread Function）のパラメータを推定し、そのＰＳＦを使用して画像から動きボケを除去する方法が開示されている。

また、特許文献１には、フレームレート９００以上で撮影された画像をフレームレート３０の表示装置で表示する装置に適用するために、撮影後の画像から動きボケを除去する画像処理方法が開示されている。

また、特許文献２には、撮影後の画像から動きボケを除去して出力する実時間画像処理方法が開示されている。

「直線的手ぶれ画像復元のためのＰＳＦパラメータ推定方法」米司健一他、情報処理学会論文集、Vol. 47 No. SIG9(CVIM 14)、２００６年６月

特許第３６２１２５６号公報（［００２４］、図４） 特許第４１０６８７４号公報（［０００６］、図４）

しかしながら、非特許文献１、特許文献１および特許文献２に開示された画像処理方法は、撮影後の画像から事後的に動きボケを除去する画像処理方法であり、被写体の移動速度に応じて動きボケの無い画像を撮影するための撮影速度を決定することを目的とするものではない。

本発明は、上記課題に鑑みなされたものであって、動きボケが無い範囲で最大の露光量で撮影ができる最適な撮影速度を決定することが可能な撮影速度決定装置を提供することを目的とする。

本発明に係る撮影速度決定装置は、少なくとも２つの異なる撮影速度で撮影した被写体画像を記憶する被写体画像記憶部と、前記被写体画像記憶部に記憶された被写体画像のそれぞれに含まれる動きボケ量を評価する動きボケ量評価部と、前記動きボケ量評価部で評価された動きボケ量と前記動きボケ量に対応する撮影速度とに基づいて動きボケの無い被写体画像を撮影するための最適撮影速度を決定する撮影速度決定部と、を含む構成を有している。
本構成によれば、撮影した画像に含まれる動きボケ量を評価することにより、最適撮影速度を決定できることとなる。

本発明に係る撮影速度決定装置は、前記動きボケ量評価部が、前記被写体画像記憶部に記憶された被写体画像のそれぞれから２次元フーリエ変換画像を生成する２次元フーリエ変換画像生成部と、前記２次元フーリエ変換画像生成部で生成された２次元フーリエ変換画像に含まれる縞模様の周期に基づいて動きボケ量を決定する動きボケ量決定部と、を含む構成を有している。
本構成によれば、動きボケが直線的であるとしたときは、ＰＳＦのフーリエ変換関数は動きボケ量を周期とする周期関数となることを利用して、撮影画像をフーリエ変換したフーリエ変換画像の周期から動きボケ量を決定することができることとなる。

本発明に係る撮影速度決定装置は、前記被写体画像記憶部が、少なくとも２つの異なる撮影速度で撮影した被写体画像を記憶するものである構成を有している。
本構成によれば、少なくとも２つの異なる撮影速度と、対応する少なくとも２つの動きボケとに基づいて、最適な撮影速度を決定することができることとなる。

本発明に係る撮影速度決定装置は、前記動きボケ量評価部で評価した少なくとも２つの異なる撮影速度で撮影した被写体画像の動きボケ量のうち、最高速の撮影速度で撮影した被写体画像の動きボケ量が予め定められた動きボケ量閾値より小さいときは、最高速の撮影速度を該最高速度より低速の該少なくとも２つの撮影速度とは異なる撮影速度に置き換えて最適撮影速度を再決定する撮影速度再決定部を含む構成を有している。
本構成によれば、動きボケが無い範囲で最大の露光量で撮影ができる最適撮影速度を決定することができることとなる。

本発明に係る撮影速度決定装置によれば、動きボケが無い範囲で最大の露光量で撮影ができる最適撮影速度を決定することが可能となる。

本発明に係る撮影速度決定装置を撮影速度決定部として組み込んだ撮影装置のブロック図である。 撮影速度決定部の機能ブロック図である。 撮影速度決定部のハードウエア構成を示すブロック図である。 撮影速度決定部のプログラムメモリにインストールされるプログラムのフローチャートである。 動きボケ評価処理のフローチャートである。 ２つの撮影速度ｆ_１およびｆ_２で撮影したときの動きボケ量がｄ_１およびｄ_２である場合の最適撮影速度ｆ_ｏｐｔの決定方法を説明するためのグラフである。 ２つの撮影速度ｆ_１およびｆ_２で撮影したときの動きボケ量がｄ_１および零（＝ｄ_２）である場合の最適撮影速度ｆ_ｏｐｔの決定方法を説明するためのグラフである。

図１は本発明に係る撮影速度決定装置を撮影速度決定部として組み込んだ撮影装置のブロック図であって、撮影装置１は、被写体像を取り込むための光学系１１と、光学系１１を介して取り込まれた被写体像から画像信号を生成する撮像素子１２と、撮像素子１２で生成された画像信号を記憶する画像メモリ１３と、撮影装置１の動作を制御する制御部１４と、最適撮影速度を決定するための撮影速度決定部２とから成る。

図２は撮影速度決定部２の機能ブロック図であって、撮影速度決定部２は、予め定められた少なくとも２つの撮影速度で撮影された被写体画像を取り込んで記憶する画像取り込み部２１と、画像取り込み部２１に取り込まれた画像のそれぞれについて動きボケ量を評価する動きボケ評価部２２と、動きボケ評価部２２で評価された動きボケ量と対応する撮影影速度とに基づいて動きボケ量が略零（動きボケ閾値以下）となる最適撮影速度を算出する撮影速度算出部２３とから成る。

図３は、撮影速度決定部２のハードウエア構成を示すブロック図であって、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等のプログラマブル素子によって構成される。

すなわち、撮影速度決定部２として機能するプログラマブル素子３０は、バス３１を中心として、プログラムを記憶するプログラムメモリ３２、プログラムメモリ３２に記憶されたプログラムを実行するＣＰＵ３３、被写体画像および被写体画像のフーリエ変換画像等を記憶する作業用メモリ３４、ならびに撮影装置１の制御部１４と交信するためのＩ／Ｏインターフェイス３５とを備えている。

ここで、作業用メモリ３４は、被写体画像取り込み部２１として機能する。
被写体画像に含まれる動きボケ量を評価する動きボケ評価部２２、および動きボケ量と動きボケ量に対応する撮影影速度とに基づいて動きボケ量が動きボケ閾値以下となる最適撮影速度を算出する撮影速度算出部２３はプログラムを実行したときにＣＰＵ３３内にソフトウエア的に構成される。

なお、本明細書においては、撮影速度を１秒間に撮影する画像枚数で表すものとする。
例えば、撮影速度１０万とは、１０万フレーム／秒で画像を撮影することを意味する。

以下、撮影速度決定部２の動作の説明に先立ち、本発明で適用するＰＳＦを適用した動きボケ量の評価方法について説明する。
動きボケのない画像の位置（ｘ、ｙ）における映像信号をｆ（ｘ、ｙ）と、
動きボケを有する画像の位置（ｘ、ｙ）における映像信号をｇ（ｘ、ｙ）と、
画像の位置（ｘ、ｙ）におけるＰＳＦをｈ（ｘ、ｙ）と、すれば、［数１］が成り立つ。

両辺をフーリエ変換すると［数２］となる。

ここで、Ｘ軸方向に距離"ｄ"の動きボケが発生した場合のＰＳＦは［数３］で表すことができる。

［数３］で表されるＰＳＦのフーリエ変換関数は［数４］となる。

このＰＳＦのフーリエ変換関数は周期（１／ｄ）で零となる周期関数であり、零となる点によってｕ軸方向に縞模様を生じる。

［数２］により動きボケを有する画像のフーリエ変換画像もＰＳＦと同じく周期（１／ｄ）で零となる周期関数となるので、動きボケのある画像のフーリエ変換画像の周期を検出することにより動きボケ量"ｄ"を検出できることとなる。

上記は、動きボケがＸ軸方向に発生する場合について説明したが、動きボケがＸ軸方向に対してθ（≠０）度の方向に発生した場合は、縞模様がｕ軸方向に対してθ度回転するだけであり、動きボケのある画像のフーリエ変換画像の周期を検出することにより動きボケ量"ｄ"を検出できることに変りはない。
したがって、以下に説明する動きボケ量"ｄ"の算出方法は、動きボケが直線的である限り、動きボケの方向に係わらず適用可能である。

動きボケ量"ｄ"を算出する方法は、既に提案されているいずれの方法を適用してもよいが、ここでは自己相関関数を適用する方法について説明する。
動きボケを有する画像のフーリエ変換画像の画素（ｉ，ｊ）のグレースケールで表した明るさをＹ（ｉ，ｊ）とすると、自己相関関数Ｒは［数５］によって表すことができる。

評価関数Ｉを［数６］で定義する。

ａおよびｂを予め定められた所定量αおよびβだけ増加しながら、評価関数Ｉを算出する処理を繰り返し、評価関数Ｉが予め定められた閾値ε以下となる（ａ，ｂ）の組合せを決定する。
組合せの中で（ａ，ｂ）が、ともに最小値である組合せを（ａmin，ｂmin）、ともに最大値である組合せを（ａmax，ｂmax）とすると、［数７］により動きボケ量"ｄ"を決定することができる。

本発明においては、予め定められた少なくとも２つの撮影速度ｆで被写体を撮影し、対応する動きボケ量ｄを求める。

そして、動きボケ量ｄを従属変数、撮影速度ｆを独立変数とする関数ｄ＝ｄ（ｆ）を決定し、ｄ＝０、すなわち動きボケ量を零としたときの撮影速度ｆを最適撮影速度ｆ_ｏｐｔとする。

図４は、上記の処理を実行するために撮影速度決定部２のプログラムメモリ３２にインストールされるプログラムのフローチャートであって、撮影装置１の制御部１４を介して撮影速度決定指令を受信したときに実行される。

ＣＰＵ３３は、最初に撮影速度を予め定められた少なくとも２つの異なる撮影速度ｆ_ｋ（ｋ≧２）に変更しながら被写体を撮影し、撮影画像を画像メモリ１３に記憶する画像撮影処理を実行（ステップＳ４１）する。
実際には、３以上のなるべく多くの撮影速度で撮影しておくことが、最適撮影速度を決定するための再撮影を回避するうえで望ましい。

ＣＰＵ３３は、次に動きボケ評価処理を実行するが、この処理は撮影速度の変更回数に対応した回数実行する。
すなわち、ＣＰＵ３３は処理回数ｋを初期値"１"に設定（ステップＳ４２）したあと、動きボケ評価処理（ステップＳ４３）を実行する。

ＣＰＵ３３は、処理回数ｋが最大値Ｋ以上となったか否かを判定（ステップＳ４４）し、最大値Ｋ未満であると判定したときは処理回数ｋをインクリメント（ステップＳ４５）して、動きボケ評価処理（ステップＳ４３）を実行する。

ＣＰＵ３３は、処理回数ｋが最大値Ｋ以上となったと判定したときは、撮影速度算出処理を実行（ステップＳ４６）するが、動きボケ評価処理および撮影速度算出処理の詳細は後述する。

図５は、動きボケ評価処理のフローチャートであって、ＣＰＵ３３は、撮影速度ｆ_ｋで撮影され画像メモリ１２に記憶されている画像の中から１枚を選択して作業用メモリ３４に取り込み、そのフーリエ変換画像を作成して作業用メモリ３４に記憶（ステップＳ５０１）する。

ＣＰＵ３３は、パラメータａ、ｂを初期値α、βに設定（ステップＳ５０２）し、［数５］により自己相関関数Ｒ（ａ，ｂ）を算出（ステップＳ５０３）する。

ＣＰＵ３３は、［数６］により評価関数Ｉ（ａ，ｂ）を算出（ステップＳ５０４）し、評価関数Ｉ（ａ，ｂ）の値が予め定められた評価閾値ε以下であるか否かを判定（ステップＳ５０５）する。

ＣＰＵ３３は、評価関数Ｉ（ａ，ｂ）の値が評価閾値ε以下であると判定したときは、そのときの（ａ，ｂ）を記憶（ステップＳ５０６）してステップＳ５０７に進む。

ＣＰＵ３３は、逆に評価関数Ｉ（ａ，ｂ）の値が評価閾値εより大であると判定したときは、ステップＳ５０６を実行せずにステップＳ５０７に進む。
ＣＰＵ３３は、ステップＳ５０７でｂが予め定められた最大値Ｂ以上となったか否かを判定し、ｂが最大値Ｂ未満であると判定したときはｂをβだけ増加（ステップＳ５０８）してステップＳ５０３に戻る。

ＣＰＵ３３は、ｂが最大値Ｂ以上であると判定したときは、ａが予め定められた最大値Ａ以上となったか否かを判定（ステップＳ５０９）する。
ＣＰＵ３３は、ａが最大値Ａ未満であると判定したときはａをαだけ増加（ステップＳ５１０）してステップＳ５０３に戻る。

ＣＰＵ３３は、ａが最大値Ａ以上であると判定したときは、ステップＳ５０６で記憶した（ａ，ｂ）の中からａおよびｂがともに最小値である組（ａmin，ｂmin）、およびともに最大値である組（ａmax，ｂmax）を選択（ステップＳ５１１）する。

ＣＰＵ３３は、最後に［数７］によって、撮影速度がｆ_ｋであるときの動きボケ量ｄ_ｋを算出して、この処理を終了する。
撮影速度算出処理では、少なくとも２組の（ｆ_ｋ，ｄ_ｋ）に基づいて、例えば最小二乗法を適用して、動きボケ量ｄを従属変数、撮影速度ｆを独立変数とする関数ｄ＝ｄ（ｆ）を決定した後、ｄ＝０となるときの撮影速度ｆを最適撮影速度ｆ_ｏｐｔとする。

図６は、２つの撮影速度ｆ_１およびｆ_２で撮影した画像の動きボケ量がｄ_１およびｄ_２である場合の最適撮影速度ｆ_ｏｐｔの決定方法を説明するためのグラフであって、ｆ−ｄ平面において点（ｆ_１，ｄ_１）および点（ｆ_２，ｄ_２）を通る直線ｄ＝ｄ（ｆ）のｆ軸切片がｆ_ｏｐｔとなる。

撮影速度決定指令に応じて被写体を撮影する際の撮影速度ｆ_ｋ（ｋ＝１，２・・・Ｋ）は予め定めておくことが必要であるが、撮影速度の常用対数に対してなるべく等間隔に定めることが望ましい。
例えば、１万コマ以下、１〜１０万コマ、１０〜１００万コマのレンジごとに、２千、５千、２万、５万、２０万、５０万のように６種類程度の撮影速度を設定することが望ましい。

さらに、撮影速度の決定に際しては、被写体の移動速度を考慮して、１万コマ以下、１〜１０万コマ、１０〜１００万コマのレンジのいずれかを指定するようにすれば、撮影速度を迅速に決定することも可能となる。

なお、撮影速度ｆ_ｋに対応する動きボケ量ｄ_ｋが略零（動きボケ閾値以下）である場合は、撮影速度をｆ_ｋより遅くすることが可能であるので、撮影速度を遅くして再度撮影速度を決定するようにしてもよい。

例えば、撮影速度ｆ_ｋとｆ_ｋ＋１（＞ｆ_ｋ）で撮影速度決定処理を行った結果、撮影速度ｆ_ｋ＋１に対応する動きボケ量ｄ_ｋ＋１が略零であったときは、撮影速度をｆ_ｋとｆ_ｋ＋２（＜ｆ_ｋ＋１、かつ≠ｆ_ｋ）として、再度撮影速度を決定してもよい。
図７は、２つの撮影速度ｆ_１およびｆ_２で撮影したときの動きボケ量がｄ_１および零（＝ｄ_２）である場合の最適撮影速度ｆ_ｏｐｔの決定方法を説明するためのグラフであって、（ｆ_１，ｄ_１）および（ｆ_２，ｄ_２）から最適撮影速度ｆ_ｏｐｔを決定した場合は、最適撮影速度ｆ_ｏｐｔはｆ_２となる。

この場合、撮影速度ｆ_２に代えて撮影速度ｆ_３（＜ｆ_２）を使用して、撮影速度を再決定することにより、撮影速度ｆ_２より遅い最適撮影速度ｆ_ｏｐｔを得ることができ、より多い光量で動きボケのない画像を得ることが可能となる。
すなわち、撮影速度ｆ_３に対応する動きボケ量がｄ_３（≠０）であれば、（ｆ_１，ｄ_１）および（ｆ_３，ｄ_３）を通る新たな式ｄ＝Ｄ（ｆ）を定め、そのｆ切片をｆ_ｏｐｔとする。

実用上は、同じ照明で撮影速度が違いすぎると適切な露光条件を満たさなくなるので、あらかじめ撮影レンジは決定しておく。そして、撮影速度決定指令を受信したときに、そのレンジに含まれる複数の撮影速度で被写体を撮影し、それらの撮影速度に対応する動きボケ量を算出するように構成することが望ましい。

例えば、１〜１０万コマのレンジが指定されたときには、撮影速度２万および５万に対応する動きボケ量に基づいて最適撮影速度を決定すればよい。
この際、算出した最適撮影速度の値によっては、撮影レンジを低い方へ、または高い方へ移動して、再度最適撮影速度を決定するようにしてもよい。

上記は、本発明に係る撮影速度決定装置を高速度撮影装置に適用する場合について説明したが、撮影速度決定のための撮影が許容される場合には、静止画撮影のために本発明に係る撮影速度決定装置を適用可能であることは当業者にとって明らかである。

本発明に係る撮影速度決定装置は、動きボケが無い範囲で最大の露光量で撮影ができる撮影速度を決定することができ、動画あるいは静止画の撮影装置用として有用である。

１...撮影装置
１１...光学系
１２...撮像素子
１３...画像メモリ
１４...制御部
２...撮影速度決定部
２１...画像取り込み部
２２...動きボケ評価部
２３...撮影速度算出部
３０...プログラマブル素子
３１...バス
３２...プログラムメモリ
３３...ＣＰＵ
３４...作業用メモリ
３５...Ｉ／Ｏインターフェイス

Claims (4)

1. 少なくとも２つの異なる撮影速度で撮影した被写体画像を記憶する被写体画像記憶部と、
   前記被写体画像記憶部に記憶された被写体画像のそれぞれに含まれる動きボケ量を評価する動きボケ量評価部と、
   前記動きボケ量評価部で評価された動きボケ量と前記動きボケ量に対応する撮影速度とに基づいて動きボケの無い被写体画像を撮影するための最適撮影速度を決定する撮影速度決定部と、を含む撮影速度決定装置。
2. 前記動きボケ量評価部が、前記被写体画像記憶部に記憶された被写体画像のそれぞれから２次元フーリエ変換画像を生成する２次元フーリエ変換画像生成部と、
   前記２次元フーリエ変換画像生成部で生成された２次元フーリエ変換画像に含まれる縞模様の周期に基づいて動きボケ量を決定する動きボケ量決定部と、を含む請求項１に記載の撮影速度決定装置。
3. 前記被写体画像記憶部が、少なくとも２つの異なる撮影速度で撮影した被写体画像を記憶するものである請求項１または２に記載の撮影速度決定装置。
4. 前記動きボケ量評価部で評価した少なくとも２つの異なる撮影速度で撮影した被写体画像の動きボケ量のうち、最高速の撮影速度で撮影した被写体画像の動きボケ量が予め定められた動きボケ量閾値より小さいときは、最高速の撮影速度を該最高速より低速の該少なくとも２つの撮影速度とは異なる撮影速度に置き換えて最適撮影速度を再決定する撮影速度再決定部を含む請求項１から３のいずれか一項に記載の撮影速度決定装置。

Images