JP4930900B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、詳細には、ローリングシャッター機能を有する、たとえば、ＣＭＯＳセンサ等の撮像装置に関する。

一般的にデジタルカメラなどに用いられる撮像デバイスは、ＣＣＤセンサやＣＭＯＳセンサである。いずれも、多数の光電変換部（画素ともいう）を複数の行（ラインともいう）と列からなるマトリクス状に二次元配列している点で類似の構造であるが、撮像信号の読み出し方法の点で違いがある。

図１４は、ＣＣＤセンサとＣＭＯＳセンサの構造模式図であり、（ａ）はＣＣＤセンサ、（ｂ）はＣＭＯＳセンサを示している。なお、この図においては、いずれも５行×４列の画素配列を有するものを例示しているが、この画素配列は図示上の便宜から簡単化したものであり、実際には数千ないしは数万もの多数の画素配列で構成されている。

まず、ＣＣＤセンサ１は、フォトディテクタ等の光電変換素子２を備えた画素３をマトリクス状に配列すると共に、各々の画素３の列間に垂直転送路４を配置し、且つ、上下いずれか一方（一般的には下側）に水平転送路５を配置して構成されている。全ての画素３に蓄えられた電荷（露光量に対応した電荷）は、同一のタイミングで隣接する垂直転送路４に送り込まれ、この垂直転送路４から水平転送路５へ行単位（ライン単位）に順次に送り込まれた後、画素毎の信号としてシリーズに出力される。なお、太い矢印線は画素情報の移動経路を表している。

一方、ＣＭＯＳセンサ６は、フォトディテクタ等の光電変換素子７とスイッチＳＷ及びアンプ８を備えた画素９をマトリクス状に配列すると共に、各々の画素９のＳＷを駆動（ＯＮ）する垂直シフトレジスタ１０と、上下いずれか一方（一般的には下側）に設けられた負荷及びノイズキャンセラ１１と、水平シフトレジスタ１２とを備えて構成されている。各々の画素９の出力信号（アンプ８の出力信号）は、垂直シフトレジスタ１０からの駆動信号に従って線順次（ライン単位）に負荷及びノイズキャンセラ１１に送り込まれ、水平シフトレジスタ１２を介して画素毎の信号としてシリーズに出力される。

このように、ＣＣＤセンサ１から得られる画像情報は、１画面内の全ての画素３の情報取り出しに同時性があり、したがって、ＣＣＤセンサ１は本質的に電子的なシャッター機能を備えているが、一方のＣＭＯＳセンサ６は、ライン毎に画素９の情報を順次に読み出す仕組みになっているため、シビアな時間で見た場合、１画面内の画素９の情報は、各ライン毎に少しずつずれた時間を示すことになる。このようなライン毎に時間がずれたシャッター動作のことをローリングシャッターという。

ローリングシャッターの欠点は、被写体とＣＭＯＳセンサ６との相対的な位置関係に時間的な動きがある場合、つまり、カメラブレ（手ブレともいう）や被写体ブレが発生した場合に、撮影画像に歪みが生じてしまうことにある。

たとえば、電柱のような垂直な棒状の被写体を撮影する際に、横方向のカメラブレが生じた場合を考えてみる。
図１５は、カメラブレを発生したときのローリングシャッターのイメージ図である。ＣＭＯＳセンサ６で撮影された画像の各ラインに注目すると、最上部の第１ライン（Ｌ１）の読み出し時間を基準にして、第２ライン（Ｌ２）、第３ライン（Ｌ３）、・・・・、第ｎ（ｎは最終ライン番号）ライン（Ｌｎ）の順番で少しずつ読み出し時間がずれる。今、カメラブレが発生していない場合を考えると、静止した垂直棒状の被写体１３とＣＭＯＳセンサ６との相対的な位置関係が変化しないため、読み出し時間のずれにもかかわらず、撮影画像１４に写り込む被写体１５には歪みが発生せず、本来の姿（垂直）を保っている。しかし、被写体１３に対して、たとえば、右方向へのカメラブレが生じた場合は、上記の読み出し時間のずれによって各々のライン毎の撮影時間に差を生じるため、撮影画像１４に写り込む被写体は、図示のようなライン毎に徐々に右方にずれた断片１６ａ〜１６ｄで構成されることとなり、結局、下端に行くほど右方にずれた斜め倒れの歪みを伴った棒状となってしまう。

また、ＣＣＤセンサを用いたとしても、ＣＣＤの前にメカニカルなフォーカルプレーンシャッター（ローリングシャッター）を設けた場合には同様の現象が生ずる。

かかるローリングシャッターの欠点を解消する従来技術としては、たとえば、下記の特許文献１、２に記載されたものが知られている。

特許文献１に記載のものは、１フィールドまたは１フレームの画素を、１フィールド期間または１フレーム期間より短い時間で読み出すというものである。また、特許文献２に記載のものは、画像を構成する個々のラインの位置を、そのラインに隣接するラインとの相関が最も高くなるように、バッファメモリの書き込み位置を調整するというものである。

特開平０９−１８１９８６号公報 特開２００４−３６３８６９号公報

しかしながら、上記の従来技術（特許文献１、２に記載のもの）は、いずれも次の問題点がある。

（イ）特許文献１に記載のものの問題点：
各ラインの読み出し時間を短くしているものの、最上部の第１ラインの読み出し時間を基準にして、第２ライン、第３ライン、・・・・、第ｎラインの順番で少しずつ読み出し時間がずれている（同文献の図１等参照）ことには何ら変わりなく、ローリングシャッターの欠点を根本的に解決し得ない。つまり、前記の被写体（垂直な棒状のもの）を例にすれば、読み出し時間の短縮によって、その被写体の歪みの度合いを少なくはできるものの、歪みを完全になくすことができないから、やはり、カメラブレや被写体ブレを生じた場合に、程度の差こそあれ、下端に行くほど右方にずれた斜め倒れの歪みを伴った棒状となってしまうという不都合を否めない。

（ロ）特許文献２に記載のものの問題点：
この技術においては、前記の例示被写体（垂直な棒状のもの）には正しく対応できる。すなわち、画像を構成する個々のラインの位置を、そのラインに隣接するラインとの相関が最も高くなるように、バッファメモリの書き込み位置を調整するので、カメラブレや被写体ブレを生じた場合に、下端に行くほど右方にずれた斜め倒れの歪みを伴った棒状の被写体を、本来の形（垂直な棒状）に正しく戻す（修正する）ことができる。しかしながら、たとえば、元々、斜めに倒れた棒状の被写体を撮影した場合にも、「画像を構成する個々のラインの位置を、そのラインに隣接するラインとの相関が最も高くなるように、バッファメモリの書き込み位置を調整」してしまうので、かかる斜め倒れの棒状被写体を、誤って垂直に修正してしまうという致命的な欠点がある。

そこで、本発明は、カメラブレや被写体ブレの検出手段を設け、実際にブレを生じた場合にのみ、隣接ラインの相関からライン同士の位置合わせを行うようにすることにより、上記の特許文献２の欠点を解消した撮像装置を提供することにある。

本発明に係る撮像装置は、所定のフレーム周期毎に画像を出力するローリングシャッター方式の撮像手段と、前記撮像手段から出力された画像を構成する個々のラインの位置を、そのラインに隣接するラインとの相関が最も高くなるように補正する補正手段とを具備する撮像装置において、前記撮像手段と該撮像手段の撮影対象である被写体との間の相対的な位置移動を、フレーム内の隣接するライン間の相関値及び隣接するフレームの同一ラインの間の相関値に基づき検出する検出手段を備え、前記補正手段は、前記検出手段によって位置移動が検出されたときに前記補正動作を行うことを特徴とする。
また、好ましい態様は、前記検出手段は、フレーム内の隣接するライン間の相関より隣接するフレームの同一ライン間の相関が高いときに、前記撮像手段と該撮像手段の撮影対象である被写体との間の相対的な位置移動を検出することを特徴とする。
また、好ましい態様は、前記検出手段は、所定の閾値より隣接するフレームの同一ライン間の相関が高いときであって、かつフレーム内の隣接するライン間の相関より隣接するフレームの同一ライン間の相関が高いときに、前記撮像手段と該撮像手段の撮影対象である被写体との間の相対的な位置移動を検出することを特徴とする。

本発明によれば、ローリングシャッター方式の撮像手段と該撮像手段の撮影対象である被写体との間の相対的な位置移動を検出したときに、前記撮像手段から出力された画像を構成する個々のラインの位置を、そのラインに隣接するラインとの相関が最も高くなるように補正するので、ローリングシャッター方式の撮像手段における前記の欠点（特許文献２の欠点）、たとえば、元々、斜めに倒れた棒状の被写体を撮影した場合に、かかる斜め倒れの棒状被写体を、誤って垂直に修正してしまうという欠点を解消することができる。

以下、本発明の実施形態を、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

図１は、撮像装置の構成図である。この図において、撮像装置２０は、固定または可変の撮影画角αに存在する不図示の被写体の二次元画像を所定のフレーム周期（典型的には毎秒数十乃至は数百フレームの周期）で出力する撮像部２１を備える。この撮像部２１は、撮影レンズや絞り機構、焦点合わせ機構（及び必要であればズーム機構）を含む光学系２２と、ＣＭＯＳセンサからなる撮像素子２３とで構成される。撮像部２１の動作（絞りの大きさやズーム倍率、つまり撮影画角αの調整並びに焦点合わせ、及び、撮像素子２３の露光並びに読み出し動作）は、撮像制御部２４からの制御信号によって適宜にコントロールされる。

撮像部２１から周期的に出力される画像（以下、フレームという）は、そのフレーム単位にアナログデジタル変換器２５によってデジタル信号に変換された後、フレームメモリ２６、フレーム内ライン間相関関数部２７、フレーム間同ライン相関関数部２８及び位相補正部２９に出力される。フレームメモリ２６は、アナログデジタル変換器２５から取り込まれた最新のフレーム（以下、現フレームという）を１フレーム期間遅らせたフレーム（以下、前フレームという）をフレーム間同ライン相関関数部２８に出力する。

フレーム内ライン間相関関数部２７は、現フレームを構成する各々のラインについて、各ラインとそのラインの隣接ラインと間の相関値（ライン間相関値Ｒｉｊ）を算出する。つまり、第１ライン（Ｌ１）と第２ライン（Ｌ２）との相関値（Ｒ１２）、第２ライン（Ｌ２）と第３ライン（Ｌ３）との相関値（Ｒ２３）、第３ライン（Ｌ３）と第４ライン（Ｌ４）との相関値（Ｒ３４）、・・・・というように、第ｉライン（Ｌｉ）と第ｊライン（Ｌｊ）との相関値（Ｒｉｊ）を算出する。ここに、ｉは注目ライン番号、ｊは隣接ライン番号である。フレーム内ライン間相関関数部２７で算出された相関値（Ｒｉｊ）は、フレーム内評価部３０に送られ、このフレーム内評価部３０でライン間のズレ量（Ｌτ）が算出される。

ここで、次式（１）または次式（２）は、上記のライン間相関値Ｒｉｊに用いることができる算出式の一例である。

式（１）または式（２）中のＬτは位相ずらし量を表し、−ｋ〜ｋの範囲にて算出を行う。ただし、ｋの範囲はローリングシャッターにより発生するズレ量より大きくする必要がある。また、このズレ量は、撮影画角αや撮像素子２３のフレーム周期によって変化するため、実用上は、撮影時に使用されている実際の撮影画角αやフレーム周期等に応じて、適応的に設定する必要がある。

フレーム間同ライン相関関数部２８は、隣接フレーム（現フレームと前フレーム）の同一ライン間の相関値（隣接フレーム同一ライン間相関値ＲＬＭ）を算出する。フレーム間同ライン相関関数部２８で算出された相関値（ＲＬＭ）は、フレーム間評価部３１に送られ、このフレーム間評価部３１でフレーム間のズレ量（Ｆτ）が算出される。

ここで、次式（３）または次式（４）は、上記のフレーム間相関値ＲＬＭに用いることができる算出式の一例である。

ＲＬＭｉのｉは注目フレーム番号を表している。また、前式（１）、（２）と同様に、式（３）または式（４）中のＦτはズレ量を表し、−ｋ〜ｋの範囲にて算出を行う。ただし、ｋの範囲はローリングシャッターにより発生するズレ量より大きくする必要がある。また、このズレ量は、撮影画角αや撮像素子２３のフレーム周期によって変化するため、実用上は、撮影時に使用されている実際の撮影画角αやフレーム周期等に応じて、適応的に設定する必要がある。

評価値ＲＬＭが最高値を得るときのＦτが、時間方向のフレーム間のズレ量を表現している。また、Ｆτｍａｘ＝０のときはフレーム間で画像の移動がない状態を示し、Ｆτｍａｘ≠０のときはフレーム間で画像の移動があったことを示す。

補正値決定部３２は、フレーム内評価部３０からのライン間ズレ量（Ｌτ）と、フレーム間評価部３１からのフレーム間ズレ量（Ｆτ）とに基づいて、最終的なズレの補正値（位相補正値）を算出し、位相補正部２９は、この位相補正値を用いて、アナログデジタル変換部２５から出力された現フレームに対する歪み補正を行い、その補正済み画像データを、不図示の画像処理部（たとえば、デジタルカメラの画像処理部等）に出力する。

図２は、撮像装置２０の動作フローを示す図である。この図に示すように、撮像装置２０は、撮像部２１を制御して、この撮像部２１から所定周期のフレームを取得し、アナログデジタル変換部２５でデジタル信号のフレーム（現フレーム）に変換すると共に、フレームメモリ２６で１フレーム期間遅らせて前フレームを生成する。そして、フレーム内ライン間相関関数部２７で、現フレームを構成する各々のラインについて、各ラインとそのラインの隣接ラインと間の相関値（ライン間相関値Ｒｉｊ）を算出し、フレーム内評価部３０で、そのライン間相関値Ｒｉｊからライン間のズレ量（Ｌτ）を算出する（ステップＳ１）。次いで、フレーム間同ライン相関関数部２８で、隣接フレーム（現フレームと前フレーム）の同一ライン間の相関値（隣接フレーム同一ライン間相関値ＲＬＭ）を算出し、フレーム間評価部３１で、その隣接フレーム同一ライン間相関値ＲＬＭからフレーム間のズレ量（Ｆτ）を算出する（ステップＳ２）。次いで、カメラブレまたは被写体ブレの発生の有無を判定する（ステップＳ３）。この判定は、次の条件で行う。すなわち、フレーム間のズレ量（Ｆτ）が第１の閾値（ＴＨ１）を上回り、且つ、フレーム間のズレ量（Ｆτ）がライン間のズレ量（Ｌτ）を上回っていたときに、カメラブレまたは被写体ブレが発生しているものと判定し、位相補正部２９で、ライン間のズレ量（Ｌτ）を用いて、現フレームのライン間の位置合わせ補正を行う（ステップＳ４）。

ここで、上記の判定における第１の条件（ＴＨ１＜Ｆτ）は、細かな歪みに敏感になりすぎないようにするためのものである。すなわち、ＴＨ１以下のＦτを無視するためのものである。また、上記の判定における第２の条件（Ｌτ＜Ｆτ）は、補正の対象とすべき歪みを判定するためのものである。つまり、Ｌτを上回る程度のＦτが検出された場合は、無視し得ない大きさの歪みを伴うカメラブレまたは被写体ブレが発生しているものと判断して歪みの補正を行い、一方、そうでない場合は、カメラブレまたは被写体ブレが発生しておらず、或いは、発生しているとしても無視しても差し支えない程度の微小なブレであると判断して歪みの補正を行わないようにするためのものである。なお、上記の判定における第２の条件（Ｌτ＜Ｆτ）を、第２の閾値（ＴＨ２）＝Ｌτ×Ｋとしてもよい。このようにすると、係数Ｋによって、位相補正の範囲を調整することができるから好ましい。

図３は、ローリングシャッターにおけるライン毎の露光時間差を示す図である。この図において、横軸は時間であり、横に延びた帯状図形の各々はラインを示している。各ラインは、第１ライン（Ｌ１）から順に少しずつ時間軸方向にずれており、第１ライン（Ｌ１）の始まりから第ｎライン（Ｌｎ）の終わりまでの期間が１フレーム期間になる。また、フレーム周期は、隣接するフレーム間（この図では１フレームと２フレーム）の同一ラインの周期である。

さて、この図においては、１フレームの第１ライン（Ｌ１）と第２ライン（Ｌ２）にハッチングが施されており、このハッチングは、フレーム内ライン間相関関数部２７におけるライン間相関値Ｒｉｊの算出対象ラインを表している。つまり、この場合のライン間相関値Ｒｉｊは、前式（１）または前式（２）により、Ｒ１２として算出されることになる。同様にして、ハッチングを施していない他のライン（Ｌ３、Ｌ４・・・・）についても、順次にライン間相関値Ｒｉｊ（Ｒ２３、Ｒ３４・・・・）が算出される。

図４は、ライン間相関値Ｒｉｊの模式図である。この図において、ｘ軸はライン間のズレ量（Ｌτ）、ｙ軸はライン番号（Ｌ１、Ｌ２・・・・Ｌｎ）、ｚ軸はライン間相関値Ｒｉｊを表している。（ａ）はライン間の相関性が高く、したがって、画像に歪みが生じていないときのものである。これに対して、（ｂ）はライン間の相関性が低く、したがって、画像に歪みが生じているときのものである。ただし、この段階における「画像に歪みが生じている」とは、その可能性があると考えられる意味である。先に説明したとおり、カメラブレや被写体ブレが発生していない場合は、画像の歪みではなく、元々、そのようなライン間の相関性が低い画像であるからである。

通常、画像を構成する画素は、その画素の近傍画素との相関が高く、したがって、静止した被写体をカメラブレなく撮影した場合は、図４（ａ）に示すように、各々のライン間の評価値Ｒｉｊの最大値が、概ねＬτ＝０に揃うことになる。これに対して、被写体が水平方向に移動する場合（水平方向への被写体ブレ）や水平方向へのカメラブレが発生した場合は、図４（ｂ）に示すように、各々のライン間の評価値Ｒｉｊの最大値が、概ねＬτ＝０ではない位置に現れることになる。

基本的な横ズレの補正は、ライン毎において算出されるＲｍａｘ時のＬτ分だけ画像をずらして再構成すればよいが、そうするだけでは、以下の問題（元々、斜めの被写体を歪みとして誤判定する）が未解決になる。

図５は、斜めの被写体を歪みとして誤判定する場合の概念図である。今、取得画像がａのような斜め短冊状の被写体であるとする。このときのフレーム内ライン間相関（Ｒｉｊ）はｂの様に算出される。つまり、先の図４（ｂ）に示すように、各々のライン間の評価値Ｒｉｊの最大値が、概ねＬτ＝０ではない位置に現れることになる。したがって、このｂにのみ従えば、画像に歪みが発生していると判定されるが、この判定は不確かなものである。

その理由は、このｂのみからは、元々の被写体が斜め短冊状であったか（ｃ）、または、縦長の長方形であったが、カメラブレによる横移動でローリングシャッターズレが発生したか（ｄ）の区別がまったく付かないからである。冒頭の特許文献２の欠点は、もっぱらこうした理由によるものである。

本実施形態では、かかる理由に鑑み、フレーム間同ライン相関関数部２８やフレーム間評価部３１及び補正値決定部３２によって、カメラブレや被写体ブレを検出する検出手段を構成し、この検出手段によって、実際にブレを検出した場合にのみ、隣接ラインの相関からライン同士の位置合わせを行う（ライン毎において算出されるＲｍａｘ時のＬτ分だけ画像をずらして再構成する）ようにしたものであり、このようにすることにより、上記の特許文献２の欠点を解消した撮像装置２０を実現することとしたものである。

図６は、フレーム間相関値ＲＬＭの算出に用いるライン毎の露光時間差を示す図である。この図において、横軸は時間であり、横に延びた帯状図形の各々はラインを示している。各ラインは、第１ライン（Ｌ１）から順に少しずつ時間軸方向にずれており、第１ライン（Ｌ１）の始まりから第ｎライン（Ｌｎ）の終わりまでの期間が１フレーム期間になる。また、フレーム周期は、隣接するフレーム間（この図では１フレームと２フレーム）の同一ラインの周期である。左側のＰフレームと右側のＰ＋１フレームは、それぞれ隣接フレームである。

さて、この図においては、Ｐフレームの第１ライン（Ｌ１）とＰ＋１フレームの第１ライン（Ｍ１）にハッチングが施されており、これらのハッチングを施した二つのライン（Ｌ１とＭ１）は、隣接フレームの同一ラインを示している。つまり、フレーム間同ライン相関関数部２８におけるフレーム間相関値ＲＬＭの算出対象ラインを表している。したがって、この場合のフレーム間相関値ＲＬＭは、前式（３）または前式（４）により、ＲＬＭ１として算出されることになる。同様にして、ハッチングを施していない他のライン（Ｌ２とＭ２、Ｌ３とＭ３・・・・）についても、順次にフレーム間相関値ＲＬＭ２、ＲＬＭ３、ＲＬＭ４・・・・が算出される。

図７は、フレーム間相関値ＲＬＭの模式図である。この図において、ｘ軸はフレーム間のズレ量（Ｆτ）、ｙ軸はライン番号（Ｌ１、Ｌ２・・・・Ｌｎ）、ｚ軸はフレーム間相関値ＲＬＭ（ＲＬＭ１、ＲＬＭ２、ＲＬＭ３・・・・ＲＬＭｎ）を表している。評価値ＲＬＭが最高値を得るＦτが、時間方向の画像のズレ量を表現している。つまり、Ｆτｍａｘ＝０のときはフレーム間で画像の移動がない状態を示し、Ｆτｍａｘ≠０のときはフレーム間で画像の移動があったことを示すことになる。したがって、Ｆτｍａｘ≠０のときに、カメラブレまたは被写体ブレありと判断されるので、この場合にのみ、隣接ラインの相関からライン同士の位置合わせを行い（ライン毎において算出されるＲｍａｘ時のＬτ分だけ画像をずらして再構成し）、一方、Ｆτｍａｘ＝０のときは、こうした位置合わせを行わないようにすればよい。

図８は、フレーム間の移動がない場合の模式図、図９は、フレーム間の移動がある場合の模式図である。各々の図において、上段に取得された画像、中段にフレーム内ライン間相互関数算出結果、下設にフレーム間同ライン間相互相関関数算出結果を示す。なお、これらの図においては、ライン間の右ズレを＋方向、左ズレを−方向として表示してある。

これらの図（図８と図９）は、いずれも、フレーム内ライン相互相関関数ＲｍａｘのＬτが＋方向にずれている。一方、フレーム問同ライン相互相関関数ＲＬＭｍａｘのＦτに着目すると、図８においてはＦτ＝０に、図９においては−方向にずれている。図８は、実際に画面一杯に斜めの被写体をカメラブレなく撮影した状況であり、Ｌτは被写体自体が斜めであるので＋方向に算出されるものの、Ｆτはカメラの移動がないので０と算出される。よって、フレーム間ズレ量（Ｆτ）＝０のときは位相補正をする必要がない。

これに対して、図９は、実際に画面一杯に斜めでない長方形の物体をカメラ右移動しながら（または右方向のカメラブレを伴いながら）撮影した状況であり、Ｌτは、ローリングシャッターにおける歪みが発生しカメラが右移動しているので＋方向に算出されるものの、Ｆτはカメラの移動があるので、同じラインでも被写体が右に移動した画像が撮影されるため、＋方向に算出される。このとき、ライン間ブレ量（Ｌτ）＜フレーム間ブレ量（Ｆτ）となる。なぜなら、ライン間のブレの方がフレーム間のブレより時間的に近いからである。

したがって、先の図２のフローチャートで示したとおり、「ＴＨ１＜Ｆτ」且つ「Ｌτ＜Ｆτ」の条件を満たしたときに、位相補正を行い、そうでないときに位相補正を行わないようにすればよい。

以上により、フレーム間同ライン相互相関関数ＲＬＭの算出結果から、カメラブレや被写体ブレの発生の有無を判定し、かかるブレを生じているときにのみ、ローリングシャッター起因の画像歪みを補正することにより、前記の特許文献２の欠点、つまり、たとえば、元々、斜めに倒れた棒状の被写体を撮影した場合に、かかる斜め倒れの棒状被写体を、誤って垂直に修正してしまうという欠点を解消した撮像装置２０を実現できるのである。

図１０及び図１１は、背景中を走行する自動車を流し撮り撮影したときの状況を示す模式図である。まず、図１０において、背景は垂直に延びた幹３３を有する樹木３４を含み、この樹木３４の前を左から右へと自動車３５が走行するものとする。図１１において、上段には取得された画像、下段にはフレーム内ライン間相互相関関数算出結果が示されており、フレーム内には流れ去る背景（元々は垂直な幹３３を有する樹木３４）と自動車３５が撮影されている。なお、流し撮り撮影であるので、各々のフレームのほぼ中心には自動車３５が写し込まれており、背景の樹木３４は、流し撮りのカメラワークに伴い、各フレーム内を左から右へと移動しながら写し込まれている。

このような画像において、フレーム内ライン間相互相関を求めると、背景のａ部とｃ部は上記説明と同様であるが、背景の一部（樹木３４の幹３３）と自動車３５とを含むｂ部は、二つのピーク値を持つことになる。つまり、第１のピークは背景（樹木３４の幹３３）の部分、第二のピーク自動車３５の部分である。

ライン間相関値Ｒｉｊに対して、たとえば、ローパスフィルター等によってノイズ削減を行った後、これら二つのピーク値間の差分をとり、「差分＞第３の閾値（ＴＨ３）」の条件を満たすときには、二つの移動体がフレームにあると判断し、いずれか一方のズレ量を適用してフレーム全体のライン位相を揃える。

図１１におけるア部はフレーム内の全ラインに渡って同様な位置にＬτの第１のピークが発生している。これは背景部（樹木３４の幹３３）とみなすことが可能である。一方、図１１におけるイ部は、フレーム内の一部分にＬτの第２のピークが発生している。この部分はフレーム内の一部分に移動体があったものと推定されるので、この第２のピーク値のＬτを全フレームに対する補正値として適用する。

なお、通常は、第２のピークのＬτで補正を行うが、状況に応じて背景部（第１のピークのＬτ）でも補正を行うことができるように選択可能としてもよい。

また、静止させたい画像は主目的被写体であり、一般的に主目的被写体部はピントが合っているために相当量の高周波成分を含み、一方の背景部分は流されている上、ボケも生じているから、主目的被写体部に比べて高周波成分の含有量は少ないはずである。したがって、ラインの高周波成分を含む部分のみに再度位相をずらしながら相関ピークを見つけ出し、この相関ピーク値からカメラの横移動量を推定し、画面全体の補正を行うようにしてもよい。

また、上記のフレーム間同ライン相関関数部２８においては、隣接フレームの同一ライン間の相関値を算出しており、この“同一ライン”は、Ｐフレームの一つのラインとＰ＋１フレームの同ラインのことを指すが、一つのラインではなく、複数のラインを含むブロック同士で、同一ラインブロック間の相関値を算出するようにしてもよい。

図１２は、同一ラインブロック間の相関値を算出する際のライン毎の露光時間差を示す図である。この図において、横軸は時間であり、横に延びた帯状図形の各々はラインを示している。各ラインは、第１ライン（Ｌ１）から順に少しずつ時間軸方向にずれており、第１ライン（Ｌ１）の始まりから第ｎライン（Ｌｎ）の終わりまでの期間が１フレーム期間になる。また、フレーム周期は、隣接するフレーム間（この図では１フレームと２フレーム）の同一ラインの周期である。左側のＰフレームと右側のＰ＋１フレームは、それぞれ隣接フレームである。

さて、この図においては、Ｐフレームの第１ライン（Ｌ１）〜第４ライン（Ｌ４）までのラインブロックと、Ｐ＋１フレームの第１ライン（Ｍ２）から第４ライン（Ｍ４）までのラインブロックにハッチングが施されており、これらのハッチングを施した二つのラインブロック（Ｌ１〜Ｌ４とＭ１〜Ｍ４）は、隣接フレームの同一ラインブロックを示している。つまり、他の例におけるフレーム間同ライン相関関数部２８におけるフレーム間相関値ＲＬＭの算出対象ラインブロックを表している。

この場合のフレーム間相関値ＲＬＭは、次式（５）または次式（６）により算出することができる。

ただし、式（５）または式（７）におけるＬｂｉ、Ｍｂｉは、それぞれ、次式（７）、（８）によって与えられる。

図１３は、同一ラインブロック間のフレーム間相関値ＲＬＭの模式図である。この図において、ｘ軸はフレーム間のズレ量（Ｆτ）、ｙ軸はライン番号（Ｌ１、Ｌ２・・・・Ｌｎ）、ｚ軸はブロック単位のフレーム間相関値ＲＬＭ（ＲＬＭ１、ＲＬＭ２、ＲＬＭ３・・・・ＲＬＭｎ）を表している。

三脚等を用いずに手持ちで最影する場合、手ブレにより、画面縦方向のズレが発生する可能性がある。そして、このような画像縦方向のズレが発生した場合はフレーム間の同じラインで相関をとった場合の誤差が大きくなる可能性がある。これに対処するためには、図１２や図１３に示すように、複数ラインをまとめてブロック単位で判定するようにすればよい。多少の画面縦方向のズレが発生した場合であっても、そのズレの大きさがブロック内のライン数に満たない程度であれば、当該画面縦方向のズレの影響をなくすことができる。

なお、上記実施例においてはカメラと被写体との間の相対的な位置移動検出をフレーム間の画像を比較することで行ったが、加速度センサなどにより相対的な位置移動検出を行ってもよい。

撮像装置の構成図である。 撮像装置２０の動作フローを示す図である。 ローリングシャッターにおけるライン毎の露光時間差を示す図である。 ライン間相関値Ｒｉｊの模式図である。 斜めの被写体を歪みとして誤判定する場合の概念図である。 フレーム間相関値ＲＬＭの算出に用いるライン毎の露光時間差を示す図である。 フレーム間相関値ＲＬＭの模式図である。 フレーム間の移動がない場合の模式図である。 フレーム間の移動がある場合の模式図である。 背景中を走行する自動車を流し撮り撮影したときの状況を示す模式図である。 背景中を走行する自動車を流し撮り撮影したときの状況を示す模式図である。 同一ラインブロック間の相関値を算出する際のライン毎の露光時間差を示す図である。 同一ラインブロック間のフレーム間相関値ＲＬＭの模式図である。 ＣＣＤセンサとＣＭＯＳセンサの構造模式図である。 カメラブレを発生したときのローリングシャッターのイメージ図である。

符号の説明

２０ 撮像装置
２３ 撮像素子（撮像手段）
２７ フレーム内ライン間相関関数部（補正手段）
２８ フレーム間同ライン相関関数部（検出手段）
２９ 位相補正部（補正手段）
３０ フレーム内評価部（補正手段）
３１ フレーム間評価部（検出手段）
３２ 補正値決定部（検出手段）

Claims (3)

1. 所定のフレーム周期毎に画像を出力するローリングシャッター方式の撮像手段と、
   前記撮像手段から出力された画像を構成する個々のラインの位置を、そのラインに隣接するラインとの相関が最も高くなるように補正する補正手段とを具備する撮像装置において、
   前記撮像手段と該撮像手段の撮影対象である被写体との間の相対的な位置移動を、フレーム内の隣接するライン間の相関値及び隣接するフレームの同一ラインの間の相関値に基づき検出する検出手段を備え、
   前記補正手段は、前記検出手段によって位置移動が検出されたときに前記補正動作を行うことを特徴とする撮像装置。
2. 前記検出手段は、フレーム内の隣接するライン間の相関より隣接するフレームの同一ライン間の相関が高いときに、前記撮像手段と該撮像手段の撮影対象である被写体との間の相対的な位置移動を検出することを特徴とする請求項１記載の撮像装置。
3. 前記検出手段は、所定の閾値より隣接するフレームの同一ライン間の相関が高いときであって、かつフレーム内の隣接するライン間の相関より隣接するフレームの同一ライン間の相関が高いときに、前記撮像手段と該撮像手段の撮影対象である被写体との間の相対的な位置移動を検出することを特徴とする請求項２記載の撮像装置。
   

Images