JP6362473B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、画像処理装置に関し、特に動画における防振技術に関するものである。

ビデオカメラの手持ち撮影時に発生する手振れで再生画面が揺れる問題がある。

この手振れを抑制する技術として、例えば特許文献１では、動きベクトルを検出し、この動きベクトルに基づいて、画像メモリに貯えられているビデオデータを補正する方法が提案されている。

また、特許文献２では被写体の動きを表す動きベクトルと手振れによる動きを表す動きベクトルを分離して検出する方法が開示されている。このような技術により、歩行中の撮影においても揺れを抑制する事ができる。

特開昭６３−１６６３７０号公報 特許第３４７３０６４号

しかしながら、上記従来技術では、歩行中の揺れを抑制した場合、被写体と背景の距離が遠いと歩行による視点移動が原因で、被写体と背景の位置の揺れ量が異なってしまい、被写体と背景の両方の揺れを抑制する事が出来なくなってしまう問題があった。

そこで、本発明の目的は、視点移動による揺れの抑制に有利な画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体を提供することである。

本発明の一側面としての画像処理装置は、被写体空間を異なる視点から撮像した複数の視差画像を取得する取得手段と、前記複数の視差画像の合成比率を決定する決定手段と、前記決定手段により決定された合成比率で、前記複数の視差画像を合成する合成手段と、を有し、前記決定手段は、前記合成手段から出力される第１の出力画像の視点と前記第１の出力画像よりも前に出力された第２の出力画像の視点が近づくような合成比率を決定する、ことを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、視点移動による揺れの抑制に有利な画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体を提供することができる。

実施例１の撮像装置の構成を示すブロック図である。 実施例１の撮像素子の画素の構成を示す図である。 水平像信号を示す図である。 実施例１の撮像素子の画素レイアウト図である。 撮影画像の例を示す図である。 瞳強度感度重心を示す図である。 画像一致度探索範囲を示す図である。 実施例１の画像処理方法のフローチャートである。 実施例２の撮像装置の構成を示すブロック図である。 実施例３の撮像素子の画素の構成を示す図である。 実施例４の撮像装置の構成を示すブロック図である。 実施例５の撮像装置の構成を示すブロック図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明の実施例１における撮像装置の構成を示すブロック図である。以下、図１を参照して、本発明の実施例１の構成について説明する。

１０１は撮像光学系としての撮像用レンズである。１０２は１つのマイクロレンズ内に複数の画素を有する撮像素子である。この撮像素子１０２は、後述するように、被写体空間を異なる視点から撮像した複数の視差画像を生成（撮像）する撮像手段として機能する。１０３は撮像素子１０２から読み出した信号を、各マイクロレンズ内の画素ごとに分離する視差画像分離部である。視差画像分離部１０３は、複数の視差画像を取得する取得手段として機能する。なお、撮像用レンズ１０１は、図１では１枚のレンズであるが、複数枚のレンズから構成されてもよく、また不図示の絞り等を有していてもよい。

１０４はそれぞれのマイクロレンズ内画素で発生するシェーディングの違いを補正するシェーディング補正部である。シェーディング補正部１０４は、視差画像分離部１０３から取得した複数の視差画像にシェーディング補正を行うシェーディング補正手段として機能する。シェーディング特性は射出瞳のケラレ形状と各画素の瞳強度分布に依存しており、像高によりなだらかに変化する。また、ＲＧＢベイヤー配列などのカラー撮像素子の場合、色ごとに異なるシェーディング特性となる。シェーディング補正部１０４はこのような特性を補正するものである。

１０５はシェーディング補正された複数の視差画像を合成して１つの視点の画像にする視点画像合成部である。すなわち、視点画像合成部１０５は、複数の視差画像から任意の視点画像を合成する合成手段として機能する。なお、視点画像合成部１０５に入力される複数の視差画像は、シェーディング補正部１０４によるシェーディング補正以外にも、光学的要因により発生する誤差を補正したものであってもよい。

１０６は入力画像の一部を切り出す画像切り出し部である。

１０７はシェーディング補正された視差画像と１つ前の出力画像を比較して、視点画像合成部１０５のパラメータと、画像切り出し部１０６のパラメータと、を決定する視点決定部である。視点決定部１０７は、後述するように複数のフレーム間の視点差が小なくなるような着目フレームの視点を決定する。そして、視点画像合成部１０５は、視点決定部１０７の出力に応じて視点画像を合成する。この合成については後述するが、視点画像合成部１０５（合成手段）は、視点決定部１０７により決定された混合比（合成比率）で、複数の視差画像を合成して１つの視点画像を生成する。また、視点決定部１０７は、時間差を設けた対の画像の比較により画像の動きベクトルを検出することができる動きベクトル検出部としても機能する。視点決定部１０７の詳細は後で詳しく述べる事とする。

１０８は画像切り出し部１０６により切り出された画像から最終映像信号を生成する信号処理回路である。

１０９は撮像装置（本実施例ではビデオカメラ）全体を制御する制御マイコンである。

図２は図１の撮像素子１０２の画素の断面図及び正面図である。

２０１は画素ごとに設けられたマイクロレンズ、２０２〜２０５はマイクロレンズ２０１に対応した光電変換部（副画素、分割画素）である。

実施例１の撮像素子１０２は１つのマイクロレンズ２０１に対して４つの光電変換部（２０２，２０３，２０４，２０５）を有する構造となっている。ただし、本発明はこれに限定されず、１つのマイクロレンズに対して２つなどの複数の光電変換部を有する画素構造であればよい。

図４は図２の構造が並んだ撮像素子１０２のレイアウトを示した図である。

このように、本実施例の撮像素子１０２は、複数のマイクロレンズ２０１が光軸と直交する方向である縦横方向に配列され、それぞれ１つのマイクロレンズに対して４つの画素（２０２，２０３，２０４，２０５）が縦横方向に配列されている。

実施例１では１つのマイクロレンズに含まれる４つの画素の混合比によって任意の視点画像を生成する。

副画素の混合比により視点の異なる画像を合成する技術は特開２０１３−１２６２４３号公報によって開示されている。

図５を用いて、本発明の課題の詳しい説明を行う事とする。図５（ａ）は歩きながら撮影された動画の、あるフレームの画像である。同様に図５（ｂ）も同じ動画のなかのあるフレームの画像である。ここで、図５（ａ）と図５（ｂ）は互いに異なるフレームの画像である。

５０２は遠景であり、５０１は遠景５０２よりも至近側にある主被写体である。

歩きながら撮影しているため、図５（ａ）と図５（ｂ）は手ブレによりフレーミングが異なる。さらに遠景５０２と主被写体５０１の位置関係が異なる。

具体的には図５（ａ）と比較すると図５（ｂ）は遠景５０２に対する被写体５０１の位置が若干上に配置されている。

本発明の撮像装置はこのような遠景と近景の位置関係のずれを補正する事を目的としている。

主被写体５０１に焦点が合っている場合において遠景５０２はデフォーカスしているため、それぞれの４つの副画素から得られる視差画像では投影されている場所が異なる。

また、４つの視差画像は共通の撮像用レンズ１０１（撮像光学系）によって結像されているため、加算すれば一般的な画像が生成される。

そのような特長があるため、加算比率（合成比率）をコントロールする事により、像の輪郭重心を滑らかに変更する事が可能である。

図３を用いて、輪郭重心と加算比率の関係を説明する事とする。

図３はある画像信号の水平方向の波形を示している。横軸は画素位置、縦軸は輝度を示している。

また投影されている像はデフォーカスした像であり、ボケてるだけではなく画素ごとに輪郭の投影位置が異なっている。

波形３０１は図２の画素２０２と画素２０４によって得られた像を加算した像信号であり、波形３０２は画素２０３と画素２０５によって得られた像を加算した像信号である。

波形３０３は画素２０２、２０３、２０４、２０５のすべてを加算した画素による像である。この波形３０３が、通常の画素構造によって得られる像と同じ像である。波形３０３の像の輪郭は３０６の位置である。輪郭位置３０６は必ず、は波形３０１の輪郭位置と波形３０２の輪郭位置の間に位置している。そして波形３０１と波形３０２の混合比率をコントロールする事により、輪郭位置を波形３０１から波形３０２の輪郭位置の間の任意の位置にコントロールする事ができる。

別の観点で考えると画素２０２、画素２０３、画素２０４、画素２０５を混合した画素は、混合比率をコントロールする事での瞳強度分布の重心位置のコントロールが可能であるとも言える。

図６を用いて瞳強度分布の感度重心のコントロールについて説明する。

瞳強度分布とは、光の入射角に対する画素の感度の分布を示す用語である。

図６は画素の正面図の上に瞳強度分布の重心を重畳して書き込んだ概念図である。本実施例では１つのマイクロレンズに図６のＡＢＣＤで示す４つの画素が配置されている。ここで、Ａ画素は図２の副画素２０２であり、Ｂ画素は図２の副画素２０３であり、Ｃ画素は図２の副画素２０４であり、Ｄ画素は図２の副画素２０５である。

説明を簡単にするために、撮像光学系の光軸中心の位置にある画素でそれぞれの画素の瞳強度分布がマイクロレンズの光軸中心に対して点対称な形状であるとする。

６０１はＡ画素の瞳強度分布の感度重心位置、６０２はＢ画素とＡ画素を同じ比率で混合した場合の瞳強度分布の感度重心位置である。この感度重心位置６０２は、Ａ画素の感度重心位置６０１とＢ画素の感度重心位置６０３の真ん中に位置する。

同様に、Ａ画素、Ｂ画素、Ｃ画素、Ｄ画素を同じ比率で混合した場合の瞳強度分布の感度重心位置が６０４である。

図３において、波形３０４は波形３０１と波形３０２を混合した波形で、波形３０１の混合比率を大きめに設定したものである。したがって、輪郭３０７は輪郭３０６よりも波形３０１の輪郭位置に寄った像となっている。波形３０１の混合比率をもっと大きめに設定すると波形３０４は波形３０５のようになり、その輪郭３０８は輪郭３０７よりももっと波形３０１の輪郭位置に寄った像となる。逆に、波形３０２の混合比率を大きく設定した場合は、波形３０３は波形３１０のようになり、その輪郭３０９は輪郭３０６よりも波形３０２の輪郭位置に寄った像となる。

このような特長は共通の撮像光学系を持った光束がデフォーカスした像において成立する。逆に焦点が合っている像においては、波形３０１と波形３０２の輪郭重心が一致する。

また、波形３０１と波形３０２の輪郭の投影位置は、合焦した場合を中心にして左右または上下に入れ替わり、デフォーカスするに従い、投影位置がはなれていく。つまり前ピンと、後ピンでは波形３０１と波形３０２の像重心位置が左右または、上下に入れ替わる。

合焦した被写体に対して、背景と前景がそれぞれデフォーカス状態にある像に対して波形３０１と波形３０２の混合比率をなだらかに変化させると、前景と背景の輪郭が逆方向に移動する。すなわち、視点が移動したのと同じ効果がある。

本発明は、歩行時のわずかな視点移動が原因で図５（ａ）と図５（ｂ）のように被写体５０１と背景５０２の位置関係が変わってしまう現象を、上記の視点移動効果を利用する事により補正する。

図１の視点決定部１０７の動作を図８のフローチャートを用いて説明する事とする。

ステップ８０１で新しいフレームの切り出し位置と混合比（合成比率）の決定処理を開始する。

ステップ８０２で縦の混合比を初期値に設定する。すなわち、画素２０２と画素２０４、及び画素２０３と画素２０５の加算比を初期値に設定する。初期値は上側が１００％つまり、画素２０２：画素２０４の混合比は１００：０。同様に画素２０３：画素２０５も１００：０である。

次にステップ８０３で横の混合比を初期値に設定する。初期値は左側が１００％つまり画素２０２＋画素２０４：画素２０３＋画素２０５の混合比が１００：０である。

この比率で混合した画素が図６の６０１の位置に瞳強度分布の中心が来る状態である。

ステップ８０４で縦シフト位置を初期値に設定、ステップ８０５で横シフト位置を初期値に設定する。

ステップ８０６ではステップ８０４とステップ８０５で設定した縦横のシフト位置で図１の画像切り出し部１０６から出力された１つ前のフレームの画像との一致度を算出する。

図７を用いて一致度算出の説明を行う。

点線７０４で囲んだ部分は画像切り出し部１０６から出力された１つ前のフレームの画像である。

この画像は１つ前のフレームの視点画像合成部１０５の出力画像７０２から切り出した画像の一部である。

この点線７０４に対して、今回のフレーム画像に対する指定混合比、指定シフト位置の画像と点線７０４の枠で前回のフレームの画像と一致度を算出する。一致度の評価方法としてはＳＡＤ（差の絶対値の積分値）、やＳＳＤ（差の二乗の積分値）などを輝度や色差について行う方法がある。一致度の評価方法に関しては本発明の本質ではないため説明を省略する。

ステップ８０６で一致度を算出したら、ステップ８０７で最も一致度が高いかどうかを判定する。

もし、最も一致度が高いと判定されればステップ８０８で混合比、シフト量を記録する。初めてステップ８０７を実行する場合はステップ８０８に制御を移行する。

ステップ８０９では、横シフト量を変更して次のステップ８１０に移行する。ステップ８１０では、横シフト量が網羅されていればステップ８１１に移行して縦シフト量を変更し、横シフトが網羅されていないならステップ８０６に戻り再び画像の一致度を算出する。ステップ８１１では、縦シフト量を変更して次のステップ８１２に移行する。ステップ８１２では、縦シフト量が網羅されていればステップ８１３に移行して横混合比を変更し、縦シフト量が網羅されていないならステップ８０５に戻り再び横シフト位置を初期値に設定する。

ステップ８０６からステップ８１０までのループを実行する事で横シフトを変化させながら像の一致度算出をおこなっている。また、ステップ８０５からステップ８１２を実行する事で縦シフトを網羅している。

図７で７０１の像が矢印の方向にシフトしながら順次評価値を算出している事になる。外枠７０３は７０１がシフトする範囲を示している。

ステップ８１３では横混合比を変更し、次のステップ８１４で横混合比を網羅するループを形成する。同様に、ステップ８１５では縦混合比を変更し、次のステップ８１６で縦混合比を網羅するループを形成する。ステップ８１４で横混合比が網羅され、かつ、ステップ８１６で縦混合比が網羅されていればステップ８１７でフローを終了する。

ステップ８０４からステップ８１４のループとステップ８０３からステップ８１６のループにより、図６の瞳強度重心位置が矢印のように動く事になる。

このようにステップ８０２からステップ８１６までのループを実行する事により、すべての混合比とシフト位置の組み合わせを網羅して最も一致度が高くなる組み合わせを検出する事ができる。すなわち、本実施例では、複数の視差画像の合成比率と該複数の視差画像の面内方向でのシフト量を変化させながら前のフレーム画像との一致度を算出して、該一致度が最も高くなる合成比率とシフト量を検出する。これにより、視点決定部１０７は、フレーム間の一致度が最も高くなる視点を探索することができる。

そのようにして決定された混合比と切り出し位置が視点画像合成部１０５と画像切り出し部１０６に出力される。これにより、最終的に画像切り出し部１０６から出力される今回のフレーム画像（第１の出力画像）の視点と今回のフレーム画像よりも前に出力された前のフレーム画像（第２の出力画像）の視点を近づける（好ましくは一致させる）ことができる。換言すれば、視点決定部１０７は、視点画像合成部１０５および画像切り出し部１０６から出力される第１の出力画像の視点と該第１の出力画像よりも前に出力された第２の出力画像の視点が近づくような合成比率を決定する決定手段として機能する。

以上説明した視差画像分離部１０３、視点決定部１０７、視点画像合成部１０５、画像切り出し部１０６の動作により、歩行中の撮影において発生する視点移動による揺れを抑制することを可能にした画像処理装置を提供することができる。

以下、図９を参照して、本発明の第２の実施例における撮像装置について説明する。

実施例１と実施例の違いは、視点決定部１０７の部分が画角視点決定部９０３に置き換わっているという部分である。それに加え、画角視点決定部９０３には姿勢センサー９０１、及び加速度センサー９０２が接続されている。

姿勢センサー９０１はカメラの姿勢を検出するセンサーであり、例えば姿勢センサー９０１が回転センサーの場合、撮像装置のヨー方向、ピッチ方向の各軸に取り付けられ、各軸周りの回転による姿勢変化を計測する。検出した姿勢により画角の変化を計算で求め、画像切り出し部１０６に指示する切り出し位置を決定する。

加速度センサー９０２は、歩行による視点の移動を検出する。具体的には、加速度センサー９０２（検出手段）は、複数の視差画像を撮像する撮像手段の視点の移動を検出するように構成されている。

画角視点決定部９０３は加速度センサー９０２の出力に対応した視点画像合成パラメータの変化分を係数テーブルに決定する。これにより、画角視点決定部９０３は、加速度センサー９０２の検出結果に基づいて複数の視差画像の合成比率を決定することができる。

図１０は実施例３にかかる撮像素子の画素構造を示している。

実施例１では１つのマイクロレンズに対応した画素が４つの構成だが、実施例３では３６個の画素が１つのマイクロレンズに対応して構成されている。１００１は実施例３における撮像素子１０２が有する１つのマイクロレンズを指し、１００２はそのマイクロレンズ１００１内の１つの画素を指す。

画素が４つなのに対して、より細かく視点をコントロール可能である事以外は実施例１と同じである。

図１１は実施例４の撮像装置の構成を示すブロック図である。

９０１は撮像装置の姿勢を検出する姿勢検出手段として機能する姿勢センサーである。実施例２と同様の姿勢センサー９０１は、撮像装置全体を制御する制御マイコン１０９に接続されている。

１１０１は撮像レンズ内に組み込まれたシフトレンズである。このように、本実施例の撮像光学系はシフトレンズ１１０１を備えている。

制御マイコン１０９が姿勢センサー９０１の出力に応じてシフトレンズ１１０１を制御する。すなわち、制御マイコン１０９は、姿勢センサー９０１の検出結果に基づいて、シフトレンズ１１０１を制御する制御手段として機能する。このように、実施例４の撮像装置は、光学式手ブレ補正と言われる構成である。

１１０２の視点決定部は、実施例１の視点決定部１０７と同じか、シフト計算を省略した構成である。

本発明の本質は手ブレ補正の視点移動に関する補正であるため、画角移動に関してはどのような手段を用いて補正してもかまわない。または、シフト成分を補正せずに視点移動成分のみを補正しても本発明は完成する。

図１２は実施例５の撮像装置の構成を示すブロック図である。

図１２（ａ）は撮像素子１０２から得られた信号を、加工せずに外部記録装置１２０１に記録するカメラ部を示している。すなわち、本実施例の撮像装置では、撮像素子１０２から得られた信号を画像処理せずに記録する外部記録装置１２０１（記録手段）を有する。本実施例の撮像装置は、いわゆるＲＡＷ記録カメラと呼ばれる構成である。

図１２（ｂ）は外部記録装置１２０１から入力された信号に対し処理を行う処理部を示している。本実施例の画像処理装置は、外部記録装置１２０１から得られた加工が何ら施されていない信号に対し画像処理を施す。

実施例５ではＲＡＷ記録装置と、後処理装置が外部記録装置１２０１を介在して中間データを受け渡している事以外は実施例１と同じ構成である。

本発明によれば、歩行中の撮影において発生する視点移動による揺れを抑制することを可能にした画像処理装置、撮像装置、画像処理方法を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。

１０３ 視差画像分離部
１０５ 視点画像合成部
１０７ 視点決定部
９０３ 画角視点決定部

Claims (14)

1. 被写体空間を異なる視点から撮像した複数の視差画像を取得する取得手段と、
   前記複数の視差画像の合成比率を決定する決定手段と、
   前記決定手段により決定された合成比率で、前記複数の視差画像を合成する合成手段と、を有し、
   前記決定手段は、前記合成手段から出力される第１の出力画像の視点と前記第１の出力画像よりも前に出力された第２の出力画像の視点が近づくような合成比率を決定する、
   ことを特徴とする画像処理装置。
2. 前記決定手段は、前記複数の視差画像の合成比率を変化させながら前記第２の出力画像との一致度を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記合成比率と前記複数の視差画像の面内方向でのシフト量を変化させながら前記第２の出力画像との一致度を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記一致度が最も高くなる合成比率とシフト量を検出することを特徴とする請求項３に記載の画像処理装置。
5. 前記複数の視差画像を撮像する撮像手段の視点の移動を検出する検出手段を有し、
   前記決定手段は、前記検出手段の検出結果に基づいて、前記合成比率を決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記検出手段は、加速度センサーであることを特徴とする請求項５に記載の画像処理装置。
7. 前記取得手段から取得した前記複数の視差画像にシェーディング補正を行うシェーディング補正手段を有することを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記複数の視差画像を撮像する撮像手段と、
   請求項１ないし７のいずれか１項に記載の画像処理装置と、を備えた撮像装置。
9. 前記撮像手段は、１つのマイクロレンズに複数の画素を備えた撮像素子を有することを特徴とする請求項８に記載の撮像装置。
10. シフトレンズを備えた撮像光学系と、
    前記撮像装置の姿勢を検出する姿勢検出手段と、
    前記姿勢検出手段の検出結果に基づいて、前記シフトレンズを制御する制御手段を有することを特徴とする請求項８または９に記載の撮像装置。
11. 前記撮像手段から得られた信号を画像処理せずに記録する記録手段を有し、
    前記画像処理装置は、前記記録手段から得られた信号に対し画像処理を施すことを特徴とする請求項８ないし１０のいずれか１項に記載の撮像装置。
12. 被写体空間を異なる視点から撮像した複数の視差画像を取得する取得ステップと、
    前記複数の視差画像の合成比率を決定する決定ステップと、
    前記決定ステップにより決定された合成比率で、前記複数の視差画像を合成する合成ステップと、を有し、
    前記決定ステップは、前記合成ステップから出力される第１の出力画像の視点と前記第１の出力画像よりも前に出力された第２の出力画像の視点が近づくような合成比率を決定する、
    ことを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
14. コンピュータに、請求項１２に記載の画像処理方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。