JP4665781B2 - 撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、例えばステレオカメラなどの多眼カメラに備えられた複数の撮像部を用いて画像合成を行う撮像装置と、この撮像装置に用いられる画像処理方法及びプログラムに関する。

複数の撮像部を有する撮像装置として、ステレオカメラと呼ばれるものが知られている。このステレオカメラは、左右に撮像部を有し、その撮像部間の視差を利用して立体的な画像を作り出す（例えば、特許文献１参照）。このような利用用途から通常視差が出にくい遠い被写体を撮影する場合にはあまり使われない。

一方、近年のデジタルカメラでは、小型・軽量化に伴い、手振れの問題があり、その解決方法の１つとして、画像合成技術を利用した方法が考えられている。これは、短い露光時間で連続撮影を行い、その連続撮影によって得られた複数枚の画像を重ね合わせることで、手振れやノイズなどを抑えた良好な画像を得るといったものである。
特開平８−８４３５３号公報

しかしながら、上述したような方法で良好な画像を作り出すためには、多数の画像が必要となる。この場合、連写時間を長くすれば、多数の画像を得ることはできるが、その間に被写体やカメラが動く可能性が高くなるため、連写画像間の位置ずれが大きくなり、合成に適さなくなる。

そこで、本発明は、複数の撮像部を備えた撮像装置において、各撮像部から得られる複数枚の画像を効率的に重ね合わせて良好な画像を得ることのできる撮像装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の請求項１に係る撮像装置は、少なくとも２つの撮像部を用いて連写した複数枚の画像から合成画像を作成する撮像装置であって、前記各撮像部のそれぞれから最初に得られる画像を基準画像とし、これらの基準画像間の適合性を判断する適合性判断手段と、この適合性判断手段によって適合性が高いと判断された場合に、前記各基準画像を位置合わせして重ね合わせると共に、前記各基準画像のそれぞれに続く所定枚数分の連写画像を位置合わせしながら順次重ね合わせることで１枚の合成画像を作成する第１の合成画像作成手段と、前記適合性判断手段によって適合性が低いと判断された場合に、前記各基準画像を個別に用い、前記各基準画像のそれぞれに続く所定枚数分の連写画像を前記各基準画像のいずれかに位置合わせしながら順次重ね合わせることで複数枚の合成画像を作成する第２の合成画像作成手段とを具備して構成される。

このような構成によれば、各撮像部から個別に得られる複数の連続した画像を重ね合わせて手振れやノイズなどを抑えた良好な画像を合成結果として得ることができる。その際、各撮像部から最初に得られる画像を基準画像として、これらの基準画像間の適合性を判断することで、適合性が高い場合（位置ずれの影響が少ない場合）と適合性が低い場合（位置ずれの影響が大きい場合）とで各連写画像を効率的に重ね合わせて良好な画像を作り出すことができる。

また、本発明の請求項２は、前記請求項１記載に係る撮像装置おいて、前記適合性判断手段によって適合性が低いと判断された場合に、その旨を警告する警告手段を具備したことを特徴とする。

このような構成によれば、各基準画像間の適合性が低い場合に、その旨を警告することで、ユーザは視差による影響が大きいことを知ることができる。

また、本発明の請求項３は、前記請求項１記載の撮像装置において、前記第１の合成画像作成手段は、前記各基準画像のそれぞれに続く所定枚数分の連写画像の中で合成に適さないものを除外して重ね合わせることを特徴とする。

このような構成によれば、単純に各連写画像を重ね合わせるのではなく、その中で合成に適さないものを除外して重ね合わせていくことで、より良好な画像を合成結果として得ることができる。

また、本発明の請求項４は、前記請求項１記載の撮像装置において、前記第２の合成画像作成手段は、前記各基準画像のそれぞれに続く所定枚数分の連写画像をそれぞれに対応した基準画像に重ね合わせることを特徴とする。

このような構成によれば、各基準画像間の適合性が低い場合に、これらの基準画像のそれぞれに続く所定枚数分の連写画像同士を重ね合わせることで、カメラ間の視差の影響を受けない合成画像を作成できる。

また、本発明の請求項５は、前記請求項１記載の撮像装置において、前記第２の合成画像作成手段は、前記各基準画像のそれぞれに続く所定枚数分の連写画像を前記各基準画像のうちの位置ずれの少ない方に振り分けて重ね合わせることを特徴とする。

このような構成によれば、各基準画像間の適合性が低い場合に、これらの基準画像のそれぞれに続く所定枚数分の連写画像を各基準画像のうちの位置ずれの少ない方に振り分けて重ね合わせることで、例えば連続撮影中に被写体やカメラが動くなどして時系列的な誤差が生じている場合に、その影響の少ない合成画像を作成できる。

本発明の請求項６に係る画像処理方法は、少なくとも２つの撮像部を用いて連写した複数枚の画像から合成画像を作成する画像処理方法であって、前記各撮像部のそれぞれから最初に得られる画像を基準画像とし、これらの基準画像間の適合性を判断する適合性判断ステップと、この適合性判断ステップによって適合性が高いと判断された場合に、前記各基準画像を位置合わせして重ね合わせると共に、前記各基準画像のそれぞれに続く所定枚数分の連写画像を位置合わせしながら順次重ね合わせることで１枚の合成画像を作成する第１の合成画像作成ステップと、前記適合性判断ステップによって適合性が低いと判断された場合に、前記各基準画像を個別に用い、前記各基準画像のそれぞれに続く所定枚数分の連写画像を前記各基準画像のいずれかに位置合わせしながら順次重ね合わせることで複数枚の合成画像を作成する第２の合成画像作成ステップとを有することを特徴とする。

このような画像処理方法によれば、前記各ステップに従った処理を実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明の請求項７に係るプログラムは、少なくとも２つの撮像部を用いて連写した複数枚の画像から合成画像を作成する撮像装置に搭載されたコンピュータによって実行されたるプログラムであって、前記コンピュータに、前記各撮像部のそれぞれから最初に得られる画像を基準画像とし、これらの基準画像間の適合性を判断する適合性判断機能と、この適合性判断機能によって適合性が高いと判断された場合に、前記各基準画像を位置合わせして重ね合わせると共に、前記各基準画像のそれぞれに続く所定枚数分の連写画像を位置合わせしながら順次重ね合わせることで１枚の合成画像を作成する第１の合成画像作成機能と、前記適合性判断機能によって適合性が低いと判断された場合に、前記各基準画像を個別に用い、前記各基準画像のそれぞれに続く所定枚数分の連写画像を前記各基準画像のいずれかに位置合わせしながら順次重ね合わせることで複数枚の合成画像を作成する第２の合成画像作成機能とを実現させることを特徴とする。

したがって、コンピュータが前記各機能を実現するためのプログラムを実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明によれば、ステレオカメラなどの多眼カメラに備えられた各撮像部から個別に得られる複数の連続した画像を効率的に重ね合わせて、手振れやノイズなどを抑えた良好な画像を合成結果として得ることができる。

以下、図面を参照して本発明の実施形態を説明する。
本実施形態では、左右２つのカメラ（撮像部）を有するデジタル・ステレオカメラを例にして、Ｎ回連写（連続撮影）によって左右のカメラから得られるＮ枚ずつの画像を重ね合わせることで、手振れやノイズリを抑えた画像を合成結果として得るための手法について説明する。

なお、左右のカメラから最初に得られる初期フレーム画像をそれぞれ「左基準画像」、「右基準画像」と呼ぶことにする。また、初期フレームに連続的に続くフレーム画像を「連写画像」と呼ぶことにする。

（第１の実施形態）
図１は本発明の第１の実施形態に係る撮像装置としてステレオカメラを例にした場合の構成を示すブロック図である。

ステレオカメラ１０は、２つのカメラ部（撮像部）１１ａ，１１ｂを備える。この２つのカメラ部１１ａ，１１ｂは、光軸を平行にして水平方向に所定の間隔を有して設置されている。ここでは、撮影者側から見て、カメラ部１１ａが左側、カメラ部１１ｂが右側に配置されているものとする。

カメラ部１１ａは、フォーカスレンズ等の光学系レンズからなる撮影レンズ１２ａと、この撮影レンズ１２ａを介して入射された光を電気信号に変換するＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）等の撮像素子１３ａ、この撮像素子１３ａの出力を信号処理してデジタルの画像データを生成する信号処理部１４ａなどからなる。カメラ部１１ｂについても同様であり、撮影レンズ１２ｂ、撮像素子１３ｂ、信号処理部１４ｂなどからなる。

なお、カメラ部１１ａとカメラ部１１ｂは同じ特性のものが使用され、シャッター操作に伴い、撮像素子１３ａ，１３ｂが同時に駆動されて撮影される。また、光学系である撮影レンズ１２ａ，１２ｂについても、モータ１５を介して光軸方向に同時に駆動制御されるものとする。

カメラ部１１ａによって得られた画像データは、バッファメモリ１６ａに一旦記憶された後、制御部１７に与えられる。同様に、カメラ部１１ｂによって得られた画像データは、バッファメモリ１６ｂに一旦記憶された後、制御部１７に与えられる。バッファメモリ１６ａ，１６ｂは画像データ（静止画）を所定枚数分記憶可能な容量を有する。

制御部１７は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含むマイクロプロセッサからなり、プログラムメモリ１７ａに記憶された各種プログラムに従ってカメラ全体の制御を行う。なお、プログラムメモリ１７ａには、本発明を実現するためのプログラムも含まれる。この制御部１７は、バッファメモリ１６ａ，１６ｂに記憶されたＮ枚の画像を順次読み出し、これらを重ね合わせて合成画像を作成する機能を備える。左バッファ１８ａと右バッファ１８ｂは、この制御部１７の合成処理に用いられる。左バッファ１８ａは左画像を基準とした合成画像を作成するときに使用される第１の画像合成用バッファであり、右バッファ１８ｂは右画像を基準とした合成画像を作成するときに使用される第２の画像合成用バッファである。

また、このステレオカメラ１０には、操作部１９、表示部２０、保存用メモリ２１が設けられている。操作部１９は、ユーザがカメラ操作を行うためのものである。この操作部１９には、撮影タイミングを指示するためのシャッターキー１９ａや、撮影モード／再生モードなどを含む各種モード設定を行うためのモードキー１９ｂなどが設けられている。なお、連続撮影モードは、モードキー１９ｂの操作によって設定されるものとする。連続撮影モードが設定されると、シャッターキー１９ａの押下に伴い、左側のカメラ部１１ａと右側のカメラ部１１ｂが同時に駆動されて、それぞれに所定枚数（Ｎ枚）の画像が連続的に得られる。

表示部２０は、例えばバックライト付きのカラー液晶パネルで構成され、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択された画像等を再生表示する。保存用メモリ２１は、画像データを所定の方式で圧縮したて保存しておくためのメモリである。この保存用メモリ２１としては、予め本体に内蔵されたフラッシュメモリ等の内部メモリの他に、記録媒体として着脱自在に装着されるメモリカードなどを含む。

次に、第１の実施形態における画像合成の処理動作について説明する。

なお、簡単のために、左画像の座標系は、画像座標を焦点距離で割り、Ｘ＝（ｘ，ｙ，１）^Ｔの形に正規化した同次座標系とする。同様に、右画像の座標系は、Ｘ´＝（ｘ´，ｙ´，１）^Ｔとする。この前提から、左カメラから右カメラヘのカメラ中心間のオフセットベクトルは、ｈ＝（０，ｈ_ｙ，０）^Ｔ、回転角に相当する正規直交行列は、Ｒ＝Ｉと表せる。

第１の実施形態では、Ｎ回連写（連続撮影）によって得られる左右Ｎ枚ずつの画像を重ね合わる際に、最初に得られる左基準画像と右基準画像との適合性を判断する。ここで言う適合性の判断とは、左基準画像と右基準画像にカメラ間の視差による誤差が少なく、１枚の画像として重ね合わせることができるか否かを判断することである。

具体的には、左基準画像と右基準画像の特徴点を抽出し、その特徴点の位置座標に基づいて座標変換モデルの非適合性評価演算を行うことにより、評価値が低い場合に左右Ｎ枚の各画像を全て重ね合わせて１枚の合成画像を作成する（図２参照）。一方、評価値が高い場合には、Ｎ枚の左画像を重ね合わせた合成画像とＮ枚の右画像を重ね合わせた合成画像をそれぞれ作成する（図３参照）。

なお、前記評価値とは、左右の画像間の位置ずれ（視差）による誤差の度合いを表す指標となるもので、評価値としての数値が低い程、位置ずれの影響が少なく、画像間の適合性が高いことを表す。逆に、評価値としての数値が高い程、位置ずれの影響が大きく、画像間の適合性が低いことを表す。

図４は第１の実施形態におけるステレオカメラ１０の画像処理（メイン処理）を示すフローチャートである。なお、このフローチャートで示される処理は、コンピュータである制御部１７が所定のプログラムを読み込むことにより実行される。他の実施形態についても同様であり、それぞれの実施形態の処理を実現するためのプログラムを制御部１７が読み込むことにより実行される。

今、ある任意の被写体に対して、ステレオカメラ１０に備えられた２つのカメラ部１１ａ，１１ｂを向けた状態で、シャッターキー１９ａを押下して連続撮影を行ったものとする（ステップＡ１１）。この連続撮影により、左右それぞれにＮ枚の連続した画像が同時に得られてバッファメモリ１６ａ，１６ｂに格納される。なお、撮影処理については本発明とは直接関係しないため、ここでは詳しい説明を省略するものとする。

この連続撮影によって左右Ｎ枚の画像が得られると、まず、制御部１７は、バッファメモリ１６ａに記憶されたＮ枚の画像のうちの最初の画像つまり左基準画像を取り込むと共に（ステップＡ１２）、バッファメモリ１６ｂに記憶されたＮ枚の画像のうちの最初の画像つまり右基準画像を取り込む（ステップＡ１３）。

次に、制御部１７は、左基準画像に対して特徴点の抽出処理を行い、当該画像の動きを検出するための特徴点を所定数抽出する（ステップＡ１４）。続いて、制御部１７は、右基準画像に対して特徴点追跡処理を行い、前記基準加増から抽出した特徴点が右基準画像上にどこに対応するのか追跡する（ステップＡ１５）。これによって、左右の画像間で特徴点を対応付ける。なお、必須の処理ではないが、特徴点の誤対応を除去するために、ＲＡＮＳＡＣなどによってアウトライアを除去し、インライアの特徴点のみで以下の処理を行う方が良い。

次に、制御部１７は、前記対応付けされた特徴点に基づいて座標変換モデルヘの非適合性を評価する（ステップＡ１６）。これは、左右の画像間の適合性を評価するための処理であり、具体的には予め定められた座標変換モデル、例えば平行移動モデルあるいは射影変換モデルなどを用いて、前記対応付けされた特徴点が画像間で厳密に座標変換できるかどうか、その良否を判定する。

このモデル非適合性評価処理には、例えば、図５あるいは図６のようなアルゴリズムが考えられる。なお、特徴点の個数をｃとする。

図５はモデル非適合性評価処理を示すフローチャートである。ここでは、特徴点の３次元座標を推定し、その３次元座標がほぼ空間平面上にあるといえるかどうかを評価する。

すなわち、ほぼ平面であれば、射影変換により両画像（つまり、左基準画像と右基準画像）をぴったりと重ねることができる。なお、射影変換以外の自由度の少ないモデルでは、判定が厳しく、また計算が簡約できる場合があるが、ここで述べた制約はそのまま必要条件であるので、その他のモデルの場合の最適な計算については省略する。

例えば、特徴点の３次元座標の推定は、すなわちＺ座標ｋの推定である。したがって、次式によって求められるｋに基づいて、３次元座標はｒ＝ｋＸとして求められる（ステップＢ１１）。

次に、平面性の評価は、特徴点の３次元座標をｒ_ｉとして、その共分散行列の見積りをＶ［ｒ_ｉ］とする（ステップＢ１２）。そして、以下の関数式を最小化するｎが、ｎ_ｍｉｎであったとすれば、その残差Ｊ［ｎ_ｍｉｎ］を評価値とする（ステップＢ１３）。

図６は他のモデル非適合性評価処理を示すフローチャートである。ここでは、既知の線形アルゴリズムにより直接的に座標変換係数を求め、その係数によって特徴点を座標変換した時の座標誤差の総和を評価値とする。

すなわち、求められた座標変換係数をＨ（ｘ）で表すと（ステップＣ１１）、以下のような式にて評価値を求める（ステップＣ１２）。なお、この場合は、射影変換以外でも同様である。

図４に戻って、前記ステップＡ１６にて評価値が算出されると、制御部１７は、その評価値を予め設定された基準値と比較し、その比較結果に応じて処理を分岐する（ステップＡ１７）。

すなわち、評価値が基準値より低い場合（つまり、左右の画像間の位置ずれが少なく、合成の適合性が高い場合）には、制御部１７は、左右の画像を重ね合わせて１つに合成するべく、その初期化処理として、図７に示すような合成画像初期化１を実行する（ステップＡ１８）。一方、評価値が基準値以上の場合（つまり、左右の画像間の位置ずれが大きく、合成の適合性が低い場合）には、制御部１７は、左右の画像を個別に合成するべく、その初期化処理として、図８に示すような合成画像初期化２を実行する（ステップＡ２０）。

なお、評価値が高い場合には、例えば「視差の影響により、合成枚数が少なくなります」といったような警告メッセージを表示部２０に表示するようにしても良い（ステップＡ１９）。これにより、ユーザは合成結果として品質の高い画像を得られないことを時間のかかる合成処理の事前に知ることができ、場合によっては処理の終了を待つことなく再撮影を試みることができる。

ここで、図７に示すように、合成画像初期化１では、まず、左バッファ１８ａを左基準画像で初期化する（ステップＤ１１）。詳しくは、バッファメモリ１６ａから取り出した左基準画像を第１の画像合成用バッファである左バッファ１８ａに格納する。続いて、右基準画像の左基準画像への座標変換係数を算出し（ステップＤ１２）、その座標変換係数に基づいて右基準画像を座標変換して左バッファ１８ａに追加する（ステップＤ１３）。このとき、左バッファ１８ａには既に左基準画像が格納されているので、その上に右基準画像が位置補正（座標変換）されて合成されることになる。なお、右バッファ１８ｂは使用しない。

一方、図８に示すように、合成画像初期化２では、左バッファ１８ａと右バッファ１８ｂを各々の基準画像で初期化する（ステップＥ１１，Ｅ１２）。詳しくは、左右で個別に合成画像を作成するために、バッファメモリ１６ａから取り出した左基準画像を第１の画像合成用バッファである左バッファ１８ａに格納すると共に、また、バッファメモリ１６ｂから取り出した右基準画像を第２の画像合成用バッファである左バッファ１８ｂに格納する。

次に、制御部１７は、バッファメモリ１６ａ，１６ｂから２フレーム以降の左右の連写画像を１枚ずつ取得し（ステップＡ２１）、前記ステップＡ１６で求めた評価値に応じて（ステップＡ２２）、その連写画像をバッファメモリ１６ａまたはバッファメモリ１６ｂに順次展開していくことで合成画像の作成を行う。

ここで、前記評価値が基準値より低い場合（つまり、左右の画像間の位置ずれが少なく、合成の適合性が高い場合）には、制御部１７は、図９の合成処理１を実行する（ステップＡ２３）。一方、評価値が基準値以上の場合（つまり、左右の画像間の位置ずれが大きく、合成の適合性が低い場合）には、制御部１７は、図１０の合成処理２の処理を実行する（ステップＡ２４）。

合成処理１では、左バッファ１８ａを用いて左右の連写画像を座標変換して左基準画像の上に重ね合わせていく。

詳しくは、図９に示すように、まず、制御部１７は左基準画像から左連写画像の特徴点を追跡して（ステップＦ１１）、その特徴点の座標位置から座標変換係数を求める（ステップＦ１２）。そして、この座標変換係数に基づいて左連写画像を座標変換して左バッファ１８ａに追加する（ステップＦ１３）。このとき、左バッファ１８ａには左基準画像と右基準画像とが合成されているので、さらにその上に右連写画像が位置補正（座標変換）されて合成されることになる。

続いて、左基準画像から右連写画像の特徴点を追跡して（ステップＦ１４）、その特徴点の座標位置から座標変換係数を求める（ステップＦ１５）。そして、この座標変換係数に基づいて右連写画像を座標変換して左バッファ１８ａに追加する（ステップＦ１６）。このとき、左バッファ１８ａには左基準画像と右基準画像、左連写画像が合成されているので、さらにその上に右連写画像が位置補正（座標変換）されて合成されることになる。なお、その都度、座標変換係数を求めて位置補正するのは、連続撮影中に被写体やカメラが動くなどして位置ずれが生じている可能性があるためである。

一方、合成処理２では、左バッファ１８ａと右バッファ１８ｂの両方を用い、左右の連写画像をそれぞれに座標変換して左基準画像と右基準画像の上に個別に重ね合わせていく。

詳しくは、図１０に示すように、まず、制御部１７は左基準画像から左連写画像の特徴点を追跡して（ステップＧ１１）、その特徴点の座標位置から座標変換係数を求める（ステップＧ１２）。そして、この座標変換係数に基づいて左連写画像を座標変換して左バッファ１８ａに追加する（ステップＧ１３）。このとき、左バッファ１８ａには既に左基準画像が格納されているので、その上に左連写画像が位置補正（座標変換）されて合成されることになる。

続いて、右基準画像から右連写画像の特徴点を追跡して（ステップＧ１４）、その特徴点の座標位置から座標変換係数を求める（ステップＧ１５）。そして、この座標変換係数に基づいて右連写画像を座標変換して右バッファ１８ｂに追加する（ステップＧ１６）。このとき、右バッファ１８ｂには既に右基準画像が格納されているので、その上に右連写画像が位置補正（座標変換）されて合成されることになる。

以後、左右のすべての連写画像について前記同様の処理が繰り返される（ステップＡ２５）。これにより、前記合成処理１では、図２に示すように、左右の基準画像を重ね合わせた画像上にＮ−１枚分の左連写画像とＮ−１枚分の右連写画像を交互に順次重ね合わせた合成画像が作成される。また、前記合成処理２では、図３に示すように、左基準画像にＮ−１枚分の左連写画像を順次重ね合わせた合成画像と、右基準画像にＮ−１枚分の右連写画像を順次重ね合わせた合成画像の２種類が作成されることになる。

このようにして合成画像が得られると、制御部１７は、その合成画像の画素データを合成枚数で除算して平均化した後、これを最終的な撮影画像として出力する（ステップＡ２６）。この撮影画像は、必要に応じて表示部２０に表示された後、所定の形式で圧縮処理されて保存用メモリ２１に保存される。

なお、評価値が高い場合（左右画像間の適合性が低い場合）には、前記合成処理２によって２種類の合成画像が作成されるが、どちらか一方の合成画像（例えば、左バッファ１８ａに作成される合成画像）を出力するか、あるいは、両方の合成画像を出力した後、ユーザに選択させることでも良い。

このように、第１の実施形態によれば、ステレオカメラが持つ２つの撮像部を利用し、その２つの撮像部から個別に得られるＮ枚の画像を重ね合わせて合成画像を作成する。これにより、単眼カメラよりも短い連写時間で同じ枚数の画像を取得して、手振れやノイズを抑えた良好な画像を作り出すことが可能となる。

また、最初に、初期フレームである基準画像同士（左基準画像と右基準画像）を比較して適合性を判定するので、単眼カメラで各フレーム画像を１枚ずつ判定する方法に比べ、計算負荷を軽減して効率的な合成処理を行うことができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、装置構成については、前記第１の実施形態（図１）と同様であるため、ここでは処理的な違いについて説明する。

前記第１の実施形態では、左右の基準画像間の適合性を判定した後、それ以降の連写画像については合成可否の判断をせずに、そのまま重ね合わるようにしていた。第２の実施形態では、この合成可否の判断を行い、合成に不適切なものは除外する。判断材料は、基準画像からのずれ（特徴点の移動距離）である。これが左右の視差（左基準画像と右基準画像の間のオフセットベクトルｈ′）の１／２を超える連写画像については、視差による影響が大きく、合成に不適切であるとして除外する。

ただし、後述するように、合成処理Ａ（すべての連写画像を左基準画像に重ね合わせる処理）と合成処理Ｂ（各連写画像のそれぞれに近い方の基準画像に重ね合わせる処理）とでは、基準画像からのずれの判断基準が異なる。すなわち、合成処理Ａでは、処理対象とする連写画像の左右の基準画像の中点からのずれ（オフセットベクトル）が｜ｈ′／２｜以内である否かを判断し、｜ｈ′／２｜以内であれば、当該連写画像を左基準画像に重ね合わせる。これ対し、合成処理Ｂでは、処理対象とする連写画像の左基準画像上の中点からのずれ（オフセットベクトル）が｜ｈ′／２｜以内ならば当該連写画像を左基準画像に重ね合わせ、その連写画像の右基準画像の中点からのずれ（オフセットベクトル）が｜ｈ′／２｜以内ならば当該連写画像を右基準画像に重ね合わせる。

なお、オフセットベクトルは、各基準画像と連写画像間で特徴点の追跡を行って、特徴点の対応から得られる各画素の動きベクトルの平均を取る。なお、ＲＡＮＳＡＣなどによってアウトライアを除去し、インライアの特徴点のみで計算した方が良い。

また、左右の基準画像の中点からの距離は、左基準画像からのオフセットベクトルａから ||ａ−ｈ′／２|| 、あるいは右基準画像からのオフセットベクトルｂから ||ｂ＋ｈ′／２|| として算出可能である。この場合オフセットベクトルは、左右のどちらの基準画像から求めても、理想的には同じになる。実際は、誤追跡を防ぐために近い画像から求めた方が良い。

また、オフセットベクトルの算出にあたって、各画素の動きベクトルの平均でなく、例えば中心付近の１点を取ったり、全体の最大値をとるなどしても良い。

図１１に具体例を示す。図中の３１が左基準画像、４１が右基準画像であり、同じ被写体（この例では、カボチャ）を左右の撮像部で同時に撮影して得られたものである。まず、それぞれの被写体部分の中心位置３２，４２を決め、その間のオフセット（位置ずれ）を求める。この場合、ｚ成分を無視するものとすると、画像平面上のオフセットベクトルはｈ′で表される。

ここで、合成処理Ａでは、左基準画像３１の中心位置３２と右基準画像４１の中心位置４２との間の中点を基準にして処理対象とする連写画像のずれを調べることになる。一方、合成処理Ｂでは、左基準画像３１の中心位置３２と右基準画像４１の中心位置４２のそれぞれを基準にして処理対象とする連写画像のずれを調べることになる。

合成処理Ａと合成処理Ｂの合成可否の判断基準を模式的に示すと、図１２のようになる。図１２（ａ）が合成処理Ａで合成可と判断される連写画像の範囲Ｅａを示している。なお、図中のＥｏは左基準画像３１の中心位置３２と右基準画像４１の中心位置４２との間の中点を示す。つまり、この中点Ｅｏを基準にして｜ｈ′／２｜の範囲内にある画像が合成に適している連写画像として扱われる。

また、図１２（ｂ）が合成処理Ｂで合成可と判断される連写画像の範囲を示しており、処理対象とする連写画像が範囲Ｅｂ１内であれば左基準画像、範囲Ｅｂ２内であれば右基準画像に重ね合わされる。つまり、左基準画像３１の中心位置３２または右基準画像４１の中心位置４２から｜ｈ′／２｜の範囲内にある画像が合成に適している連写画像として扱われ、どちらか近い基準画像に合成されることになる。

以下に、フローチャートを参照して第２の実施形態としての具体的な処理動作について説明する。

基本的な処理の流れは前記第１の実施形態における図４と同様であり、その中のステップＡ２３の合成処理１とステップＡ２４の合成処理２の部分が異なる。すなわち、第２の実施形態では、モデル非適合性評価処理によって得られる評価値が基準値よりも低い場合（つまり、左右の画像間の位置ずれが少なく、合成の適合性が高い場合）に、前記合成処理１の代替として合成処理１′が実行される。また、モデル非適合性評価処理によって得られる評価値が基準値よりも高い場合（つまり、左右の画像間の位置ずれが大きく、合成の適合性が低い場合）に、前記合成処理２の代替として合成処理２′が実行される。

図１３に示すように、合成処理１′では、左連写画像と右連写画像に対して合成処理Ａを行う（ステップＨ１１，Ｈ１２）。図１５に示すように、合成処理２′では、左連写画像と右連写画像に対して合成処理Ｂを行う（ステップＪ１１，Ｊ１２）。

図１４は合成処理Ａを示すフローチャートである。なお、図中の画像Ｐとは、処理対象とする左連写画像または右連写画像のことである。

まず、制御部１７は左基準画像から画像Ｐの特徴点を追跡し（ステップＩ１１）、左右の基準画像の中点から前記特徴点までの距離を算出する（ステップＩ１２）。この距離が所定の範囲内つまり｜ｈ′／２｜以内であれば（ステップＩ１３のＹｅｓ）、制御部１７は、当該画像Ｐを合成に適切な連写画像であると判断し、前記特徴点の座標位置から座標変換係数を求めた後（ステップＩ１４）、その座標変換係数に基づいて画像Ｐを座標変換して左バッファ１８ａに追加する（ステップＩ１５）。このとき、左バッファ１８ａには左基準画像と右基準画像とが合成されているので、さらにその上に画像Ｐが位置補正（座標変換）されて合成されることになる。

一方、左右の基準画像の中点から前記特徴点までの距離が所定の範囲を超える場合つまり｜ｈ′／２｜を超える場合には（ステップＩ１３のＮｏ）、視差による誤差が問題になるため、当該画像Ｐを合成に不適切な連写画像であると判断して合成処理を行わない。

図１６は合成処理Ｂを示すフローチャートである。なお、図中の画像Ｐとは、処理対象とする左連写画像または右連写画像のことである。

まず、制御部１７は左基準画像から画像Ｐの特徴点を追跡すると共に、右基準画像から画像Ｐの特徴点を追跡し（ステップＫ１１，Ｋ１２）、左基準画像の中点から前記特徴点までの第１の距離と、右基準画像の中点から前記特徴点までの第２の距離をそれぞれ算出する（ステップＫ１３，Ｋ１４）。

そして、左基準画像の中点から前記特徴点までの第１の距離が所定の範囲内つまり｜ｈ′／２｜以内であれば（ステップＫ１５のＹｅｓ）、制御部１７は、当該画像Ｐを左基準画像に合成するべく、前記特徴点の座標位置から座標変換係数を求めた後（ステップＫ１６）、その座標変換係数に基づいて画像Ｐを座標変換して左バッファ１８ａに追加する（ステップＫ１７）。このとき、左バッファ１８ａには左基準画像が既に格納されているため、この左基準画像上に画像Ｐが位置補正（座標変換）されて合成されることになる。

一方、前記第１の距離が所定の範囲を超える場合には、次に右基準画像の中点から前記特徴点までの第２の距離について判定を行う。その結果、前記第２の距離が所定の範囲内つまり｜ｈ′／２｜以内であれば（ステップＫ１８のＹｅｓ）、制御部１７は、当該画像Ｐを右基準画像に合成するべく、前記特徴点の座標位置から座標変換係数を求めた後（ステップＫ１９）、その座標変換係数に基づいて画像Ｐを座標変換して右バッファ１８ｂに追加する（ステップＫ２０）。このとき、右バッファ１８ｂには右基準画像が既に格納されているため、この右基準画像上に画像Ｐが位置補正（座標変換）されて合成されることになる。

前記第１の実施形態では、単純に左連写画像は左バッファ１８ａに、左連写画像は右バッファ１８ｂに追加していたが、手振れがカメラ間距離の半分よりも大きいときには、左連写画像が左基準画像よりも右基準画像の方に近いといったこともあるので、どちらか近い基準画像の方に重ね合わせていくことが合理的と言える。

一方、どちらの基準画像からも｜ｈ′／２｜を超える場合には（ステップＫ１８のＮｏ）、視差による誤差が問題になるため、当該画像Ｐを合成に不適切な連写画像であると判断して合成処理を行わない。

以後、左右のすべての連写画像について前記同様の処理が繰り返される。これにより、前記合成処理１′では、合成に適している左右の連写画像だけを用いて１つの合成画像が作成される。また、前記合成処理２′では、左右の連写画像が左基準画像に近いものと右基準画像に近いものに振り分けられて２種類の合成画像が作成されることになる。この場合、出力画像としては、どちらか一方の合成画像（例えば、左バッファ１８ａに作成される合成画像）を出力するか、あるいは、両方の合成画像を出力した後、ユーザに選択させることでも良い。また、合成枚数の多い方の合成画像を出力することでも良い。

このように、第２の実施形態によれば、基準画像に左右の連写画像を重ね合わせていく際に、合成に不適切な画像を除外するようにしたことで、より良好な画像を合成結果として得ることができる。

また、左右の基準画像のうちの位置ずれの少ない方に連写画像を振り分けて重ね合わせるようにしたことで、例えば連続撮影中に被写体やカメラが動くなどして時系列的な誤差が生じている場合に、その影響の少ない画像を合成結果として得ることができる。

なお、前記合成処理Ａにおける閾値は、変換モデルに適合しているならば、多少広げることもできる。例えば、｜ｈ′／２｜ではなく、｜ｈ′｜とすることも考えられる。つまり、画像間の距離の定数倍で閾値を設定し、合成可否の判断を行うことができる。

また、前記各実施形態では、２つのカメラ部（撮像部）が左右に設けられたステレオカメラを想定して説明したが、２つのカメラが上下等の方向に設けていても構わない。

また、３つ以上のカメラ部が一体化された多眼カメラであっても構わない。この場合、各カメラを同時駆動して得られる各画像を用いて前記同様の手法にて合成処理を行うことになる。

また、カメラ光軸が平行でなくても、また、カメラ間のオフセットは水平方向のみでなくても構わない（必要ならば座標変換できるため）。

また、合成画像を単一にする場合に、左画像用の合成バッファを使用して、左基準画像に各画像を順に重ね合わせるようにしたが、右画像用の合成バッファを使用して、右基準画像に各画像を順に重ね合わせることでも良い。

また、連続撮影後に合成処理を行うものとして説明したが、連続撮影中に合成処理を行うようにしても良い。この場合、最初に得られる左右の基準画像同士の比較により合成処理を決定し、その後に続いて得られる左右の連写画像をその決定された合成処理に従って左バッファまたは右バッファに振り分けながら重ね合わせていく。

また、本発明は、デジタルカメラの他に、例えばカメラ付きの携帯電話機など、撮影機能を備えた電子機器であれば、これらのすべてに適用可能である。

要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

さらに、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

図１は本発明の第１の実施形態に係る撮像装置としてステレオカメラを例にした場合の構成を示すブロック図である。 図２は同実施形態における評価値が低い場合での合成画像の作成方法を説明するための図である。 図３は同実施形態における評価値が高い場合での合成画像の作成方法を説明するための図である。 図４は同実施形態におけるステレオカメラの画像処理（メイン処理）を示すフローチャートである。 図５は同実施形態におけるモデル非適合性評価処理を示すフローチャートである。 図６は同実施形態における他のモデル非適合性評価処理を示すフローチャートである。 図７は同実施形態における合成画像初期化１の処理を示すフローチャートである。 図８は同実施形態における合成画像初期化２の処理を示すフローチャートである。 図９は同実施形態における合成処理１の処理を示すフローチャートである。 図１０は同実施形態における合成処理１の処理を示すフローチャートである。 図１１は本発明の第２の実施形態における画像合成方法を説明するための具体例である。 図１２は同実施形態における合成処理Ａと合成処理Ｂで合成可と判断される連写画像のずれの範囲を説明するための図である。 図１３は同実施形態における合成処理１′を示すフローチャートである。 図１４は同実施形態における合成処理１′に含まれる合成処理Ａを示すフローチャートである。 図１５は同実施形態における合成処理２′を示すフローチャートである。 図１６は同実施形態における合成処理２′に含まれる合成処理Ｂを示すフローチャートである。

符号の説明

１０…ステレオカメラ、１１ａ，１１ｂ…カメラ部、１２ａ，１２ｂ…撮影レンズ、１３ａ，１３ｂ…撮像素子、１４ａ，１４ｂ…信号処理部、１５…モータ、１６ａ，１６ｂ…バッファメモリ、１７…制御部、１８ａ…左バッファ（第１の画像合成用バッファ）、１８ｂ…右バッファ（第２の画像合成用バッファ）、１９…操作部、１９ａ…シャッターキー、１９ｂ…モードキー、２０…表示部、２１…保存用メモリ。

Claims (7)

1. 少なくとも２つの撮像部を用いて連写した複数枚の画像から合成画像を作成する撮像装置であって、
   前記各撮像部のそれぞれから最初に得られる画像を基準画像とし、これらの基準画像間の適合性を判断する適合性判断手段と、
   この適合性判断手段によって適合性が高いと判断された場合に、前記各基準画像を位置合わせして重ね合わせると共に、前記各基準画像のそれぞれに続く所定枚数分の連写画像を位置合わせしながら順次重ね合わせることで１枚の合成画像を作成する第１の合成画像作成手段と、
   前記適合性判断手段によって適合性が低いと判断された場合に、前記各基準画像を個別に用い、前記各基準画像のそれぞれに続く所定枚数分の連写画像を前記各基準画像のいずれかに位置合わせしながら順次重ね合わせることで複数枚の合成画像を作成する第２の合成画像作成手段と
   を具備したことを特徴とする撮像装置。
2. 前記適合性判断手段によって適合性が低いと判断された場合に、その旨を警告する警告手段を具備したことを特徴とする請求項１記載の撮像装置。
3. 前記第１の合成画像作成手段は、前記各基準画像のそれぞれに続く所定枚数分の連写画像の中で合成に適さないものを除外して重ね合わせることを特徴とする請求項１記載の撮像装置。
4. 前記第２の合成画像作成手段は、前記各基準画像のそれぞれに続く所定枚数分の連写画像をそれぞれに対応した基準画像に重ね合わせることを特徴とする請求項１記載の撮像装置。
5. 前記第２の合成画像作成手段は、前記各基準画像のそれぞれに続く所定枚数分の連写画像を前記各基準画像のうちの位置ずれの少ない方に振り分けて重ね合わせることを特徴とする請求項１記載の撮像装置。
6. 少なくとも２つの撮像部を用いて連写した複数枚の画像から合成画像を作成する画像処理方法であって、
   前記各撮像部のそれぞれから最初に得られる画像を基準画像とし、これらの基準画像間の適合性を判断する適合性判断ステップと、
   この適合性判断ステップによって適合性が高いと判断された場合に、前記各基準画像を位置合わせして重ね合わせると共に、前記各基準画像のそれぞれに続く所定枚数分の連写画像を位置合わせしながら順次重ね合わせることで１枚の合成画像を作成する第１の合成画像作成ステップと、
   前記適合性判断ステップによって適合性が低いと判断された場合に、前記各基準画像を個別に用い、前記各基準画像のそれぞれに続く所定枚数分の連写画像を前記各基準画像のいずれかに位置合わせしながら順次重ね合わせることで複数枚の合成画像を作成する第２の合成画像作成ステップと
   を有することを特徴とする画像処理方法。
7. 少なくとも２つの撮像部を用いて連写した複数枚の画像から合成画像を作成する撮像装置に搭載されたコンピュータによって実行されたるプログラムであって、
   前記コンピュータに、
   前記各撮像部のそれぞれから最初に得られる画像を基準画像とし、これらの基準画像間の適合性を判断する適合性判断機能と、
   この適合性判断機能によって適合性が高いと判断された場合に、前記各基準画像を位置合わせして重ね合わせると共に、前記各基準画像のそれぞれに続く所定枚数分の連写画像を位置合わせしながら順次重ね合わせることで１枚の合成画像を作成する第１の合成画像作成機能と、
   前記適合性判断機能によって適合性が低いと判断された場合に、前記各基準画像を個別に用い、前記各基準画像のそれぞれに続く所定枚数分の連写画像を前記各基準画像のいずれかに位置合わせしながら順次重ね合わせることで複数枚の合成画像を作成する第２の合成画像作成機能と
   を実現させることを特徴とするプログラム。

Images