JP5246590B2 - 撮像装置、画像生成方法及びプログラム - Google Patents

Description

本発明は、撮像装置、画像生成方法及びプログラムに関し、詳しくは、撮像された複数の画像の加算合成技術に関する。

従来、三脚にカメラを固定することなく、手持ちで夜景撮影しても手ブレを生じないようにした技術が知られている。たとえば、下記の特許文献１には、手ブレが生じない程度の露光時間で複数回撮像を繰り返し、これらの撮像により得られた画像に対して、各画像内の特徴点を抽出、そして、それらの特徴点の画像間での動き方向と動き量（つまり動きベクトル）を検出して、その動きベクトルに基づいて画像間のズレを修正してから画像を合成することにより、長い露光時間の撮像画像（合成画像）を得る技術（第１従来技術）が記載されている。

また、特徴点の抽出や動きベクトルの検出を「画像全体」に対して行うことは処理効率の点で無駄が多いことから、たとえば、下記の特許文献２では、特徴点の抽出や動きベクトルの検出を行うサーチ範囲を、画像内の所定の範囲に限定するようにした技術（以下、第２従来技術）が記載されている。

第２従来技術においては、このサーチ範囲について、「・・・・連写間隔がｔｔの時、ぶれ量角度はθ・・・・画素ピッチＰは、２０／１０００より、１／５００ｍｍとなる。・・・・レンズの焦点距離をｆ、ぶれによる画素の重なり数をｎとすると、ｎ＝ｆ・θ／Ｐとなる。ステップＳ４０７では、ｎに補正係数をかけた値をサーチ範囲として決定する。」と説明（段落〔００６４〕）されており、また、「サーチ範囲の設定を小さくしたために、実際の動き（ぶれ）がサーチ範囲を超えてしまった場合、正しい位置合わせができなくなる。」という課題が示されている（段落〔００１６〕）ことから、要するに、第２従来技術におけるサーチ範囲は、実際の動き（ブレ）をカバーできる程度の最小の範囲を意味するものと解される。

特開平９−２６１５２６号公報 特開２００６−８６７４１号公報

しかしながら、前記の第１及び第２従来技術にあっては、夜景をバックにして撮影した場合、遠景の星や街灯、照明等の点光源を特徴点として選択することがあり、選択された特徴点に基づいて合成された結果、近景にある被写体がズレて合成してしまうという問題があった。

図６は、従来技術の問題点の説明図である。今、（ａ）に示すように、ファインダを覗いたときの構図１００に、近くの被写体（ここでは人物１０１）と遠くの被写体（ここでは夜空の星１０２）が含まれている場合を想定する。

このような構図１００において、先に説明した通り、複数枚の画像を撮像する際に、手ブレ（ここでは説明の便宜上、横方向の手ブレとする。）を生じたものとする。手ブレは撮像方向の微妙な変化に起因して発生するが、この変化の影響は撮像地点に近いほど大きく、遠方になるほど小さくなる。

したがって、手ブレを生じた場合は、近くの被写体（人物１０１）が大きく動いたように見える一方、遠くの被写体（星１０２）の動きは小さいかほとんど目立たない。

さて、特徴点の抽出アルゴリズムは様々であるが、多くのアルゴリズムでは明確な明るさを持つ画素の集まりを有効な特徴点として抽出する。このため、図示の例でいえば、人物１０１に対して星１０２は明確な明るさを持つから、この星１０２が有効な特徴点として抽出されることになり、その結果、各画像の星１０２がそれぞれ重なるように合成が行われることになる。

（ｂ）に、このようにして作られた合成画像１０３を示すが、背景の星１０２が正しく重なっているのに対して、近くの人物１０１に手ブレの影響による左右方向のズレが認められる。この合成画像１０３において、注目被写体は人物１０１であるので、このようなズレを伴った注目被写体（人物１０１）を含む合成画像１０３は失敗作であるといわざるを得ない。

このことは、第２従来技術のように、実際の動き（ブレ）をカバーできる程度の最小の範囲をサーチ範囲にしたとしても同様である。単に、サーチ範囲を最小にしても、やはり、明確な明るさを持つ遠くの星１０２が特徴点として抽出されることに変わりないからである。

したがって、前記の第１及び第２従来技術は、夜景をバックにして近くの被写体を撮像する場合に、近くの被写体にズレを生じやすいという問題点がある。

そこで、本発明の目的は、例えば夜景撮影など点光源が含まれた加算合成画像を得る際に、近景にある被写体の合成ズレを回避することができる撮像装置、画像生成方法及びプログラムを提供することにある。

請求項１記載の発明は、撮像手段と、発光手段と、前記撮像手段による撮像時に前記発光手段に光を照射させるよう制御する発光制御手段と、前記発光制御手段の制御で前記発光手段から光が照射されることにより明るくなった被写体の画像の領域を、特徴点を検出するための特徴点エリアとして設定する設定手段と、前記発光手段による光の照射がない状態で前記撮像手段により撮像された複数の画像を取得する取得手段と、前記設定手段により設定された特徴点エリアに含まれる特徴点に基づいて、前記取得手段により取得された複数の画像間の画素のズレ量と方向を特定する特定手段と、この特定手段により特定されたズレ量と方向とに基づいて、前記複数の画像を合成する合成手段と、を備えたことを特徴とする撮像装置である。
請求項２記載の発明は、前記設定手段により設定された特徴点エリアの内側に存在する特徴点を抽出する第１の抽出手段を更に備え、前記特定手段は、前記第１の抽出手段により抽出された特徴点に基づいて、前記複数の画像間の画素のズレ量と方向を特定することを特徴とする請求項１に記載の撮像装置である。
請求項３記載の発明は、前記第１の抽出手段により抽出された特徴点の数が所定数以下か否かを判断する第１の判断手段と、この第１の判断手段により前記抽出された特徴点の数が所定数以下と判断すると、前記特徴点エリアの外側に存在する特徴点を抽出するように前記第１の抽出手段を制御する第１の抽出制御手段と、を更に備えたことを特徴とする請求項２に記載の撮像装置である。
請求項４記載の発明は、前記設定手段により設定された特徴点エリアから、明るさが所定の閾値以上である点を特徴点として抽出する第２の抽出手段と、この第２の抽出手段が抽出すべき点の所定の明るさの閾値を前記設定された特徴点エリア外よりも低くするよう設定する閾値設定手段と、を更に備え、前記特定手段は、前記閾値設定手段により設定された閾値以上に明るく、且つ、前記第２の抽出手段により抽出された特徴点に基づいて、前記複数の画像間の画素のズレ量と方向を特定することを特徴とする請求項１に記載の撮像装置である。
請求項５記載の発明は、前記合成手段は、前記特定された画素のズレ量と方向のうちズレ量が所定量以下である複数の画像を選択して合成することを特徴とする請求項１から４の何れかに記載の撮像装置である。
請求項６記載の発明は、撮像対象の明るさが所定値以下であるか否かを判定する第２の判断手段と、この第２の判断手段により前記撮像対象の明るさが所定値以下であると判断されたときに、前記発光手段に対し発光するよう制御する第１の発光制御手段と、を更に備えたことを特徴とする請求項１から５の何れかに記載の撮像装置である。
請求項７記載の発明は、撮像条件の異なる複数の撮像モードを選択的に設定する撮像モード設定手段と、この撮影モード設定手段により設定された撮影モードに基づいて、前記発光手段に対し発光するよう制御する第２の発光制御手段と、を更に備えたことを特徴とする請求項１から５の何れかに記載の撮像装置である。
請求項８記載の発明は、前記発光制御手段は、前記取得手段による複数の画像の取得の前に、前記発光手段に対し発光するよう制御し、前記取得手段は、前記撮像手段により連続して撮像された複数の画像を取得することを特徴とする請求項１から７の何れかに記載の撮像装置である。
請求項９記載の発明は、前記合成手段による画像の合成時に使用された画像の数を計数する計数手段と、この計数手段により計数された画像の数が所定数に到達したか否かを判断する第３の判断手段と、この第３の判断手段により計数された画像の数が所定数に到達したと判断されると、前記合成手段による画像の合成を停止させる第１の停止手段と、を更に備えたことを特徴とする請求項８に記載の撮像装置である。
請求項１０記載の発明は、前記合成手段による画像の合成時に前記光が照射された時に撮像された画像の領域が所定以上明るくなったか否かを判断する第４の判断手段と、この第４の判断手段により所定以上明るくなったと判断されると、前記合成手段による画像の合成を停止させる第２の停止手段と、を更に備えたことを特徴とする請求項８に記載の撮像装置である。
請求項１１記載の発明は、前記設定手段は、前記発光手段が発光した際に撮像された画像から二値画像を生成する二値画像生成手段を含み、この二値画像生成手段により生成された二値画像に基づいて、前記特徴点エリアを設定することを特徴とする請求項１から１０の何れかに記載の撮像装置である。
請求項１２記載の発明は、前記撮像手段による撮像が完了すると、その旨を報知する報知手段を更に備えたことを特徴とする請求項１から１１の何れかに記載の撮像装置である。
請求項１３記載の発明は、画像生成方法であって、撮像手段による撮像時に発光手段に光を照射させるよう制御する発光制御ステップと、前記発光制御ステップの制御で前記発光手段から光が照射されることにより明るくなった被写体の画像の領域を、特徴点を検出するための特徴点エリアとして設定する設定ステップと、前記発光手段による光の照射がない状態で前記撮像手段により撮像された複数の画像を取得する取得ステップと、前記設定ステップにより設定された特徴点エリアに含まれる特徴点に基づいて、前記取得ステップにより取得された複数の画像間の画素のズレ量と方向を特定する特定ステップと、この特定ステップにより特定されたズレ量と方向とに基づいて、前記複数の画像を合成する合成ステップと、を含むことを特徴とする画像生成方法である。
請求項１４記載の発明は、コンピュータに、撮像手段による撮像時に発光手段に光を照射させるよう制御する発光制御手段、前記発光制御手段の制御で前記発光手段から光が照射されることにより明るくなった被写体の画像の領域を、特徴点を検出するための特徴点エリアとして設定する設定手段、前記発光手段による光の照射がない状態で前記撮像手段により撮像された複数の画像を取得する取得手段、前記設定手段により設定された領域に含まれる特徴点に基づいて、前記取得手段により取得された複数の画像間の画素のズレ量と方向を特定する特定手段、この特定手段により特定されたズレ量と方向とに基づいて、前記複数の画像を合成する合成手段、としての機能を実現させるためのプログラムである。

本発明によれば、注目被写体に対する手ブレの影響回避を図りつつ長時間露光で撮像したような画像を得ることができる撮像装置、画像合成方法及びプログラムを提供することができる。

以下、本発明の実施形態を、デジタルカメラへの適用を例にして、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

図１は、デジタルカメラの概念構成図である。この図において、デジタルカメラ１は、撮像レンズ２ａやズームレンズ２ｂ及びフォーカスレンズ２ｃなどを含む光学系２と、この光学系２を介して取り込まれた被写体３の像を撮像するＣＣＤやＣＭＯＳ等の二次元イメージセンサを含む撮像部４と、被写体３までの距離を測定するコントラストＡＦ方式またはハイブリッドＡＦ方式などの測距部５と、撮像部４で撮像された画像信号に所要の画像処理（ガンマ補正等）を施す画像処理部６と、フォーカスレンズ２ｃを駆動するフォーカス駆動部７と、ズームレンズ２ｂを駆動するズーム駆動部８と、各種ボタン類（撮像動作と再生動作とのモード切り換えボタン９ａやメニューボタン９ｂ、カーソルキー９ｃ及びシャッタボタン９ｄなど）を含む操作部９と、放電管や高輝度ＬＥＤ等の発光体からなるストロボ発光部１０及びストロボ駆動部１１と、液晶ディスプレイ等からなる表示部１２と、この表示部１２の表示面上に併設されたタッチパネル１３と、固定式又は着脱式の大容量記憶デバイスで構成された記憶部１４と、パーソナルコンピュータ等の外部機器１５との間のデータ入出力を必要に応じて仲介する外部入出力部１６と、バッテリ等を含む電源部１７と、制御部１８とを備える。

制御部１８は、コンピュータ（以下、ＣＰＵ）１８ａ、不揮発性メモリ（以下、ＲＯＭ）１８ｂ、揮発性メモリ（以下、ＲＡＭ）１８ｃ及び書き換え可能型不揮発性メモリ（以下、ＰＲＯＭ）１８ｄを備えており、ＲＯＭ１８ｂに予め格納されている制御プログラムやＰＲＯＭ１８ｄに予め又は任意に書き込まれるデータをＲＡＭ１８ｃにロードしてＣＰＵ１８ａで実行することにより、つまり、プログラム制御方式によって、このデジタルカメラ１の撮像機能や再生機能などを統括制御するものであるが、これに限らず、その機能の全て又は一部をハードロジックで実現してもよいことはもちろんである。

図示のデジタルカメラ１は、操作部９のモード切り換えボタン９ａが「撮像」位置にあるときに静止画の撮像モードで動作し、「再生」位置にあるときに撮像済み画像の再生モードで動作する。

静止画撮像モードを選択した場合、撮像部４から周期的（毎秒数十フレーム）に出力される画像信号が、画像処理部６と制御部１８を経て表示部１２に出力され、構図確認用のスルー画像として継続的に表示される。撮像者は、スルー画像を見ながら所望の構図になるように撮像方向や撮像部４の画角（ズーム倍率）を調節し、所望の構図が得られたときにレリーズ操作（シャッタボタン９ｄの押し下げ操作）を行う。

そして、レリーズ操作に応答して、撮像部４により被写体３の露出が測定され、その露出に適合したＡＥ（自動露出）制御が実行されると共に、測距部５により被写体３までの距離が測定され、その距離に適合したＡＦ（自動焦点）が実行され、撮像部４から高画質の画像信号が取り出される。

このとき、上記のＡＥ（自動露出）制御においては、適正露出となるように、撮像レンズ２ａの絞りとシャッタ速度（光学系２と撮像部４との間に位置するフォーカルプレーンシャッタなどの機械的シャッタまたは撮像部４の電荷蓄積期間を増減制御する電子的シャッタ若しくはそれらを併用した電子／機械式シャッタの速度）を調節するが、その調節によっても適正露出が得られない場合は、システム上のユーザ設定に従い、「ストロボ発光モード」と「デジタル手ブレ抑制モード」のいずれかを選択する。ストロボ発光モードは、ストロボ発光部１０を発光させて被写体３を明るく照らし出す周知のモードのことであるが、デジタル手ブレ抑制モードは、手ブレが生じない程度の露光時間で複数回撮像を繰り返し、これらの撮像により得られた画像に対して画像のズレを修正しながら合成して長い露光時間の撮像画像（合成画像）を得るモードのことである。

本実施形態の「デジタル手ブレ抑制モード」は、一度だけストロボを使用する点を特徴とする。そして、このストロボの使用は、撮像のため、つまり、被写体３の露出不足を補うためではなく、後で詳しく説明するが、特徴点エリア（図２の符号２５または図４の符号３７参照）を決定するために使用される。

レリーズ操作に応答して撮像部４から取り出された画像信号は、画像処理部６と制御部１８を経て記憶部１４に送られ、撮像済み画像として記憶部１４に記録保存される。この撮像済み画像は、撮像部４から取り出された高画質の画像信号に相当する生画像（いわゆるＲＡＷ画像）であってもよいが、生画像はサイズが大きく、記憶部１４の記憶容量を圧迫するので、たとえば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の汎用圧縮技術を用いて圧縮した画像を撮像済み画像として記録することが望ましい。

一方、再生モードを選択した場合は、直近に撮像された画像を記憶部１４から読み出し、表示部１２に拡大表示する。あるいは、撮像済み画像の縮小画像を記憶部１４から読み出して表示部１２に一覧表示し、その一覧の中から再生を希望する画像を選択して、その元画像を記憶部１４から読み出して表示部１２に拡大表示する。

以上の撮像モードと再生モードの動作は、従来公知のものであるが、本実施形態においては、それに加えて、以下の特徴的事項を含む。

図２は、本実施形態の特徴的事項を示す概念的な構成図である。この図において、制御部１８は、プログラム制御方式によって機能的に実現されたいくつかのブロック部、具体的には、特徴点エリア決定部１９、特徴点抽出部２０、特徴点追跡部２１、及び、画像合成部２２を含む。

特徴点エリア決定部１９は、ストロボを使用して撮像された１枚目画像２３を取り込み、その１枚目画像２３に写っている近くの被写体（ここでは人物２４）の領域を注目被写体（以下、近くの被写体）の特徴点エリア２５として決定する。“ストロボを使用する”とは、図１のストロボ駆動部１１でストロボ発光部１０を駆動して被写体に補助光を照射することをいう。なお、実施形態では、この補助光を「ストロボ光」とするが、これに限定されない。きわめて短い時間だけ発光する閃光であればよく、たとえば、ＬＥＤ光などであってもよい。

特徴点エリア２５の決定原理は、次のとおりである。
ストロボを使用して撮像された１枚目画像２３には、前記の人物２４（近くの被写体）と一緒に遠くの背景（ここでは星２６）も写っている。ストロボの明るさが充分な場合、このストロボの光で照明された人物２４に対し、遠くの星２６は相対的に暗く見える。この明暗差を利用して１枚目画像２３を二値化することにより、近くの被写体（人物２４）だけを取り出すことができる。

そして、取り出された近くの被写体（人物２４）を包囲するように、特徴点エリア２５の大きさと位置を設定すれば、近くの被写体の位置を示す特徴点エリア２５を決定することができる。なお、二値化後にも残ることがある不要な輝点（孤立点や不連続な点など）は、たとえば、二値画像に対して所要の処理（モルフォロジー処理など）を施すことによって取り除くことができる。

特徴点抽出部２０は、ストロボを使用せずに撮像された２枚目画像２７を取り込み、特徴点エリア決定部１９からの特徴点エリア２５を参照しつつ、２枚目画像２７の特徴点エリア２５に含まれている特徴点（たとえば、明確な明るさを持った画素の集まり）を抽出し、または、当該特徴点を特徴点エリア２５の外側の特徴点よりも優先的に抽出する。

この特徴点の抽出については、いろいろな手法が考えられる。たとえば、特徴点エリア２５の内側だけを対象にして特徴点の抽出を行うというのも一つの方法（第一の方法）である。この第一の方法は、特徴点エリア２５の外側の画素情報を無視すると言い換えることもできるが、外側の画素情報を無視しないようにする方法も考えられる。この方法は、たとえば、特徴点として抽出する際の閾値をコントロールすることによっても実現できる（第二の方法）。特徴点エリア２５の内側に低い閾値を、また、外側に高い閾値を適用すればよい。特徴点エリア２５の内側（閾値が低い）からの特徴点の抽出度合いが高くなる。この第二の方法は、特徴点エリア２５の内側の特徴点を、その外側の特徴点よりも優先して抽出する方法であるといえる。また、全領域から特徴点を抽出し、特徴点エリア２５の内側にある特徴点のズレ量を考慮して合成を行うようにしてもよい。つまり、特徴点エリア２５の内側にある特徴点のズレ量が大きい画像は合成を行わずに削除し、特徴点のズレ量が少ない画像を合成に使用するようにしてもよい（第三の方法）。

特徴点の抽出は、これらいずれの方法（第一〜第三の方法）を用いても構わないが、実用上は、特徴点エリア２５の外側の画素情報を無視しない方法（第二の方法または第三の方法）の採用が好ましい。よって、最初の方法（第一の方法：特徴点エリア２５の内側だけを対象にして特徴点の抽出を行う方法）にあっては、仮に、特徴点エリア２５の内側からまったく特徴点が検出されなかった場合、または、画像合成に必要な数の特徴点が検出されなかった場合は、特徴点エリア２５の外側から特徴点を抽出し、その特徴点のズレ量に基づいて合成を行うようにすることが好ましい。そして、特徴点エリア２５の外側の画素情報を無視しない方法（第二の方法または第三の方法）にあっては、その具体的方法（重み付けや閾値）にかかわらず、いずれも特徴点エリア２５の内側からまったく特徴点が検出されなかった場合、または、画像合成に必要な数の特徴点が検出されなかった場合であっても、特徴点エリア２５の外側から抽出した特徴点に基づいて、画像の合成を行うことができる。

特徴点追跡部２１は、同様にストロボを使用せずに撮像された３枚目画像２８〜ｎ枚目画像２９を順次に取り込み、２枚目画像２７の特徴点に対応する特徴点を３枚目画像２８〜ｎ枚目画像２９の各々から探索し、２枚目画像２７を基準にして各画像（３枚目画像２８〜ｎ枚目画像２９）の特徴点の動き方向と動き量（つまり動きベクトル）を求めるという特徴点追跡処理を行う。

画像合成部２２は、そのようにして得られた各画像（３枚目画像２８〜ｎ枚目画像２９）の動きベクトルがほぼ零になるように、各画像（３枚目画像２８〜ｎ枚目画像２９）の水平方向の位置を修正しながら、２枚目画像２７に各画像（３枚目画像２８〜ｎ枚目画像２９）を加算合成し、最終的に２枚目画像２７からｎ枚目画像２９までの合成画像３０を生成出力する。

１枚目画像２３の具体的な露出条件について、一例を挙げて説明する。この１枚目画像２３は既述のとおり特徴点エリア２５を決定するためのものであって、観賞用途の撮像画像としては利用されない。したがって、この目的（特徴点エリア２５を決定する）を満たすことができれば、如何なる露出条件であっても構わないものの、夜間定常光のみの低露出はこの目的に合致しない。遠近双方の被写体を含む夜景画像から近くの被写体（図示の例示では人物２４）だけを取り出す必要があるからである。そのためには、遠くの被写体の明るさを充分に上回る輝度で近くの被写体を“照明”する必要があり、それには補助光（ストロボ光など）の使用が欠かせない。

また、１枚目画像２３を取得する際の絞り値やシャッタ速度は、ストロボ光で照明された近くの被写体と遠くの被写体とを充分な明度差をもって弁別できる任意のものであればよい。つまり、「近くの被写体を充分な明度で識別できる」という条件を満たす限り、基本的に如何なる絞り値やシャッタ速度であっても構わない。これは、１枚目画像２３は観賞用途に供されるものではなく、単に特徴点エリア２５を決定するためだけに用いられるからである。

なお、ストロボの発光強度は固定値（マニュアル設定値）でも構わないが、近くの被写体からの反射光量に応じて発光強度を動的に制御する、たとえば、ＴＴＬ方式であってもよい。また、当然のことながら、この１枚目画像２３を撮像する際のシャッタ速度は、ストロボの同調速度を上回ってはならない。つまり、シャッタ全開中にストロボの発光が完了するようになっていなければならない。ただし、ＦＰ（フォーカルプレーン）発光可能なストロボの場合はこの限りでない。ＦＰ発光の場合、如何なるシャッタ速度であってもストロボ発光が追随するからである。

さて、１枚目画像２３を除く他の画像（２枚目画像２７〜ｎ枚目画像２９）は、合成画像３０の元になる画像であり、最終的に鑑賞用途に供されるので、この用途に耐えうる適正な露出条件（露出アンダーや露出オーバを回避した露出条件）にしなければならない。今、撮像レンズ２ａの画角内の測光値をＥＶ４と仮定する。このＥＶ４は夜景等の相当暗い状況下の典型的な測光値である。ここで、撮像レンズ２ａの開放Ｆ値を２．８としたとき、撮像部４の感度がＩＳＯ２００（フィルム感度でいえばＡＳＡ２００相当）であれば、適正なシャッタ速度は１／８秒になる。つまり、これらの露出条件（ＩＳＯ２００、Ｆ２．８、１／８秒）で撮像すれば、たとえ、ＥＶ４といった暗い状況においても、露出アンダーによる黒つぶれや露出オーバによる白飛びがない充分鑑賞に堪えうる良好な画像を得ることができる。

しかし、シャッタ速度１／８秒は、多くの場合、手ブレを招くいわゆるスローシャッタであるから、ここでは、この１／８秒を手ブレの可能性が少ない、たとえば、１／４秒に変更して４枚の画像を撮像し、それを合成する。前記の１枚目画像２３を除く他の画像（２枚目画像２７〜ｎ枚目画像２９）は、この場合の「４枚の画像」に相当する。

したがって、この具体例に従えば、ＩＳＯ２００、Ｆ２．８、１／４秒の条件で、且つ、ストロボ未使用で、２枚目画像２７からｎ枚目画像２９を連写撮像すればよい。これにより、これらの２枚目画像２７からｎ枚目画像２９から作り出された合成画像３０は、手ブレがなく、しかも、露出アンダーや露出オーバのない充分鑑賞に堪えうる良好な画像になる。

次に、本実施形態の動作について説明する。
図３は、本実施形態の撮像動作フローを示す図である。このフローは、撮像動作モード選択中のレリーズ操作に応答して実行される。このフローでは、まず、撮像レンズ２ａの画角内の測光値、すなわち、撮像対象の明るさが所定値以下であるか否かを判定する（ステップＳ１）。この所定値は、たとえば、夜景撮像における測光値（ＥＶ４）に相当する値であり、したがって、このステップＳ１では、簡単に言えば、撮像対象の明るさが「暗い」か否かを判定していることになる。暗くない場合は、通常の撮像処理を実行し、暗い場合は、デジタル手ブレ補正モードの処理を実行する。なお、上記のＥＶ４は、あくまでも夜景撮像における測光値の一例を示しているに過ぎない。

このデジタル手ブレ補正モードの処理は、特徴点エリアの決定を行う前半部分（ステップＳ１０）と、その特徴点エリアを利用して特徴点の抽出と追跡及び画像合成並びに合成画像の記録を行う後半部分（ステップＳ２０）とに分けることができる。

以下、各部ごとに説明すると、まず、前半部分（ステップＳ１０）では、ストロボを使用して１枚目画像を撮像し（ステップＳ１１）、その１枚目画像を二値化してから（ステップＳ１２）、その二値画像をモルフォロジー処理して孤立点の除去や不連続点の穴埋め等を行い（ステップＳ１３）、次いで、モルフォロジー処理後の二値画像を用いて特徴点エリアを決定する（ステップＳ１４）。

図４は、特徴点エリアの決定概念図である。（ａ）にファインダ画像３１（表示部１２に写し出されている構図調整用のスルー画像）を示す。このファインダ画像３１には遠くの被写体（ここでは星３２）と近くの被写体（ここでは人物３３）が含まれている。この段階ではまだストロボを発光させていないため、ファインダ画像３１は全体的に暗く、遠くの星３２だけがぼんやりと明るく写っている。

（ｂ）にストロボを使用して撮像された１枚目画像３４を示す。この１枚目画像３４と、先のファインダ画像３１との違いは、近くの被写体である人物がストロボ光によって明るく照らし出されていることにある。遠くの被写体である星３２の明るさはファインダ画像３１と同一である。

（ｃ）に１枚目画像３４に適切な閾値を設定して二値化した二値画像３５を示す。二値化とは、閾値以下の暗い画素の値を「論理値０」とし、閾値を超える明るい画素の値を「論理値１」としたものであり、且つ、論理値０を黒レベル、論理値１を白レベルとしたものである。図示の二値画像３５においては、いずれも明るさをもつ星３２と人物３２が白レベル（論理値１）となり、それ以外の部分が黒レベル（論理値０）となっている。

（ｄ）にモルフォロジー処理後の二値画像３６を示す。先に説明したように、モルフォロジー処理は孤立点の除去や不連続点の穴埋め等を行うものであるので、この段階で孤立点に相当する遠くの星３２が取り除かれる。なお、星３２は人の目に輝点に見えても実際は相当暗いため、前記の二値化で取り除くことも不可能ではないが、実用性の点で、このモルフォロジー処理またはそれに類似する孤立点の除去や不連続点の穴埋め処理等は欠かせない。夜景撮像において、背景に現れるのは星に限らず、たとえば、街路灯や建物の照明、自動車のヘッドランプなど多種多様な定常光も含まれるからであり、しかも、これらの定常光は星に比べてかなり明るいからである。したがって、これらの定常光を取り除くためにもモルフォロジー処理またはそれに類似する処理は不可欠である。

上記のとおり、モルフォロジー処理後の二値画像３６には、星３２（さらには上記の定常光）が含まれておらず、ストロボ光で照明された近くの被写体（人物３３だけが残存している。

（ｅ）に、モルフォロジー処理後の二値画像３６から決定された特徴点エリア３７（図２の特徴点エリア２５と同じもの）を含むエリア画像３８を示す。図示の特徴点エリア３７は、近くの被写体である人物３３を取り囲むような縦長矩形状に決定されているが、これに限定されない。近くの被写体である人物３３を含むような適切な形状であればよく、たとえば、人物３３の外形に沿った不連続な形状であってもよいし、あるいは、人物３２の一部（例；顔の部分）を囲む任意形状であってもよい。

次に、図３の動作フローの後半部分（ステップＳ２０）について説明する。この後半部分では、まず、ストロボを使用せずに２枚目画像を撮像し（ステップＳ２１）、その２枚目画像から特徴点を抽出する（ステップＳ２２）が、この特徴点抽出は、たとえば、先の前半部分で決定された特徴点エリア３７の内側部分に対して限定的に行われるものとする（前記の第一の方法参照）。つまり、２枚目画像に写っている人物を中心とした限定された範囲（特徴点エリア３７）から特徴点の抽出を行い、当該範囲の外側に位置する、たとえば、遠くの星などは特徴点の抽出対象から除外するものとする。なお、２枚目画像から特徴点を抽出するための方法を前記の第一の方法に限定したのは、単に説明を簡素化するためである。したがって、２枚目画像から特徴点を抽出する際に前記の第二の方法や第三の方法を用いても構わないことはもちろんである。

次に、ループ変数ｉに“３”をセットし（ステップＳ２３）、ストロボ未使用でｉ枚目画像を撮像する（ステップＳ２４）。今、ｉ＝３であるから、この段階では３枚目画像を撮像する。次いで、２枚目画像の特徴点に対応する特徴点の追跡を３枚目画像に対して行い、特徴点の動きベクトルを求めた後（ステップＳ２５）、ＲＡＮＳＡＣ（後述）を実行する（ステップＳ２６）。そして、Ｈ行列評価（後述）を行い（ステップＳ２７）、評価値Ｈが所定値以下であるか否かを判定し（ステップＳ２８）、以下でなければ評価値Ｈが大きすぎる（つまり、ズレが大きすぎる）と判断してステップＳ２４に戻り、一方、以下であれば評価値Ｈが適正（つまり、ズレが大きすぎない）と判断して、動きベクトルに従い２枚目画像に対し３枚目画像の位置合わせを行って加算合成した後（ステップＳ２９）、ｉ＝ｎであるか否か、すなわち、ループ回数がｎ回に達したか否かを判定する（ステップＳ３０）。そして、ｉ＝ｎでなければ、ループ変数ｉに＋１して（ステップＳ３１）、再びステップＳ２４に戻る。

今、ｉ＝４であるから、この段階ではステップＳ２４で４枚目画像を撮像する。次いで、２枚目画像の特徴点に対応する特徴点の追跡を４枚目画像に対して行い、特徴点の動きベクトルを求めた後（ステップＳ２５）、ＲＡＮＳＡＣを実行する（ステップＳ２６）。そして、Ｈ行列評価を行い（ステップＳ２７）、評価値Ｈが所定値以下であるか否かを判定し（ステップＳ２８）、以下でなければ評価値Ｈが大きすぎる（つまり、ズレが大きすぎる）と判断してステップＳ２４に戻り、一方、以下であれば評価値Ｈが適正（つまり、ズレが大きすぎない）と判断して、動きベクトルに従い２枚目画像に対し４枚目画像の位置合わせを行って加算合成した後（ステップＳ２９）、ｉ＝ｎであるか否か、すなわち、ループ回数がｎ回に達したか否かを判定する（ステップＳ３０）。そして、ｉ＝ｎでなければ、ループ変数ｉに＋１して（ステップＳ３１）、再びステップＳ２４に戻る。

このようなループ処理を繰り返しているうちに、ｉ＝ｎとなり、ステップＳ３０の判定結果がＹＥＳとなるが、ステップＳ３０の「ｉ＝ｎ？」の判定は、ステップＳ２９における加算合成の対象画像の数がｎ枚に達したか否かを判定していることになるので、結局、ステップＳ３０の判定結果がＹＥＳとなった場合は、撮像動作（ステップＳ２４）と加算合成（ステップＳ２９）を停止するためにループを抜け、合成画像を記憶部１４に記録してからフローを終了する。

次に、本実施形態における画像合成を説明する。
図５は、本実施形態における画像合成の概念図である。この図において、２枚目画像３９、３枚目画像４０、４枚目画像４１、５枚目画像４２は、それぞれストロボ未使用で、且つ、ＩＳＯ２００、Ｆ２．８、１／４秒の条件で順番に連写撮像されたものである。最後の５枚目画像４２はｎ枚目画像に相当する。これら４枚の画像には、それぞれ遠くの被写体である星４３、４４、４５、４６と、近くの被写体である人物４７、４８、４９、５０がそれぞれ写っている。各画像の星４３、４４、４５、４６の位置は変わらないが、人物４７、４８、４９、５０の位置は各画像ごとに微妙にズレている。たとえば、２枚目画像３９の左端から人物４７までの距離をＡ、３枚目画像４０の同距離をＢ、４枚目画像４１の同距離をＣ、５枚目画像４２の同距離をＤとしたとき、Ａ＜Ｂ＜Ｃ＜Ｄの関係になっている。

これは、２枚目画像３９から４枚目画像４１までを撮像する間に、手ブレによって撮像方向が右横方向にズレたことを意味する。なお、手ブレは横方向だけでなく、縦方向やそれらの混在方向にも生じるが、ここでは説明を簡単化するために、右横方向への手ブレを想定する。

本実施形態では、これらの４枚の画像（２枚目画像３９〜５枚目画像４２）を加算合成した合成画像５１を生成し、その加算合成を行う際の基準となる特徴点を近くの被写体である人物に限定して行う。これは、特徴点エリア３７を人物に特化して設定しているからであり、遠くの被写体は特徴点として抽出されないからである。ただし、「遠くの被写体は特徴点として抽出されないからである」は前記の第一の方法を適用した場合である。前記の第二の方法や第三の方法を適用した場合は、「近くの被写体の特徴点に対して遠くの被写体の特徴点が抽出されにくくなるからである」になる。

したがって、本実施形態においては、合成画像５１に含まれる近くの被写体である人物４７〜５０をズレなく重ね合わせることができ、この近くの被写体（人物）は注目被写体であるから、その注目被写体をズレなくくっきりと再現することができ、デジタル手ブレ補正モードを使用して撮像する際の撮像の失敗を回避することができる。ちなみに、このようにして人物４７〜５０をズレなく重ね合わせた場合には、遠くの被写体である星４３〜４６にズレを生じるが、この星は単なる背景であるので、たとえズレを生じたとしても、いわゆる背景ボケのような効果を醸し出し、見た目の違和感を生じないから支障ない。

ここで、Ｈ行列評価とＲＡＮＳＡＣについて説明する。まず、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）とは、パラメータ推定の一手法であり、少数の点から求めたパラメータ推定の候補に対して、多数の点の中からその推定に適合する点の数や適合の正確性の度合い、すなわち、サポート数を算出し、サポート数の多い推定候補を最終の推定結果として採用する方法のことである。より詳細には、追跡済み特徴点の組を無作為に選択し、選択された特徴点の組に対応した座標変換式（射影変換行列Ｈ）の候補を算出し、その式に従って全ての特徴点を座標変換したときに追跡結果とどれだけ一致するかを評価（たとえば、差が一定距離内に収まる特徴（適合点）の個数＝サポート数）する。ＲＡＮＳＡＣは、こうした動作を繰り返し、最もよい評価値を得たときの座標変換式を最終結果として出力する。本実施形態では、このＲＡＮＳＡＣを用いて座標変換式（射影変換行列Ｈ）の係数（パラメータ）を求め、その結果に従って画像の合成を行っている。

本実施形態では、特徴点抽出の際に、１枚目画像で作った二値画像を参照し、近くの被写体部分から優先的に特徴点を抽出する。つまり、特徴点エリア内の特徴点を優先的に抽出するが、その際に、それぞれの特徴点に重み付けをしてもよい（前記第三の方法参照）。具体的には、特徴点エリア内から抽出された特徴点に重み付けをし、その特徴点エリア内から抽出された特徴点を信頼性の高いものとして取り扱うようにしてもよい。

そして、３枚目画像〜ｎ枚目画像に対して２枚目画像で抽出した特徴点を追跡し、ＲＡＮＳＡＣの際に、それぞれの特徴点の「重み」を加味してサポート率を求める。具体的にいえば、ランダムに選ばれたＨ行列のサポート率を求める際に、特徴点エリア内から抽出された特徴点を多くサポートしている場合はそのＨ行列の得点を高く、特徴点エリア外から抽出された特徴点ばかりを多くサポートしている場合はそのＨ行列の得点を低くして計算する。

このように、「重み」を加味して求めたＨ行列を用いて画像全体を合成すること（前記の第三の方法）によっても、被写体エリアの特徴点を重視した画像合成を行うことができる。

ちなみに、このようにして得られた合成画像の手前の被写体と奥の背景部分とを比較すると、背景部分がぼやけた画像になるが、背景部分のボケは手前の被写体部分のボケよりも感覚的に許容される場合が多いので支障がない。また、フレーム間で著しくカメラが移動した際の画像を合成しないように、ＲＡＮＳＡＣで求めたＨ行列の値を審査し、一定以上大きいＨが求まった場合は、ズレが大きいと判断して合成対象から外すといった処置を加えることで、一定以上背景がブレて不自然な画像となることを防止できる。

なお、本実施形態は以上の説明に限らず、その思想の範囲内において様々な変形例や発展例を含むことはもちろんであり、たとえば、以下のようにしてもよい。

＜赤目防止のためのストロボ発光の利用＞
実施形態では、１枚目画像を撮像する際にストロボを発光するが、このストロボ発光を「赤目防止用のストロボ発光」で兼用しても構わない。つまり、赤目防止用のストロボ発光は、撮像に先だってストロボを発光させ、その発光によって瞳孔の開きを少なくさせることで赤目を防止するが、この赤目防止用のストロボ発光と同時に１枚目画像を撮像するようにすれば、赤目防止と１枚目画像との２度のストロボ発光を１度で済ますことができ、バッテリの消耗を防止できる。

＜被写体ブレの対策＞
実施形態では、１枚目画像の撮像時にストロボを発光させた後、ストロボを使用せずに２枚目画像からｎ枚目画像を撮像するが、被写体（人物）は、最初のストロボ発光で撮像が終わったと勘違いし、動いてしまうことが充分に考えられる。この場合、たとえ、手ブレが発生しないシャッタ速度（たとえば、１／４秒）であったとしても、被写体ブレが発生しやすいので、画像の合成に支障を来すばかりか、仮に合成がうまくいったとしても画像内の被写体のブレは避けられない。そこで、撮像の完了を被写体に知らせるために、ダミーのストロボ発光を行うようにする。このダミー発光は、最後の画像（ｎ枚目画像）の撮像完了時点で行えばよい。このようにすれば、１枚目画像撮像時とｎ枚目撮像完了時の２度、ストロボが発光することとなり、被写体（人物）はその間、姿勢を保ち続けるから、被写体ブレを生じない。また、ダミー発光以外にアラーム音等により、ｎ枚目撮像完了を報知するようにしてもよい。

＜外部ストロボの利用＞
実施形態では、ストロボ発光部１０とストロボ駆動部１１で構成された内蔵型のストロボを使用しているが、これに限らず、クリップオンタイプやスレーブ同調タイプなどの外部ストロボを使用しても構わない。

＜特定撮像シーンモードの利用＞
今日、多くのデジタルカメラにおいては、様々な撮像補助機能が搭載されており、ベストショットとも称される特定撮像シーンモード機能はその一つである。このモードでは、いろいろな撮像シーンをいくつかの種類（モード）に分け、これらのモードをユーザ選択可能にすると共に、選択されたモードに適切な撮像条件を自動設定する。このモードの一つに夜景をバックにした人物撮像を行うモード（略して「夜景＆人物撮像モード」）がある。夜景＆人物撮像モードの最適撮像条件は、背景露出に合わせたシャッタ速度（スローシャッタ）と絞り開放（または開き気味）であり、且つ、ストロボ発光であるが、この「夜景＆人物撮像モード」がユーザによって選択されたときに、前記の撮像動作フロー（図３参照）を実行するようにしてもよい。

また、以上の説明では、近くの被写体にズレを生じさせないように合成画像を生成するようにしたが、逆に遠くの被写体にズレを生じさせないように合成画像を生成する撮像モードを備えるようにしてもよい。つまり、前記の第一の方法については、特徴点エリア外の特徴点を抽出するようにする、また、前記の第二の方法については、特徴点エリア外の特徴点を優先的に抽出するようにする、また、前記の第三の方法については、特徴点エリア外の特徴点に重みをつけることにより、特徴点エリア外の特徴点を多くサポートしている画像を合成するようにする。このように構成すれば、遠くの被写体にズレを生じさせないように合成画像を生成することができる。

さらに、以上の説明では、近くの被写体を注目被写体として説明したが、注目被写体は、それ以外の被写体であってもよい。たとえば、ストロボを発光させる撮像によって得られた画像について、画像処理部６において顔検出処理を行い、顔を検出した被写体の領域を特徴点エリアとして設定するようにしてもよい。

さらにまた、以上の説明では、１枚目画像を撮像する際にストロボを発光するが、ストロボを発光させる撮像は、連写撮像の途中でも、連写撮像が終わってからでもよい。この場合は、予め決められた枚数の連写撮像を行なってから、ストロボ発光された撮像における特徴点エリアを考慮して合成画像を生成するようにする。

また、以上の説明では、予め合成すべき枚数を決めておき、この枚数に達したら連続撮像動作を停止させるようにしたが、合成する毎に人物３３の明るさが所定以上になったか否かを判断し、所定以上になったら連続撮像動作を停止するようにしてもよい。このようにすると、撮影時の周囲環境の暗さに左右されることなく良好な明るさの合成画像を得ることができる。

デジタルカメラの概念構成図である。 本実施形態の特徴的事項を示す概念的な構成図である。 本実施形態の撮像動作フローを示す図である。 特徴点エリアの決定概念図である。 本実施形態における画像合成の概念図である。 従来技術の問題点の説明図である。

符号の説明

１ デジタルカメラ
４ 撮像部
１０ ストロボ発光部
１８ 制御部
１８ａ ＣＰＵ
１９ 特徴点エリア決定部
２０ 特徴点抽出部
２１ 特徴点追跡部
２２ 画像合成部
２５ 特徴点エリア
３７ 特徴点エリア

Claims (14)

1. 撮像手段と、
   発光手段と、
   前記撮像手段による撮像時に前記発光手段に光を照射させるよう制御する発光制御手段と、
   前記発光制御手段の制御で前記発光手段から光が照射されることにより明るくなった被写体の画像の領域を、特徴点を検出するための特徴点エリアとして設定する設定手段と、
   前記発光手段による光の照射がない状態で前記撮像手段により撮像された複数の画像を取得する取得手段と、
   前記設定手段により設定された特徴点エリアに含まれる特徴点に基づいて、前記取得手段により取得された複数の画像間の画素のズレ量と方向を特定する特定手段と、
   この特定手段により特定されたズレ量と方向とに基づいて、前記複数の画像を合成する合成手段と、
   を備えたことを特徴とする撮像装置。
2. 前記設定手段により設定された特徴点エリアの内側に存在する特徴点を抽出する第１の抽出手段を更に備え、
   前記特定手段は、前記第１の抽出手段により抽出された特徴点に基づいて、前記複数の画像間の画素のズレ量と方向を特定することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の抽出手段により抽出された特徴点の数が所定数以下か否かを判断する第１の判断手段と、
   この第１の判断手段により前記抽出された特徴点の数が所定数以下と判断すると、前記特徴点エリアの外側に存在する特徴点を抽出するように前記第１の抽出手段を制御する第１の抽出制御手段と、
   を更に備えたことを特徴とする請求項２に記載の撮像装置。
4. 前記設定手段により設定された特徴点エリアから、明るさが所定の閾値以上である点を特徴点として抽出する第２の抽出手段と、
   この第２の抽出手段が抽出すべき点の所定の明るさの閾値を前記設定された特徴点エリア外よりも低くするよう設定する閾値設定手段と、を更に備え、
   前記特定手段は、前記閾値設定手段により設定された閾値以上に明るく、且つ、前記第２の抽出手段により抽出された特徴点に基づいて、前記複数の画像間の画素のズレ量と方向を特定することを特徴とする請求項１に記載の撮像装置。
5. 前記合成手段は、前記特定された画素のズレ量と方向のうちズレ量が所定量以下である複数の画像を選択して合成することを特徴とする請求項１から４の何れかに記載の撮像装置。
6. 撮像対象の明るさが所定値以下であるか否かを判定する第２の判断手段と、
   この第２の判断手段により前記撮像対象の明るさが所定値以下であると判断されたときに、前記発光手段に対し発光するよう制御する第１の発光制御手段と、
   を更に備えたことを特徴とする請求項１から５の何れかに記載の撮像装置。
7. 撮像条件の異なる複数の撮像モードを選択的に設定する撮像モード設定手段と、
   この撮影モード設定手段により設定された撮影モードに基づいて、前記発光手段に対し発光するよう制御する第２の発光制御手段と、
   を更に備えたことを特徴とする請求項１から５の何れかに記載の撮像装置。
8. 前記発光制御手段は、前記取得手段による複数の画像の取得の前に、前記発光手段に対し発光するよう制御し、
   前記取得手段は、前記撮像手段により連続して撮像された複数の画像を取得することを特徴とする請求項１から７の何れかに記載の撮像装置。
9. 前記合成手段による画像の合成時に使用された画像の数を計数する計数手段と、
   この計数手段により計数された画像の数が所定数に到達したか否かを判断する第３の判断手段と、
   この第３の判断手段により計数された画像の数が所定数に到達したと判断されると、前記合成手段による画像の合成を停止させる第１の停止手段と、
   を更に備えたことを特徴とする請求項８に記載の撮像装置。
10. 前記合成手段による画像の合成時に前記光が照射された時に撮像された画像の領域が所定以上明るくなったか否かを判断する第４の判断手段と、
    この第４の判断手段により所定以上明るくなったと判断されると、前記合成手段による画像の合成を停止させる第２の停止手段と、
    を更に備えたことを特徴とする請求項８に記載の撮像装置。
11. 前記設定手段は、前記発光手段が発光した際に撮像された画像から二値画像を生成する二値画像生成手段を含み、
    この二値画像生成手段により生成された二値画像に基づいて、前記特徴点エリアを設定することを特徴とする請求項１から１０の何れかに記載の撮像装置。
12. 前記撮像手段による撮像が完了すると、その旨を報知する報知手段を更に備えたことを特徴とする請求項１から１１の何れかに記載の撮像装置。
13. 画像生成方法であって、
    撮像手段による撮像時に発光手段に光を照射させるよう制御する発光制御ステップと、
    前記発光制御ステップの制御で前記発光手段から光が照射されることにより明るくなった被写体の画像の領域を、特徴点を検出するための特徴点エリアとして設定する設定ステップと、
    前記発光手段による光の照射がない状態で前記撮像手段により撮像された複数の画像を取得する取得ステップと、
    前記設定ステップにより設定された特徴点エリアに含まれる特徴点に基づいて、前記取得ステップにより取得された複数の画像間の画素のズレ量と方向を特定する特定ステップと、
    この特定ステップにより特定されたズレ量と方向とに基づいて、前記複数の画像を合成する合成ステップと、
    を含むことを特徴とする画像生成方法。
14. コンピュータに、
    撮像手段による撮像時に発光手段に光を照射させるよう制御する発光制御手段、
    前記発光制御手段の制御で前記発光手段から光が照射されることにより明るくなった被写体の画像の領域を、特徴点を検出するための特徴点エリアとして設定する設定手段、
    前記発光手段による光の照射がない状態で前記撮像手段により撮像された複数の画像を取得する取得手段、
    前記設定手段により設定された領域に含まれる特徴点に基づいて、前記取得手段により取得された複数の画像間の画素のズレ量と方向を特定する特定手段、
    この特定手段により特定されたズレ量と方向とに基づいて、前記複数の画像を合成する合成手段、
    としての機能を実現させるためのプログラム。
    

Images