JP4952574B2 - 画像合成装置及びプログラム - Google Patents
画像合成装置及びプログラム Download PDFInfo
- Publication number
- JP4952574B2 JP4952574B2 JP2007340377A JP2007340377A JP4952574B2 JP 4952574 B2 JP4952574 B2 JP 4952574B2 JP 2007340377 A JP2007340377 A JP 2007340377A JP 2007340377 A JP2007340377 A JP 2007340377A JP 4952574 B2 JP4952574 B2 JP 4952574B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- brightness
- function
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
本発明は、複数の画像を合成する画像合成装置及びプログラムに関する。
近年、連続して撮影された複数の画像に対して特徴点の抽出及び追跡を行い、その移動量から射影変換行列Ｈを求め、この射影変換行列Ｈを用いて位置合せを行って重ね合わせることで１枚の合成画像を作り出す方法が開発されている（例えば、特許文献１参照）。
具体的には、先ず、連続して撮影された複数の画像のうち、合成基準画像から特徴点を抽出し、それらを他の画像で追跡する。ここで、特徴点の追跡は、連続画像を所定回数サブサンプリングして低解像度の階層を作った後（ピラミッド化）、低解像度の画像から順番に反復法を用いて行う。
そして、特徴点の追跡が終了すると、ＲＡＮＳＡＣを行う。画像間の複数の特徴点の対応の中からランダムに４組選択して、射影変換に用いるＨ行列を計算する。計算されたＨ行列について、サポートする特徴点の個数をそのＨ行列の得点として、一定以上の得点を持つＨ行列が求まるまで上記の作業を繰り返す。
そして、ＲＡＮＳＡＣにより最終的に求まったＨ行列を用いて射影変換を行い、２枚の画像を合成する。これらの工程を所定枚数分繰り返して全ての画像を加算合成する。
これにより、通常の１枚撮影画像に比べてランダムに生じるノイズが平均化されたＳ／Ｎの良い画像を作り出すことができる。
特開２００５−９４６１４号公報
そして、特徴点の追跡が終了すると、ＲＡＮＳＡＣを行う。画像間の複数の特徴点の対応の中からランダムに４組選択して、射影変換に用いるＨ行列を計算する。計算されたＨ行列について、サポートする特徴点の個数をそのＨ行列の得点として、一定以上の得点を持つＨ行列が求まるまで上記の作業を繰り返す。
そして、ＲＡＮＳＡＣにより最終的に求まったＨ行列を用いて射影変換を行い、２枚の画像を合成する。これらの工程を所定枚数分繰り返して全ての画像を加算合成する。
これにより、通常の１枚撮影画像に比べてランダムに生じるノイズが平均化されたＳ／Ｎの良い画像を作り出すことができる。
しかしながら、上記の画像合成にあっては、例えば、撮影している環境の明るさ、手ぶれ量、撮影画像の特徴量、被写体等の撮影状況を考慮せずに、一意的に設定した条件で行っていた。このため、撮影状況に適した画像合成処理を行えず、処理時間を浪費したり、合成精度や画像品質が落ちてしまうといった問題があった。
そこで、本発明の課題は、処理時間の浪費の防止を図るとともに、合成精度や画像品質の低下を抑制することができる画像合成装置及びプログラムを提供することである。
請求項１に記載の発明の画像合成装置は、
複数の画像のうち、何れか一の基準画像と対象画像を合成する画像合成処理を行う画像合成手段と、
前記画像の撮影の際の明るさを予め区分された何れかの明るさとして検出する検出手段と、
前記検出手段による検出結果に基づいて、前記画像合成手段による前記画像合成処理の内容を設定する合成処理設定手段と、
を備え、
前記画像合成手段は、
前記基準画像内から特徴点を抽出する特徴点抽出手段を含み、
前記合成処理設定手段は、前記検出手段による検出結果として暗いと区分された方のあかるさで検出した場合、前記特徴点抽出手段による前記特徴点の抽出数をより多い数とし、
前記画像合成手段は、
前記複数の画像の解像度を段階的に低減させて低解像度画像を作成する画像作成手段を含み、
前記合成処理設定手段は、前記検出手段による検出結果として暗いと区分された方のあかるさで検出した場合、前記画像作成手段による前記解像度の低減に係る段階数をより多い数とする
ことを特徴としている。
複数の画像のうち、何れか一の基準画像と対象画像を合成する画像合成処理を行う画像合成手段と、
前記画像の撮影の際の明るさを予め区分された何れかの明るさとして検出する検出手段と、
前記検出手段による検出結果に基づいて、前記画像合成手段による前記画像合成処理の内容を設定する合成処理設定手段と、
を備え、
前記画像合成手段は、
前記基準画像内から特徴点を抽出する特徴点抽出手段を含み、
前記合成処理設定手段は、前記検出手段による検出結果として暗いと区分された方のあかるさで検出した場合、前記特徴点抽出手段による前記特徴点の抽出数をより多い数とし、
前記画像合成手段は、
前記複数の画像の解像度を段階的に低減させて低解像度画像を作成する画像作成手段を含み、
前記合成処理設定手段は、前記検出手段による検出結果として暗いと区分された方のあかるさで検出した場合、前記画像作成手段による前記解像度の低減に係る段階数をより多い数とする
ことを特徴としている。
請求項２に記載の発明のプログラムは、
コンピュータに、
複数の画像のうち、何れか一の基準画像と対象画像を合成する画像合成処理を行う合成機能と、
前記画像の撮影の際の明るさを予め区分された何れかの明るさとして検出する検出機能と、
前記検出機能による検出結果に基づいて、前記画像合成処理の内容を設定する設定機能と、
を実現させるためのプログラムであって、
前記合成機能は、
前記基準画像内から特徴点を抽出する抽出機能を含み、
前記設定機能は、前記検出機能による検出結果として暗いと区分された方の明るさで検出した場合、前記抽出機能による前記特徴点の抽出数をより多い数とし、
前記合成機能は、
前記複数の画像の解像度を段階的に低減させて低解像度画像を作成する作成機能を含み、
前記設定機能は、前記検出機能による検出結果として暗いと区分された方の明るさで検出した場合、前記作成機能による前記解像度の低減に係る段階数をより多い数とする
ことを特徴としている。
コンピュータに、
複数の画像のうち、何れか一の基準画像と対象画像を合成する画像合成処理を行う合成機能と、
前記画像の撮影の際の明るさを予め区分された何れかの明るさとして検出する検出機能と、
前記検出機能による検出結果に基づいて、前記画像合成処理の内容を設定する設定機能と、
を実現させるためのプログラムであって、
前記合成機能は、
前記基準画像内から特徴点を抽出する抽出機能を含み、
前記設定機能は、前記検出機能による検出結果として暗いと区分された方の明るさで検出した場合、前記抽出機能による前記特徴点の抽出数をより多い数とし、
前記合成機能は、
前記複数の画像の解像度を段階的に低減させて低解像度画像を作成する作成機能を含み、
前記設定機能は、前記検出機能による検出結果として暗いと区分された方の明るさで検出した場合、前記作成機能による前記解像度の低減に係る段階数をより多い数とする
ことを特徴としている。
本発明によれば、撮影状況に応じて無駄な処理を行わない、即ち、撮影状況に応じて必要な処理を行うことにより処理時間の浪費を防止して処理速度の向上を図ることができるとともに、合成精度や画像品質の低下を抑制することができる。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
［実施形態１］
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。また、図２は、撮像装置１００の映像信号処理部１３を模式的に示した図である。
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。また、図２は、撮像装置１００の映像信号処理部１３を模式的に示した図である。
実施形態１の撮像装置１００は、画像撮影時の明るさに応じて、基準画像と対象画像を合成する画像合成処理の内容や合成される複数の被合成画像に対する画像処理の内容を設定する。
具体的には、撮像装置１００は、図１に示すように、撮像部１と、撮像補助部２と、表示部３、操作部４と、記録媒体５と、ＵＳＢ端子６と、制御部７等を備えて構成されている。
具体的には、撮像装置１００は、図１に示すように、撮像部１と、撮像補助部２と、表示部３、操作部４と、記録媒体５と、ＵＳＢ端子６と、制御部７等を備えて構成されている。
撮像部１は、撮像手段として、被写体を連続して撮像して複数の画像フレームを生成する。具体的には、撮像部１は、撮像レンズ群１１と、電子撮像部１２と、映像信号処理部１３と、画像メモリ１４と、撮影制御部１５等を備えている。
撮像レンズ群１１は、複数の撮像レンズから構成されている。
電子撮像部１２は、撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の撮像素子から構成されている。
電子撮像部１２は、撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の撮像素子から構成されている。
映像信号処理部１３は、電子撮像部１２から出力される画像信号に対して所定の画像合成処理や画像処理を施すものである。具体的には、映像信号処理部１３は、図２に示すように、合成される複数の画像に係る画像信号のピラミッド階層化、所定画像からの特徴点の抽出、抽出された特徴点の追跡（トラック）等を行うオプティカルフロー検出部１３１と、特徴点どうしが対応付けられた特徴点対応表からランダムに所定数の特徴点を選択して、これらの特徴点を用いた射影変換（Ｈ計算）及び他の特徴点を用いたサポート計算等を行うＲＡＮＳＡＣ部１３２、画素どうしが対応する位置を計算して画像信号を加算（合成）する画像合成部１３３を備えている。
また、映像信号処理部１３は、画像処理手段として、複数の画像に対して固定ノイズの消去処理や色の再現処理等の所定の画像処理を行う。
固定ノイズの消去は、予め撮像装置ごとに固定ノイズ値を測定しておき、連続撮影した画像からその値を差分することにより行う。
色の再現処理は、色彩分布を引き伸ばしたり、コントラストがでるような補正を行う。
固定ノイズの消去は、予め撮像装置ごとに固定ノイズ値を測定しておき、連続撮影した画像からその値を差分することにより行う。
色の再現処理は、色彩分布を引き伸ばしたり、コントラストがでるような補正を行う。
画像メモリ１４は、画像処理後の画像信号を一時的に記憶する。
撮影制御部１５は、ＣＰＵ７１の制御下にて、電子撮像部１２及び映像信号処理部１３を制御する。具体的には、撮影制御部１５は、電子撮像部１２に所定の露出時間で被写体を撮像させ、当該電子撮像部１２の撮像領域から画像信号を所定のフレームレートで読み出す処理の実行を制御する。
撮影制御部１５は、ＣＰＵ７１の制御下にて、電子撮像部１２及び映像信号処理部１３を制御する。具体的には、撮影制御部１５は、電子撮像部１２に所定の露出時間で被写体を撮像させ、当該電子撮像部１２の撮像領域から画像信号を所定のフレームレートで読み出す処理の実行を制御する。
撮像補助部２は、撮像部１による被写体の撮像の際に駆動するものであり、フォーカス駆動部２１と、ズーム駆動部２２等を備えている。
フォーカス駆動部２１は、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させる。
ズーム駆動部２２は、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させる。
なお、フォーカス駆動部２１及びズーム駆動部２２は、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動する。
ズーム駆動部２２は、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させる。
なお、フォーカス駆動部２１及びズーム駆動部２２は、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動する。
表示部３は、撮像部１により撮像された画像を表示するものである。具体的には、表示部３は、表示制御部３１と、画像表示部３２等を備えている。
表示制御部３１は、ＣＰＵ７１から適宜出力される表示データを一時的に保存するビデオメモリ（図示略）を備えている。
画像表示部３２は、表示制御部３１からの出力信号に基づいて所定の画像を表示する液晶モニタ等を備えている。
表示制御部３１は、ＣＰＵ７１から適宜出力される表示データを一時的に保存するビデオメモリ（図示略）を備えている。
画像表示部３２は、表示制御部３１からの出力信号に基づいて所定の画像を表示する液晶モニタ等を備えている。
操作部４は、当該撮像装置１００の所定操作を行うためのものであり、操作入力部４１と、入力回路４２等を備えている。
操作入力部４１は、撮像部１による被写体の撮像を指示するシャッターボタン４１ａを備えている。シャッターボタン４１ａは、被写体の連続撮影処理にて、ユーザにより押圧操作されている間、映像信号処理部１３による画像合成処理を実行させる指示をＣＰＵ７１に出力する。
入力回路４２は、操作入力部４１から出力され入力された操作信号をＣＰＵ７１に入力するためのものである。
記録媒体５は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成され、撮像部１により撮像された画像の画像データを複数記憶する。
ＵＳＢ端子６は、外部機器との接続用の端子であり、ＵＳＢケーブル（図示略）等を介してデータの送受信を行う。
制御部７は、撮像装置１００の各部を制御するものであり、例えば、ＣＰＵ７１と、プログラムメモリ７２と、データメモリ７３等を備えている。
ＣＰＵ７１は、プログラムメモリ７２に記憶された撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。
データメモリ７３は、例えば、フラッシュメモリ等により構成され、ＣＰＵ７１によって処理されるデータ等を一時記憶する。
プログラムメモリ７２は、ＣＰＵ７１の動作に必要な各種プログラムやデータを記憶するものである。具体的には、プログラムメモリ７２は、画像合成プログラム７２ａ、明るさ検出プログラム７２ｂ、第１の画像処理設定プログラム７２ｃ、第１の合成処理設定プログラム７２ｄ等を記憶している。
画像合成プログラム７２ａは、ＣＰＵ７１の制御下にて、映像信号処理部１３に、電子撮像部１により連続的に撮像された複数の画像のうち、何れか一の基準画像（例えば１枚目の画像）内から抽出した特徴点を対象画像（例えば２枚目以降の画像）内で追跡し、当該追跡結果に基づいて基準画像と対象画像を合成する画像合成処理に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵ７１が画像合成プログラム７２ａを実行することで、映像信号処理部１３のオプティカルフロー検出部１３１は、低解像度画像作成手段として、入力された複数の画像信号に基づいて、例えば画像の縦横の画素を順次１／２倍ずつすることで解像度を段階的に低減させた低解像度画像を作成する（ピラミッド化）。また、オプティカルフロー検出部１３１は、特徴点抽出手段として、複数の画像のうち、何れか一の画像を基準画像として、基準画像から所定数の特徴点（特徴の高いブロック領域）を選択して抽出する。そして、オプティカルフロー検出部１３１は、対象画像に対する特徴点追跡手段として、特徴点を最も解像度の低い画像から解像度が高い方に順次追跡する。
そして、ＲＡＮＳＡＣ部１３２は、基準画像と対象画像における複数の特徴点の対応の中からランダムに４点選択して仮の射影変換行列Ｈを計算し、そのサポート数で求めた射影変換行列Ｈを評価し、その作業を繰り返してより信頼性の高い射影変換行列Ｈを算出する。
その後、画像合成部１３３は、射影変換行列Ｈを用いて対象画像の画素を基準画像の座標系に射影変換して、当該対象画像と基準画像を合成する。
なお、画像合成処理にあっては、基準画像の画素を対象画像の座標系に射影変換するようにしても良い。
ここで、ＣＰＵ７１と映像信号処理部１３は、基準画像と対象画像を合成する画像合成処理を行う画像合成手段として機能する。
具体的には、ＣＰＵ７１が画像合成プログラム７２ａを実行することで、映像信号処理部１３のオプティカルフロー検出部１３１は、低解像度画像作成手段として、入力された複数の画像信号に基づいて、例えば画像の縦横の画素を順次１／２倍ずつすることで解像度を段階的に低減させた低解像度画像を作成する（ピラミッド化）。また、オプティカルフロー検出部１３１は、特徴点抽出手段として、複数の画像のうち、何れか一の画像を基準画像として、基準画像から所定数の特徴点（特徴の高いブロック領域）を選択して抽出する。そして、オプティカルフロー検出部１３１は、対象画像に対する特徴点追跡手段として、特徴点を最も解像度の低い画像から解像度が高い方に順次追跡する。
そして、ＲＡＮＳＡＣ部１３２は、基準画像と対象画像における複数の特徴点の対応の中からランダムに４点選択して仮の射影変換行列Ｈを計算し、そのサポート数で求めた射影変換行列Ｈを評価し、その作業を繰り返してより信頼性の高い射影変換行列Ｈを算出する。
その後、画像合成部１３３は、射影変換行列Ｈを用いて対象画像の画素を基準画像の座標系に射影変換して、当該対象画像と基準画像を合成する。
なお、画像合成処理にあっては、基準画像の画素を対象画像の座標系に射影変換するようにしても良い。
ここで、ＣＰＵ７１と映像信号処理部１３は、基準画像と対象画像を合成する画像合成処理を行う画像合成手段として機能する。
明るさ検出プログラム７２ｂは、ＣＰＵ７１の制御下にて、映像信号処理部１３に、電子撮像部１により撮像された画像の画像信号に基づいて所定領域の画素の輝度を測定させて当該画像の撮影の際の明るさ（撮影状況関連情報）を検出する明るさ検出処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵ７１が明るさ検出プログラム７２ｂを実行することで、映像信号処理部１３は、被写体のプレビュー画像（スルー画像）の画像信号に基づいて所定領域の画素の輝度を測定して当該画像の明るさを検出する。具体的には、例えば、「十分に明るい環境」、「やや暗い環境」、「暗い環境」、「暗闇な環境」の４パターンの明るさに区分して検出する。
「十分に明るい環境」とは、例えば、日中の屋外や明るい照明下で撮影するような環境に相当し、「やや暗い環境」とは、例えば、夕方やくもりの日、照明の弱い室内で撮影するような環境に相当し、「暗い環境」とは、例えば、夜間や照明がかなり暗い室内などフラッシュを使って撮影するような環境に相当し、「暗闇な環境」とは、夜の森の中や照明が全くない室内など光源が存在しないような環境に相当する。
ここで、ＣＰＵ７１と映像信号処理部１３は、画像の撮影の際の明るさを検出する明るさ検出手段として機能する。また、ＣＰＵ７１と映像信号処理部１３は、画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段として機能する。
即ち、ＣＰＵ７１が明るさ検出プログラム７２ｂを実行することで、映像信号処理部１３は、被写体のプレビュー画像（スルー画像）の画像信号に基づいて所定領域の画素の輝度を測定して当該画像の明るさを検出する。具体的には、例えば、「十分に明るい環境」、「やや暗い環境」、「暗い環境」、「暗闇な環境」の４パターンの明るさに区分して検出する。
「十分に明るい環境」とは、例えば、日中の屋外や明るい照明下で撮影するような環境に相当し、「やや暗い環境」とは、例えば、夕方やくもりの日、照明の弱い室内で撮影するような環境に相当し、「暗い環境」とは、例えば、夜間や照明がかなり暗い室内などフラッシュを使って撮影するような環境に相当し、「暗闇な環境」とは、夜の森の中や照明が全くない室内など光源が存在しないような環境に相当する。
ここで、ＣＰＵ７１と映像信号処理部１３は、画像の撮影の際の明るさを検出する明るさ検出手段として機能する。また、ＣＰＵ７１と映像信号処理部１３は、画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段として機能する。
第１の画像処理設定プログラム７２ｃは、ＣＰＵ７１を明るさ画像処理設定手段として機能させるものである。即ち、第１の画像処理設定プログラム７２ｃは、明るさ検出処理による明るさの検出結果に基づいて、第１の画像処理内容設定テーブルＴ１（図３参照）に従って、映像信号処理部１３による基準画像や対象画像（被合成画像）に対する画像処理の内容を設定する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、明るさ検出処理にて「やや暗い環境」であると検出されると、ＣＰＵ７１が第１の画像処理設定プログラム７２ｃを実行することで、映像信号処理部１３に固定ノイズの消去及び色の再現処理を実行させないように設定する。また、明るさ検出処理にて「暗い環境」であると検出されると、ＣＰＵ７１が第１の画像処理設定プログラム７２ｃを実行することで、映像信号処理部１３に固定ノイズの消去及び色の再現処理を行わせるように設定する。即ち、撮影環境が著しく暗い場合、連続撮影した画像１枚毎の色彩分布が狭くなったり、変化してしまうという問題が生じる。色彩成分が狂ってしまった画像は、単純に加算合成しても、色やコントラストが再現できないため、色の再現処理を行う必要があるためである。さらに、「暗い環境」では、画像成分が小さいために、カメラ固有で特定の画素に現れる固定ノイズの影響が無視できなくなる。つまり、画像信号が固定ノイズと比較しても小さな値となり、このような環境での画像合成においては、固定ノイズを無視することはできないため、固定ノイズの除去を行う必要があるためである。
具体的には、明るさ検出処理にて「やや暗い環境」であると検出されると、ＣＰＵ７１が第１の画像処理設定プログラム７２ｃを実行することで、映像信号処理部１３に固定ノイズの消去及び色の再現処理を実行させないように設定する。また、明るさ検出処理にて「暗い環境」であると検出されると、ＣＰＵ７１が第１の画像処理設定プログラム７２ｃを実行することで、映像信号処理部１３に固定ノイズの消去及び色の再現処理を行わせるように設定する。即ち、撮影環境が著しく暗い場合、連続撮影した画像１枚毎の色彩分布が狭くなったり、変化してしまうという問題が生じる。色彩成分が狂ってしまった画像は、単純に加算合成しても、色やコントラストが再現できないため、色の再現処理を行う必要があるためである。さらに、「暗い環境」では、画像成分が小さいために、カメラ固有で特定の画素に現れる固定ノイズの影響が無視できなくなる。つまり、画像信号が固定ノイズと比較しても小さな値となり、このような環境での画像合成においては、固定ノイズを無視することはできないため、固定ノイズの除去を行う必要があるためである。
第１の合成処理設定プログラム７２ｄは、ＣＰＵ７１を明るさ合成処理設定手段として機能させるものである。即ち、第１の合成処理設定プログラム７２ｄは、明るさ検出処理による明るさの検出結果に基づいて、第１の合成処理内容設定テーブルＴ２（図４参照）に従って、映像信号処理部１３による画像合成処理の内容を設定する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、明るさ検出処理にて「やや暗い環境」であると検出されると、ＣＰＵ７１が第１の合成処理設定プログラム７２ｄを実行することで、映像信号処理部１３のオプティカルフロー検出部１３１による特徴点の抽出数及びピラミッドの階層数を通常数とするように設定する。また、明るさ検出処理にて「暗い環境」であると検出されると、ＣＰＵ７１が第１の合成処理設定プログラム７２ｄを実行することで、オプティカルフロー検出部１３１による特徴点の抽出数及びピラミッドの階層数を通常よりも多い数に変更するように設定する。即ち、撮影環境が著しく暗い場合、各画素の画像信号か著しく小さいため、特徴点がノイズに埋もれてしまうことから、特徴点の抽出・トラッキングは非常に困難になる。そこで、「暗い環境」では、明るい環境での画像合成よりも多くの特徴点を抽出したり、トラッキングを多くしたりして精度を高める必要があるためである。
具体的には、明るさ検出処理にて「やや暗い環境」であると検出されると、ＣＰＵ７１が第１の合成処理設定プログラム７２ｄを実行することで、映像信号処理部１３のオプティカルフロー検出部１３１による特徴点の抽出数及びピラミッドの階層数を通常数とするように設定する。また、明るさ検出処理にて「暗い環境」であると検出されると、ＣＰＵ７１が第１の合成処理設定プログラム７２ｄを実行することで、オプティカルフロー検出部１３１による特徴点の抽出数及びピラミッドの階層数を通常よりも多い数に変更するように設定する。即ち、撮影環境が著しく暗い場合、各画素の画像信号か著しく小さいため、特徴点がノイズに埋もれてしまうことから、特徴点の抽出・トラッキングは非常に困難になる。そこで、「暗い環境」では、明るい環境での画像合成よりも多くの特徴点を抽出したり、トラッキングを多くしたりして精度を高める必要があるためである。
また、プログラムメモリ７２には、第１の画像処理内容設定テーブルＴ１（図３参照）と、第１の合成処理内容設定テーブルＴ２（図４参照）が記憶されている。
第１の画像処理内容設定テーブルＴ１は、図３に示すように、画像処理の処理内容（「固定ノイズの消去処理」、「色の再現処理」）と明るさ（「十分に明るい環境」、「やや暗い環境」、「暗い環境」、「暗闇な環境」）とを対応付けて記憶している。具体的には、処理内容として「固定ノイズの消去処理」は、「やや暗い環境」では「行わない」が対応付けられ、「暗い環境」では「行う」が対応付けられている。また、処理内容として「色の再現処理」は、「やや暗い環境」では「行わない」が対応付けられ、「暗い環境」では「行う」が対応付けられている。
第１の合成処理内容設定テーブルＴ２は、図４に示すように、画像合成処理の処理内容（「特徴点の抽出処理」、「ピラミッドの階層化処理」）と明るさ（「十分に明るい環境」、「やや暗い環境」、「暗い環境」、「暗闇な環境」）とを対応付けて記憶している。具体的には、処理内容として「特徴点の抽出処理」は、「やや暗い環境」では「通常数」が対応付けられ、「暗い環境」では「通常よりも多い」が対応付けられている。また、処理内容として「ピラミッドの階層化処理」は、「やや暗い環境」では「通常数」が対応付けられ、「暗い環境」では「通常よりも多い」が対応付けられている。
次に、実施形態１の撮像装置１００による撮像処理について図５を参照して説明する。
図５は、撮像処理に係る動作の一例を示すフローチャートである。
図５は、撮像処理に係る動作の一例を示すフローチャートである。
図５に示すように、撮像部１による被写体の撮像が開始されると、ＣＰＵ７１は、プログラムメモリ７２内の明るさ検出プログラム７２ｂを実行して、映像信号処理部１３に被写体のプレビュー画像（スルー画像）の画像信号に基づいて所定領域の画素の輝度を測定して当該画像の明るさを検出させる（ステップＳ１）。
続けて、ＣＰＵ７１は、明るさ検出処理の検出結果に応じて、撮影モードを通常撮影モードと連写撮影モードに設定する分岐を行う（ステップＳ２）。具体的には、明るさ検出処理にて「十分に明るい環境」や「暗闇な環境」と検出されると、ＣＰＵ７１は、撮影モードを通常撮影モードに設定し、一方、明るさ検出処理にて「やや暗い環境」や「暗い環境」と検出されると、ＣＰＵ７１は、撮影モードを連写撮影モードに設定する。
続けて、ＣＰＵ７１は、明るさ検出処理の検出結果に応じて、撮影モードを通常撮影モードと連写撮影モードに設定する分岐を行う（ステップＳ２）。具体的には、明るさ検出処理にて「十分に明るい環境」や「暗闇な環境」と検出されると、ＣＰＵ７１は、撮影モードを通常撮影モードに設定し、一方、明るさ検出処理にて「やや暗い環境」や「暗い環境」と検出されると、ＣＰＵ７１は、撮影モードを連写撮影モードに設定する。
明るさ検出処理にて「十分に明るい環境」と検出され、ステップＳ２にて撮影モードが通常撮影モードに設定されると、ＣＰＵ７１は、ユーザによるシャッターボタン４１ａの押圧操作に基づいて、撮像部１により通常の撮影条件で被写体を撮影させる（ステップＳ３）。
また、明るさ検出処理にて「暗闇な環境」と検出され、ステップＳ２にて撮影モードが通常撮影モードに設定されると、ＣＰＵ７１は、連写撮影された複数枚の画像を合成して一の画像を得る画像合成処理が実行不可であることを表す「合成不可」を画像表示部３２に表示させる（ステップＳ４）。その後、ＣＰＵ７１は、ユーザによるシャッターボタン４１ａの押圧操作に基づいて、撮像部１により通常の撮影条件で被写体を撮影させる（ステップＳ５）。
一方、明るさ検出処理にて「やや暗い環境」や「暗い環境」と検出され、ステップＳ２にて撮影モードが連写撮影モードに設定されると、ＣＰＵ７１は、プログラムメモリ７２内の第１の画像処理設定プログラム７２ｃを実行して、第１の画像処理内容設定テーブルＴ１に従って映像信号処理部１３による画像処理の内容を設定するとともに、プログラムメモリ７２内の第１の合成処理設定プログラム７２ｄを実行して、第１の合成処理内容設定テーブルＴ２に従って映像信号処理部１３による画像合成処理の内容を設定する（ステップＳ６）。
続けて、ユーザによるシャッターボタン４１ａの押圧操作に基づいて撮像部１による被写体の連続した撮影が開始されると（ステップＳ７）、明るさ検出処理の検出結果の「やや暗い環境」及び「暗い環境」に応じて分岐して（ステップＳ８）、明るさ検出処理の検出結果が「やや暗い環境」の場合には、ＣＰＵ７１は、プログラムメモリ７２内の画像合成プログラム７２ａを実行して、映像信号処理部１３のオプティカルフロー検出部１３１に、基準画像及び対象画像に対して階層数を通常数としてピラミッド階層化処理を行わせるとともに、基準画像に対しては抽出数を通常数として特徴点の抽出を行わせ、対象画像に対しては抽出された特徴点の追跡を行わせる（ステップＳ９）。
一方、ステップＳ８にて、明るさ検出処理の検出結果が「暗い環境」の場合には、ＣＰＵ７１は、映像信号処理部１３に、基準画像及び対象画像に対して固定ノイズの消去及び色の再現処理を行わせた後（ステップＳ１０）、プログラムメモリ７２内の画像合成プログラム７２ａを実行して、映像信号処理部１３のオプティカルフロー検出部１３１に、基準画像及び対象画像に対して階層数を通常よりも多い数としてピラミッド階層化処理を行わせるとともに、基準画像に対しては抽出数を通常よりも多い数として特徴点の抽出を行わせ、対象画像に対しては抽出された特徴点の追跡を行わせる（ステップＳ１１）。
その後、ＣＰＵ７１は、映像信号処理部１３のＲＡＮＳＡＣ部１３２に、基準画像と対象画像における複数の特徴点どうしが対応付けられた特徴点対応表に基づいて、射影変換行列Ｈを算出させ、画像合成部１３３に、射影変換行列Ｈを用いて対象画像の画素を基準画像の座標系に射影変換させて当該対象画像と基準画像を合成させる（ステップＳ１２）。勿論、ステップＳ１２の画像合成を行うためには、その時点で基準画像と少なくとも１つの対象画像の撮影が完了している必要があるので、撮影が完了していない場合にはステップＳ１２の画像合成をスキップすることになる。
次に、ＣＰＵ７１は、ユーザによるシャッターボタン４１ａの押圧操作の解除に基づいて被写体の連続撮影の終了が指示されているか否かを判定する（ステップＳ１３）。ここで、被写体の連続撮影の終了が指示されていると判定されると（ステップＳ１３；ＹＥＳ）、ＣＰＵ７１は、合成画像に対して所定の画像処理を施して（ステップＳ１４）、当該撮像処理を終了する。
なお、ステップＳ１３にて、被写体の連続撮影の終了が指示されていないと判定されると（ステップＳ１３；ＮＯ）、ステップＳ８に移行して、入力される複数の画像信号に対して映像信号処理部１３による画像合成処理及び画像処理が行われる。
以上のように、実施形態１の撮像装置１００によれば、画像の撮影状況関連情報として画像の撮影の際の明るさを検出し、明るさの検出結果に基づいて、画像処理における基準画像や対象画像に対する画像処理の内容や画像合成処理における画像合成処理の内容を設定することができる。
即ち、「十分に明るい環境」では、通常撮影で十分綺麗に撮影できるため、画像合成で得られる画像に対する処理時間などのデメリットの方が目立ってしまう場合が多くなる。このため、画像合成処理を行わずに通常の１枚撮影を行う。これにより、撮影環境の明るさによって画像合成を行うか行わないかの選択を自動で切替えることになるので、ユーザにとってはその手間が省略できる。
また、「やや暗い環境」では、通常撮影でもある程度明るく撮影することができるため、特徴点の抽出及びトラッキングに関しては、それほど慎重に行わなくても十分な精度を得ることができる。また、各画素の画像信号も十分あるので固定ノイズの影響も受け難く、色彩分布もそれほど狭くならないため、それらを補正する処理は行わなくても十分な品質を確保することができるので、その分、処理時間を短縮することができる。
また、「暗い環境」では、画像合成が失敗し易いので、「やや暗い環境」よりも慎重に合成を行う必要があるため、特徴点の抽出数やピラミッドの階層数を増やすようにする。また、画像信号成分が小さいので固定ノイズの影響を非常に受け、色彩分布も狭く色の再現性も悪いため、固定ノイズを消去する処理や、色を再現するための処理を行う。
また、「暗闇な環境」では、画像合成を行うための特徴点の抽出及びトラッキングが非常に困難になり、画像合成が成功する可能性は非常に低くなるため、画像合成処理を行わずに、ユーザの立場を考えて「合成不可」の報知を行った後、通常の１枚撮影を行う。
即ち、「十分に明るい環境」では、通常撮影で十分綺麗に撮影できるため、画像合成で得られる画像に対する処理時間などのデメリットの方が目立ってしまう場合が多くなる。このため、画像合成処理を行わずに通常の１枚撮影を行う。これにより、撮影環境の明るさによって画像合成を行うか行わないかの選択を自動で切替えることになるので、ユーザにとってはその手間が省略できる。
また、「やや暗い環境」では、通常撮影でもある程度明るく撮影することができるため、特徴点の抽出及びトラッキングに関しては、それほど慎重に行わなくても十分な精度を得ることができる。また、各画素の画像信号も十分あるので固定ノイズの影響も受け難く、色彩分布もそれほど狭くならないため、それらを補正する処理は行わなくても十分な品質を確保することができるので、その分、処理時間を短縮することができる。
また、「暗い環境」では、画像合成が失敗し易いので、「やや暗い環境」よりも慎重に合成を行う必要があるため、特徴点の抽出数やピラミッドの階層数を増やすようにする。また、画像信号成分が小さいので固定ノイズの影響を非常に受け、色彩分布も狭く色の再現性も悪いため、固定ノイズを消去する処理や、色を再現するための処理を行う。
また、「暗闇な環境」では、画像合成を行うための特徴点の抽出及びトラッキングが非常に困難になり、画像合成が成功する可能性は非常に低くなるため、画像合成処理を行わずに、ユーザの立場を考えて「合成不可」の報知を行った後、通常の１枚撮影を行う。
このように、「暗い環境」での画像合成は、画像の精度・品質にかかわる問題が多く発生し、それを解決するためにいくつもの処理を行わなければならないが、それらの処理は明るい環境で合成する場合は必要とせず、むしろ処理時間の浪費になってしまったり、画像品質を下げてしまう可能性もある。
そこで、連続撮影画像の合成において、それぞれの明るさに相応しい合成処理や画像処理を行うことで、無駄な処理を行わないことにより処理時間の浪費を抑えて全体的な処理速度の向上を図ることができる。さらに、必要な場合には慎重に合成を行うことで合成成功率の向上及び適切なパラメータを使うことで出力画像の画質の向上を図ることができる。
また、自動的に撮影状況の明るさに最適な撮影ができるので、ユーザビリティの向上を図ることもできる。
そこで、連続撮影画像の合成において、それぞれの明るさに相応しい合成処理や画像処理を行うことで、無駄な処理を行わないことにより処理時間の浪費を抑えて全体的な処理速度の向上を図ることができる。さらに、必要な場合には慎重に合成を行うことで合成成功率の向上及び適切なパラメータを使うことで出力画像の画質の向上を図ることができる。
また、自動的に撮影状況の明るさに最適な撮影ができるので、ユーザビリティの向上を図ることもできる。
なお、上記実施形態１では、映像信号処理部１３は、明るさ検出処理にて検出された４パターンの明るさ（「十分に明るい環境」、「やや暗い環境」、「暗い環境」、「暗闇な環境」）に応じて所定の画像処理を実行するか否かとしたが、これに限られるものではなく、例えば、明るさの検出パターンをより細かく区分して、当該区分に応じて画像処理の内容をより細かく制御するようにしても良い。例えば、「やや暗い環境」と「暗い環境」の中間の環境を設定して、当該環境では、固定ノイズの消去か色の再現処理の何れか一方のみを行うようにしても良いし、固定ノイズの消去及び色の再現処理の程度（強度）を変更するようにしても良い。
また、上記実施形態１では、画像処理内容の設定にて固定ノイズの消去及び色の再現処理の両方の処理内容を設定するようにしたが、必ずしも両方を設定する必要はなく、固定ノイズの消去及び色の再現処理のうち、少なくとも何れか一方の設定を行うようにしても良い。
さらに、画像合成処理内容の設定にて特徴点の抽出数及びピラミッドの階層数の両方の処理内容を設定するようにしたが、必ずしも両方を設定する必要はなく、特徴点の抽出数及びピラミッドの階層数のうち、少なくとも何れか一方の設定を行うようにしても良い。
加えて、設定される画像処理の内容は、固定ノイズの消去及び色の再現処理に限られるものではなく、また、設定される画像合成処理の内容は、特徴点の抽出数及びピラミッドの階層数に限られるものではなく、出力画像の画質の向上を図ることができる処理であれば如何なるものであっても良い。
さらに、画像合成処理内容の設定にて特徴点の抽出数及びピラミッドの階層数の両方の処理内容を設定するようにしたが、必ずしも両方を設定する必要はなく、特徴点の抽出数及びピラミッドの階層数のうち、少なくとも何れか一方の設定を行うようにしても良い。
加えて、設定される画像処理の内容は、固定ノイズの消去及び色の再現処理に限られるものではなく、また、設定される画像合成処理の内容は、特徴点の抽出数及びピラミッドの階層数に限られるものではなく、出力画像の画質の向上を図ることができる処理であれば如何なるものであっても良い。
また、上記実施形態１にあっては、「十分に明るい環境」では、画像合成処理を行わずに通常の１枚撮影を行うようにしたが、これに限られるものではなく、手ぶれや被写体ぶれを検出した場合には、画像合成処理を行ってぶれを補正するようにしても良い。
また、上記実施形態１において、シャッターボタン４１ａを半押し操作と全押し操作とが可能な２段押しボタンとし、シャッターボタン４１ａの半押し操作が行われた際に明るさ測定を行い（ステップＳ１）、その後、シャッターボタン４１ａの全押し操作が行われると、通常撮影（ステップＳ３、Ｓ５）や連続撮影（ステップＳ７）を開始するようにしてもよい。
また、上記実施形態１において、シャッターボタン４１ａを半押し操作と全押し操作とが可能な２段押しボタンとし、シャッターボタン４１ａの半押し操作が行われた際に明るさ測定を行い（ステップＳ１）、その後、シャッターボタン４１ａの全押し操作が行われると、通常撮影（ステップＳ３、Ｓ５）や連続撮影（ステップＳ７）を開始するようにしてもよい。
［実施形態２］
以下に、実施形態２の撮像装置２００について図６〜図９を参照して説明する。
ここで、図６は、本発明を適用した実施形態２の撮像装置２００の概略構成を示すブロック図である。
実施形態２の撮像装置２００は、基準画像と対象画像のずれ量に基づいて、画像合成処理の内容や合成画像に対する画像処理の内容を設定する。
なお、実施形態２の撮像装置２００は、画像合成処理の内容や画像処理の内容を変更する以外の点では、実施形態１におけるものと略同様であり、その詳細な説明については省略するものとする。
以下に、実施形態２の撮像装置２００について図６〜図９を参照して説明する。
ここで、図６は、本発明を適用した実施形態２の撮像装置２００の概略構成を示すブロック図である。
実施形態２の撮像装置２００は、基準画像と対象画像のずれ量に基づいて、画像合成処理の内容や合成画像に対する画像処理の内容を設定する。
なお、実施形態２の撮像装置２００は、画像合成処理の内容や画像処理の内容を変更する以外の点では、実施形態１におけるものと略同様であり、その詳細な説明については省略するものとする。
図６に示すように、プログラムメモリ７２は、画像合成プログラム７２ａに加えて、ずれ量検出プログラム７２ｅ、第２の合成処理設定プログラム７２ｆ、第２の画像処理設定プログラム７２ｇ等を記憶している。
ずれ量検出プログラム７２ｅは、ＣＰＵ７１の制御下にて、映像信号処理部１３に、基準画像と対象画像のずれ量（撮影状況関連情報）を検出する処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵ７１がずれ量検出プログラム７２ｅを実行することで、ピラミッド化した最も解像度の低い画像に対して特徴点追跡を行わずに、基準画像と対象画像間の全体の動き量を検出して、その値をずれ量とする。具体的には、例えば、「ずれ量小」、「ずれ量中」、「ずれ量大」の３パターンのずれ量に区分して検出する。
「ずれ量小」とは、例えば、基準画像と対象画像のずれ量が所定値ｔ１よりも小さい場合であり、「ずれ量中」とは、基準画像と対象画像のずれ量が所定値ｔ１以上であり、且つ所定値ｔ２よりも小さい場合（ｔ１＜ｔ２）であり、「ずれ量大」とは、基準画像と対象画像のずれ量が所定値ｔ２以上である場合である。
ここで、ＣＰＵ７１と映像信号処理部１３は、基準画像と対象画像のずれ量を検出するずれ量検出手段として機能する。また、ＣＰＵ７１と映像信号処理部１３は、画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段として機能する。
即ち、ＣＰＵ７１がずれ量検出プログラム７２ｅを実行することで、ピラミッド化した最も解像度の低い画像に対して特徴点追跡を行わずに、基準画像と対象画像間の全体の動き量を検出して、その値をずれ量とする。具体的には、例えば、「ずれ量小」、「ずれ量中」、「ずれ量大」の３パターンのずれ量に区分して検出する。
「ずれ量小」とは、例えば、基準画像と対象画像のずれ量が所定値ｔ１よりも小さい場合であり、「ずれ量中」とは、基準画像と対象画像のずれ量が所定値ｔ１以上であり、且つ所定値ｔ２よりも小さい場合（ｔ１＜ｔ２）であり、「ずれ量大」とは、基準画像と対象画像のずれ量が所定値ｔ２以上である場合である。
ここで、ＣＰＵ７１と映像信号処理部１３は、基準画像と対象画像のずれ量を検出するずれ量検出手段として機能する。また、ＣＰＵ７１と映像信号処理部１３は、画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段として機能する。
第２の合成処理設定プログラム７２ｆは、ＣＰＵ７１をずれ合成処理設定手段として機能させるものである。即ち、第２の合成処理設定プログラム７２ｆは、ずれ量検出処理によるずれ量の検出結果に基づいて、第２の合成処理内容設定テーブルＴ３（図７参照）に従って、映像信号処理部１３による画像合成処理の内容を設定する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が第２の合成処理設定プログラム７２ｆを実行することで、ずれ量検出処理により検出されたずれ量の大きさに応じて、オプティカルフロー検出部１３１による特徴点追跡における対象画像内の探索範囲（追跡範囲）の大きさを変更する。例えば、ずれ量検出処理にて、ずれ量が「ずれ量小」であると検出されると、特徴点の探索範囲を通常のサイズとし、また、ずれ量が「ずれ量中」であると検出されると、特徴点の探索範囲を通常よりも大きいサイズとする。即ち、通常、特徴点の探索範囲は画像サイズから決められ、この探索範囲のサイズは、直接的に処理時間に影響を与えることになるが、大きなずれが生じることを考慮して、探索範囲のサイズをある程度大きくとらなければならない。これに対して、ずれ量が小さかった場合には、探索範囲のサイズを大きくした分の処理時間は無駄となる。そこで、基準画像と対象画像のずれ量が大きくなるほど、より慎重にトラッキングを行う必要が生じるためである。
なお、探索範囲からはみ出てしまうくらいのずれが生じて、ずれ量が「ずれ量大」であると検出された場合には、ずれ量が小さい場合に比べて画像中の似たような画素に誤って追跡してしまう可能性が大きくなってしまうため、その時点で、対象画像を画像合成処理に用いずに破棄するようになっている。
具体的には、ＣＰＵ７１が第２の合成処理設定プログラム７２ｆを実行することで、ずれ量検出処理により検出されたずれ量の大きさに応じて、オプティカルフロー検出部１３１による特徴点追跡における対象画像内の探索範囲（追跡範囲）の大きさを変更する。例えば、ずれ量検出処理にて、ずれ量が「ずれ量小」であると検出されると、特徴点の探索範囲を通常のサイズとし、また、ずれ量が「ずれ量中」であると検出されると、特徴点の探索範囲を通常よりも大きいサイズとする。即ち、通常、特徴点の探索範囲は画像サイズから決められ、この探索範囲のサイズは、直接的に処理時間に影響を与えることになるが、大きなずれが生じることを考慮して、探索範囲のサイズをある程度大きくとらなければならない。これに対して、ずれ量が小さかった場合には、探索範囲のサイズを大きくした分の処理時間は無駄となる。そこで、基準画像と対象画像のずれ量が大きくなるほど、より慎重にトラッキングを行う必要が生じるためである。
なお、探索範囲からはみ出てしまうくらいのずれが生じて、ずれ量が「ずれ量大」であると検出された場合には、ずれ量が小さい場合に比べて画像中の似たような画素に誤って追跡してしまう可能性が大きくなってしまうため、その時点で、対象画像を画像合成処理に用いずに破棄するようになっている。
第２の画像処理設定プログラム７２ｇは、ＣＰＵ７１をずれ画像処理設定手段として機能させるものである。即ち、第２の画像処理設定プログラム７２ｇは、ずれ量検出処理によるずれ量の検出結果に基づいて、第２の画像処理内容設定テーブルＴ４（図８参照）に従って、映像信号処理部１３による合成画像に対する画像処理の内容を設定する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が第２の画像処理設定プログラム７２ｇを実行することで、ずれ量検出処理により検出されたずれ量の大きさに応じて、映像信号処理部１３による合成画像に対するシャープネス処理の強さを変更する。例えば、ずれ量検出処理にて、ずれ量が「ずれ量小」であると検出されると、シャープネスフィルタの強さを通常のものとし、また、ずれ量が「ずれ量中」であると検出されると、シャープネスフィルタの強さを通常よりも強いものとる。即ち、基準画像と対象画像のずれ量が大きくなるほど、合成時に視差の影響が大きくなり、合成精度が落ちて撮影画像がぼやっとしたり、さらにずれ量が大きくなれば、部分的に二重写りが生じた失敗画像が発生することもある。そこで、基準画像と対象画像のずれ量が大きく合成画像がぼやっとするような撮影環境では、それを解消するためにシャープネス処理を施す必要があるためである。
なお、シャープネス処理の強さの程度は、シャープネスフィルタをかけ過ぎると画像の品質が悪化するため、連続撮影中の位相のずれの最大値に応じてシャープネスフィルタの強さを設定するのが好ましい。
具体的には、ＣＰＵ７１が第２の画像処理設定プログラム７２ｇを実行することで、ずれ量検出処理により検出されたずれ量の大きさに応じて、映像信号処理部１３による合成画像に対するシャープネス処理の強さを変更する。例えば、ずれ量検出処理にて、ずれ量が「ずれ量小」であると検出されると、シャープネスフィルタの強さを通常のものとし、また、ずれ量が「ずれ量中」であると検出されると、シャープネスフィルタの強さを通常よりも強いものとる。即ち、基準画像と対象画像のずれ量が大きくなるほど、合成時に視差の影響が大きくなり、合成精度が落ちて撮影画像がぼやっとしたり、さらにずれ量が大きくなれば、部分的に二重写りが生じた失敗画像が発生することもある。そこで、基準画像と対象画像のずれ量が大きく合成画像がぼやっとするような撮影環境では、それを解消するためにシャープネス処理を施す必要があるためである。
なお、シャープネス処理の強さの程度は、シャープネスフィルタをかけ過ぎると画像の品質が悪化するため、連続撮影中の位相のずれの最大値に応じてシャープネスフィルタの強さを設定するのが好ましい。
また、プログラムメモリ７２には、第２の合成処理内容設定テーブルＴ３（図７参照）と、第２の画像処理内容設定テーブルＴ４（図８参照）が記憶されている。
第２の合成処理内容設定テーブルＴ３は、図７に示すように、画像合成処理の処理内容としての特徴点追跡における「探索範囲の大きさ」とずれ量（「ずれ量小」、「ずれ量中」、「ずれ量大」）とを対応付けて記憶している。具体的には、「探索範囲の大きさ」は、「ずれ量小」では「通常」が対応付けられ、「ずれ量中」では「通常よりも大きい」が対応付けられている。
第２の画像処理内容設定テーブルＴ４は、図８に示すように、画像処理の処理内容としての合成画像に対する「シャープネスフィルタの強さ」とずれ量（「ずれ量小」、「ずれ量中」、「ずれ量大」）とを対応付けて記憶している。具体的には、「シャープネスフィルタの強さ」は、「ずれ量小」では「通常」が対応付けられ、「ずれ量中」では「通常よりも強い」が対応付けられている。
次に、実施形態２の撮像装置２００による撮像処理について図９を参照して説明する。
図９は、撮像処理に係る動作の一例を示すフローチャートである。
図９は、撮像処理に係る動作の一例を示すフローチャートである。
図９に示すように、ユーザによるシャッターボタン４１ａの押圧操作に基づいて撮像部１による被写体の連続した撮影が開始されると（ステップＳ２１）、ＣＰＵ７１は、プログラムメモリ７２内のずれ量検出プログラム７２ｅを実行して、映像信号処理部１３に、基準画像と対象画像のずれ量を検出させる（ステップＳ２２）。ここで、１枚目の画像を基準画像、２枚目以降の画像を対象画像とした場合は、ステップＳ２１により連続撮影が開始された後、２枚目の画像の撮影が完了した後にステップＳ２２に移行してずれ量検出処理が開始され、以後、画像の撮影が完了する度にステップＳ２２のずれ量検出処理が行われることになる。
続けて、ＣＰＵ７１は、ずれ量検出処理の検出結果に応じて、合成される対象画像を画像合成処理の対象とするか否かの分岐を行い（ステップＳ２３）、「ずれ量大」と検出されると、ＣＰＵ７１は、合成される対象画像を破棄した後（ステップＳ２４）、ステップＳ２２に移行する。
続けて、ＣＰＵ７１は、ずれ量検出処理の検出結果に応じて、合成される対象画像を画像合成処理の対象とするか否かの分岐を行い（ステップＳ２３）、「ずれ量大」と検出されると、ＣＰＵ７１は、合成される対象画像を破棄した後（ステップＳ２４）、ステップＳ２２に移行する。
一方、ステップＳ２３にて「ずれ量小」か「ずれ量中」と検出されると、ＣＰＵ７１は、当該対象画像を画像合成処理の対象とし、プログラムメモリ７２内の第２の合成処理設定プログラム７２ｆを実行して、第２の合成処理内容設定テーブルＴ３に従って映像信号処理部１３による画像合成処理の内容を設定するとともに、プログラムメモリ７２内の第２の画像処理設定プログラム７２ｇを実行して、第２の画像処理内容設定テーブルＴ４に従って映像信号処理部１３による画像処理の内容を設定する（ステップＳ２５）。ここで、第２の画像処理設定プログラム７２ｇを実行して、第２の画像処理内容設定テーブルＴ４に従って映像信号処理部１３による画像処理の内容を設定する場合、設定しようとしている画像処理の内容の強度（通常よりも強い）が現在設定されている画像処理の内容（通常）よりも高い場合にのみ更新設定するものとする。なお、画像処理の内容の強度が同じ場合は更新設定するようにしてもいいし、更新設定しないようにしてもよい
続けて、ＣＰＵ７１は、プログラムメモリ７２内の画像合成プログラム７２ａを実行して、映像信号処理部１３のオプティカルフロー検出部１３１に、基準画像及び対象画像に対してピラミッド階層化処理を行わせるとともに、基準画像に対しては特徴点の抽出を行わせ、対象画像に対しては抽出された特徴点の追跡をずれ量に応じて設定された探索範囲で行わせる（ステップＳ２６）。
その後、ＣＰＵ７１は、映像信号処理部１３のＲＡＮＳＡＣ部１３２に、基準画像と対象画像における複数の特徴点どうしが対応付けられた特徴点対応表に基づいて、射影変換行列Ｈを算出させ、画像合成部１３３に、射影変換行列Ｈを用いて対象画像の画素を基準画像の座標系に射影変換させて当該対象画像と基準画像を合成させる（ステップＳ２７）。
その後、ＣＰＵ７１は、映像信号処理部１３のＲＡＮＳＡＣ部１３２に、基準画像と対象画像における複数の特徴点どうしが対応付けられた特徴点対応表に基づいて、射影変換行列Ｈを算出させ、画像合成部１３３に、射影変換行列Ｈを用いて対象画像の画素を基準画像の座標系に射影変換させて当該対象画像と基準画像を合成させる（ステップＳ２７）。
次に、ＣＰＵ７１は、ユーザによるシャッターボタン４１ａの押圧操作の解除に基づいて被写体の連続撮影の終了が指示されているか否かを判定する（ステップＳ２８）。ここで、被写体の連続撮影の終了が指示されていると判定されると（ステップＳ２８；ＹＥＳ）、ＣＰＵ７１は、映像信号処理部１３に、連続撮影中における最大ずれ量に応じて設定されたシャープネスフィルタの強さで合成画像に対してシャープネス処理を施して（ステップＳ２９）、当該撮像処理を終了する。
なお、ステップＳ２８にて、被写体の連続撮影の終了が指示されていないと判定されると（ステップＳ２８；ＮＯ）、ステップＳ２２に移行して、入力される複数の画像信号に対して映像信号処理部１３による画像合成処理の対象とするか否かの設定が行われる。
以上のように、実施形態２の撮像装置２００によれば、画像の撮影状況関連情報として基準画像と対象画像のずれ量を検出し、ずれ量の検出結果に基づいて、画像合成処理における画像合成処理の内容や画像処理における合成画像に対する画像処理の内容を設定することができる。
即ち、手ぶれ等が生じた場合に、基準画像と対象画像のずれ量の大きさに応じて特徴点追跡時における特徴点の探索範囲のサイズを設定して、当該サイズでトラッキングを行うことで、無駄な処理時間の浪費を抑えることができる。また、ずれ量が大きくなるほど、画像合成時に視差の影響が大きくなって合成精度が落ちて撮影画像がぼやっとしたり、さらにずれが大きくなれば、部分的に二重写りが生じた失敗画像が発生することもある。そこで、基準画像と対象画像のずれ量が大きく合成画像がぼやっとするような撮影環境の場合には、それを解消するためにシャープネス処理を施すようにする。さらに、基準画像と対象画像のずれ量が著しく大きい場合には、画像合成が失敗する可能性か高いので、その時点で撮影画像を破棄する。
即ち、手ぶれ等が生じた場合に、基準画像と対象画像のずれ量の大きさに応じて特徴点追跡時における特徴点の探索範囲のサイズを設定して、当該サイズでトラッキングを行うことで、無駄な処理時間の浪費を抑えることができる。また、ずれ量が大きくなるほど、画像合成時に視差の影響が大きくなって合成精度が落ちて撮影画像がぼやっとしたり、さらにずれが大きくなれば、部分的に二重写りが生じた失敗画像が発生することもある。そこで、基準画像と対象画像のずれ量が大きく合成画像がぼやっとするような撮影環境の場合には、それを解消するためにシャープネス処理を施すようにする。さらに、基準画像と対象画像のずれ量が著しく大きい場合には、画像合成が失敗する可能性か高いので、その時点で撮影画像を破棄する。
このように、基準画像と対象画像のずれ量の大きさは、画像合成処理や画像処理に対して影響を与えるため、ずれ量の大きさを考慮せずに一意的な画像合成処理や画像処理を行うことは処理が過不足になってしまう。
そこで、連続撮影画像の合成において、基準画像と対象画像のずれ量の大きさに相応しい画像合成処理や画像処理を行うことで、無駄な処理を行わないことにより処理時間の浪費を抑えて全体的な処理速度の向上を図ることができる。さらに、必要な場合には慎重に合成を行うことで合成成功率の向上及び適切なパラメータを使うことで出力画像の画質の向上を図ることができる。
そこで、連続撮影画像の合成において、基準画像と対象画像のずれ量の大きさに相応しい画像合成処理や画像処理を行うことで、無駄な処理を行わないことにより処理時間の浪費を抑えて全体的な処理速度の向上を図ることができる。さらに、必要な場合には慎重に合成を行うことで合成成功率の向上及び適切なパラメータを使うことで出力画像の画質の向上を図ることができる。
なお、上記実施形態２では、基準画像と対象画像のずれ量の検出にて、基準画像と対象画像間の動き量をずれ量とするようにしたが、これに限られるものではなく、例えば、加速度センサを用いて連続撮影間のカメラの移動距離を測定して、当該移動距離をずれ量とするようにしても良い。
また、上記実施形態２では、設定される画像処理の内容をシャープネス処理としたが、設定される画像処理の内容は、シャープネス処理に限られるものではなく、さらに、設定される画像合成処理の内容は、特徴点の探索範囲の大きさの変更に限られるものではなく、出力画像の画質の向上を図ることができる処理であれば如何なるものであっても良い。
［実施形態３］
以下に、実施形態３の撮像装置３００について図１０〜図１３を参照して説明する。
ここで、図１０は、本発明を適用した実施形態３の撮像装置３００の概略構成を示すブロック図である。
実施形態３の撮像装置３００は、特徴点の特徴量の測定結果に基づいて、画像合成処理の内容や合成画像に対する画像処理の内容を設定する。
なお、実施形態３の撮像装置３００は、画像合成処理の内容や画像処理の内容の変更以外の点では、実施形態１におけるものと略同様であり、その詳細な説明については省略するものとする。
以下に、実施形態３の撮像装置３００について図１０〜図１３を参照して説明する。
ここで、図１０は、本発明を適用した実施形態３の撮像装置３００の概略構成を示すブロック図である。
実施形態３の撮像装置３００は、特徴点の特徴量の測定結果に基づいて、画像合成処理の内容や合成画像に対する画像処理の内容を設定する。
なお、実施形態３の撮像装置３００は、画像合成処理の内容や画像処理の内容の変更以外の点では、実施形態１におけるものと略同様であり、その詳細な説明については省略するものとする。
図１０に示すように、プログラムメモリ７２は、画像合成プログラム７２ａに加えて、特徴量検出プログラム７２ｈ、第３の合成処理設定プログラム７２ｉ、第３の画像処理設定プログラム７２ｊ等を記憶している。
特徴量検出プログラム７２ｈは、ＣＰＵ７１の制御下にて、映像信号処理部１３に、基準画像内から抽出した特徴点の特徴量（撮影状況関連情報）を検出する処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵ７１が特徴量検出プログラム７２ｈを実行することで、基準画像内から抽出した特徴点の広がり具合や均一度合から特徴量を検出する。具体的には、「特徴量小」、「特徴量中」、「特徴量大」の３パターンの特徴量に区分して検出する。
「特徴量大」とは、例えば、特徴点が画像内にて広範囲に略均一に分布している場合であり、「特徴量中」とは、特徴点が画像内にて広範囲に分布しているが、分布が均一でない場合であり、「特徴量小」とは、特徴点が画像内にて広範囲に分布しておらず、且つ、分布も均一でない場合であり、具体的には、特徴となるものがない一様に白い壁や空の画像を撮影した場合に特徴量が小さくなる。
ここで、ＣＰＵ７１と映像信号処理部１３は、基準画像内から抽出した特徴点の特徴量を測定する特徴量測定手段として機能する。また、ＣＰＵ７１と映像信号処理部１３は、画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段として機能する。
即ち、ＣＰＵ７１が特徴量検出プログラム７２ｈを実行することで、基準画像内から抽出した特徴点の広がり具合や均一度合から特徴量を検出する。具体的には、「特徴量小」、「特徴量中」、「特徴量大」の３パターンの特徴量に区分して検出する。
「特徴量大」とは、例えば、特徴点が画像内にて広範囲に略均一に分布している場合であり、「特徴量中」とは、特徴点が画像内にて広範囲に分布しているが、分布が均一でない場合であり、「特徴量小」とは、特徴点が画像内にて広範囲に分布しておらず、且つ、分布も均一でない場合であり、具体的には、特徴となるものがない一様に白い壁や空の画像を撮影した場合に特徴量が小さくなる。
ここで、ＣＰＵ７１と映像信号処理部１３は、基準画像内から抽出した特徴点の特徴量を測定する特徴量測定手段として機能する。また、ＣＰＵ７１と映像信号処理部１３は、画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段として機能する。
第３の合成処理設定プログラム７２ｉは、ＣＰＵ７１を特徴合成処理設定手段として機能させるものである。即ち、第３の合成処理設定プログラム７２ｉは、特徴量検出処理による特徴量の検出結果に基づいて、第３の合成処理内容設定テーブルＴ５（図１１参照）に従って、映像信号処理部１３による画像合成処理の内容を設定する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が第３の合成処理設定プログラム７２ｉを実行することで、特徴量検出処理により検出された特徴量の大きさに応じて、オプティカルフロー検出部１３１による特徴点の抽出数、追跡の反復回数及びピラミッドの階層数を変更する。例えば、特徴量検出処理にて、特徴量が「特徴量大」であると検出されると、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数を通常数とし、また、特徴量が「特徴量中」であると検出されると、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数を通常よりも多い数とし、また、特徴量が「特徴量小」であると検出されると、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数を最も多い数（特徴量が「特徴量中」の場合よりも多い数）とする。即ち、最も良好に画像合成が行える状況は、特徴量が画像中の広範囲に均一に分布していて、特徴量も大きい場合である。これに対して、特徴点の特徴量が小さい場合は、類似特徴を持つ画素に誤追跡し、トラッキングが失敗し易いといった問題がある。そこで、特徴量が小さい場合には、特徴点の抽出個数を増やしたり、トラッキングの反復回数を増やしたり、ピラミッドの階層数を増やすなどの処理を追加して、より慎重に画像合成処理を行う必要が生じるためである。
具体的には、ＣＰＵ７１が第３の合成処理設定プログラム７２ｉを実行することで、特徴量検出処理により検出された特徴量の大きさに応じて、オプティカルフロー検出部１３１による特徴点の抽出数、追跡の反復回数及びピラミッドの階層数を変更する。例えば、特徴量検出処理にて、特徴量が「特徴量大」であると検出されると、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数を通常数とし、また、特徴量が「特徴量中」であると検出されると、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数を通常よりも多い数とし、また、特徴量が「特徴量小」であると検出されると、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数を最も多い数（特徴量が「特徴量中」の場合よりも多い数）とする。即ち、最も良好に画像合成が行える状況は、特徴量が画像中の広範囲に均一に分布していて、特徴量も大きい場合である。これに対して、特徴点の特徴量が小さい場合は、類似特徴を持つ画素に誤追跡し、トラッキングが失敗し易いといった問題がある。そこで、特徴量が小さい場合には、特徴点の抽出個数を増やしたり、トラッキングの反復回数を増やしたり、ピラミッドの階層数を増やすなどの処理を追加して、より慎重に画像合成処理を行う必要が生じるためである。
第３の画像処理設定プログラム７２ｊは、ＣＰＵ７１を特徴画像処理設定手段として機能させるものである。即ち、第３の画像処理設定プログラム７２ｊは、特徴量検出処理による特徴量の検出結果に基づいて、第３の画像処理内容設定テーブルＴ６（図１２参照）に従って、映像信号処理部１３による合成画像に対する画像処理の内容を設定する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が第３の画像処理設定プログラム７２ｊを実行することで、特徴量検出処理により検出された特徴量の大きさに応じて、映像信号処理部１３による合成画像に対するシャープネス処理の強さを変更する。例えば、特徴量検出処理にて、特徴量が「特徴量大」であると検出されると、シャープネスフィルタの強さを通常のものとし、また、特徴量が「特徴量中」であると検出されると、シャープネスフィルタの強さを通常よりも強いものとし、また、特徴量が「特徴量小」であると検出されると、シャープネスフィルタの強さを最も強い（特徴量が「特徴量中」の場合よりも強い）ものとする。即ち、特徴量が小さくなるほど、トラッキング精度が落ちて撮影画像がぼやっとしてしまう。そこで、特徴量が小さければ小さいほど合成画像に対してかけるシャープネスフィルタを強めるようにすれば、合成精度に応じたシャープネスフィルタをかけることができ、結果的に画像の品質の向上を図ることができるためである。
具体的には、ＣＰＵ７１が第３の画像処理設定プログラム７２ｊを実行することで、特徴量検出処理により検出された特徴量の大きさに応じて、映像信号処理部１３による合成画像に対するシャープネス処理の強さを変更する。例えば、特徴量検出処理にて、特徴量が「特徴量大」であると検出されると、シャープネスフィルタの強さを通常のものとし、また、特徴量が「特徴量中」であると検出されると、シャープネスフィルタの強さを通常よりも強いものとし、また、特徴量が「特徴量小」であると検出されると、シャープネスフィルタの強さを最も強い（特徴量が「特徴量中」の場合よりも強い）ものとする。即ち、特徴量が小さくなるほど、トラッキング精度が落ちて撮影画像がぼやっとしてしまう。そこで、特徴量が小さければ小さいほど合成画像に対してかけるシャープネスフィルタを強めるようにすれば、合成精度に応じたシャープネスフィルタをかけることができ、結果的に画像の品質の向上を図ることができるためである。
また、プログラムメモリ７２には、第３の合成処理内容設定テーブルＴ５（図１１参照）と、第３の画像処理内容設定テーブルＴ６（図１２参照）が記憶されている。
第３の合成処理内容設定テーブルＴ５は、図１１に示すように、画像合成処理の処理内容（「特徴点の抽出処理」、「追跡の反復処理」、「ピラミッドの階層化処理」）と特徴点の特徴量（「特徴量小」、「特徴量中」、「特徴量大」）とを対応付けて記憶している。具体的には、処理内容として「特徴点の抽出処理」は、「特徴量大」では「通常数」が対応付けられ、「特徴量中」では「通常より多い」が対応付けられ、「特徴量小」では「最も多い」が対応付けられている。また、処理内容として「追跡の反復処理」は、「特徴量大」では「通常数」が対応付けられ、「特徴量中」では「通常より多い」が対応付けられ、「特徴量小」では「最も多い」が対応付けられている。また、処理内容として「ピラミッドの階層化処理」は、「特徴量大」では「通常数」が対応付けられ、「特徴量中」では「通常より多い」が対応付けられ、「特徴量小」では「最も多い」が対応付けられている。
第３の画像処理内容設定テーブルＴ６は、図１２に示すように、画像処理の処理内容としての合成画像に対する「シャープネスフィルタの強さ」と特徴点の特徴量（「特徴量小」、「特徴量中」、「特徴量大」）とを対応付けて記憶している。具体的には、「シャープネスフィルタの強さ」は、「特徴量大」では「通常」が対応付けられ、「特徴量中」では「通常より強い」が対応付けられ、「特徴量小」では「最も強い」が対応付けられている。
次に、実施形態３の撮像装置３００による撮像処理について図１３を参照して説明する。
図１３は、撮像処理に係る動作の一例を示すフローチャートである。なお、撮像処理に係る動作を開始する時点において、画像処理の処理内容（シャープネスフィルタの強さ）として、特徴量が「特徴量大」であると検出された場合に設定される「通常」がデフォルト設定されているものとする。また、同様に、撮像処理に係る動作を開始する時点において、画像合成処理の処理内容（「特徴点の抽出処理」、「追跡の反復処理」、「ピラミッドの階層化処理」）として、特徴量が「特徴量大」であると検出された場合に設定される「通常数」がデフォルト設定されているものとする。
図１３は、撮像処理に係る動作の一例を示すフローチャートである。なお、撮像処理に係る動作を開始する時点において、画像処理の処理内容（シャープネスフィルタの強さ）として、特徴量が「特徴量大」であると検出された場合に設定される「通常」がデフォルト設定されているものとする。また、同様に、撮像処理に係る動作を開始する時点において、画像合成処理の処理内容（「特徴点の抽出処理」、「追跡の反復処理」、「ピラミッドの階層化処理」）として、特徴量が「特徴量大」であると検出された場合に設定される「通常数」がデフォルト設定されているものとする。
図１３に示すように、ユーザによるシャッターボタン４１ａの押圧操作に基づいて撮像部１による被写体の連続した撮影が開始されると（ステップＳ４１）、ＣＰＵ７１は、プログラムメモリ７２内の画像合成プログラム７２ａを実行して、映像信号処理部１３のオプティカルフロー検出部１３１に、基準画像に対してデフォルト設定されている「通常数」のピラミッド階層化処理及びを特徴点の抽出処理を行わせる（ステップＳ４２）。ここで、１枚目の画像を基準画像、２枚目以降の画像を対象画像とした場合は、ステップＳ４１により連続撮影が開始された後、１枚目の画像の撮影が完了した後にステップＳ４２に移行して特徴点抽出処理が行われることになる。
次に、ＣＰＵ７１は、抽出された特徴点の数が所定値以上であるか否かを判定する（ステップＳ４３）。ここで、特徴点の数が所定値以上でないと判定されると（ステップＳ４３；ＮＯ）、ＣＰＵ７１は、連写撮影された複数枚の画像を合成して一の画像を得る画像合成処理の実行に必要な特徴点が不足していることを表す「特徴点不足」を画像表示部３２に表示させた後（ステップＳ４４）、撮像部１により通常の撮影条件で被写体を撮影させる（ステップＳ４５）。
一方、ステップＳ４３にて、特徴点の数が所定値以上であると判定されると（ステップＳ４３；ＹＥＳ）、ＣＰＵ７１は、プログラムメモリ７２内の特徴量検出プログラム７２ｈを実行して、基準画像内から抽出した特徴点の広がり具合や均一度合から特徴量を検出する（ステップＳ４６；特徴量検出処理）。
続けて、ＣＰＵ７１は、特徴量検出処理の検出結果に応じて、設定されている画像合成処理及び画像処理の内容の再設定を行うか否かの分岐を行い（ステップＳ４７）、「特徴量中」か「特徴量小」と検出されると、ＣＰＵ７１は、プログラムメモリ７２内の第３の合成処理設定プログラム７２ｉを実行して、第３の合成処理内容設定テーブルＴ５に従って映像信号処理部１３による画像合成処理の内容を再設定するとともに、プログラムメモリ７２内の第３の画像処理設定プログラム７２ｊを実行して、第３の画像処理内容設定テーブルＴ６に従って映像信号処理部１３による画像処理の内容を再設定する（ステップＳ４８）。つまり、画像合成処理の内容としてデフォルト設定されている「通常数」を、「通常より多い」（特徴量中）又は「最も多い」（特徴量小）に変更設定するとともに、画像処理の内容としてデフォルト設定されている「通常」を、「通常より強い」（特徴量中）又は「最も強い」（特徴量小）に変更設定する。
その後、ＣＰＵ７１は、プログラムメモリ７２内の画像合成プログラム７２ａを実行して、映像信号処理部１３のオプティカルフロー検出部１３１に、基準画像に対して、ピラミッド階層化処理を特徴量に応じて再設定された数で行わせ、特徴点の再抽出を特徴量に応じて設定された数で行わせ（ステップＳ４９）、特徴量に応じて設定された数のピラミッド階層化処理及び追跡の反復処理を行わせることにより抽出された特徴点の追跡を行わせる（ステップＳ５０）。
続けて、ＣＰＵ７１は、特徴量検出処理の検出結果に応じて、設定されている画像合成処理及び画像処理の内容の再設定を行うか否かの分岐を行い（ステップＳ４７）、「特徴量中」か「特徴量小」と検出されると、ＣＰＵ７１は、プログラムメモリ７２内の第３の合成処理設定プログラム７２ｉを実行して、第３の合成処理内容設定テーブルＴ５に従って映像信号処理部１３による画像合成処理の内容を再設定するとともに、プログラムメモリ７２内の第３の画像処理設定プログラム７２ｊを実行して、第３の画像処理内容設定テーブルＴ６に従って映像信号処理部１３による画像処理の内容を再設定する（ステップＳ４８）。つまり、画像合成処理の内容としてデフォルト設定されている「通常数」を、「通常より多い」（特徴量中）又は「最も多い」（特徴量小）に変更設定するとともに、画像処理の内容としてデフォルト設定されている「通常」を、「通常より強い」（特徴量中）又は「最も強い」（特徴量小）に変更設定する。
その後、ＣＰＵ７１は、プログラムメモリ７２内の画像合成プログラム７２ａを実行して、映像信号処理部１３のオプティカルフロー検出部１３１に、基準画像に対して、ピラミッド階層化処理を特徴量に応じて再設定された数で行わせ、特徴点の再抽出を特徴量に応じて設定された数で行わせ（ステップＳ４９）、特徴量に応じて設定された数のピラミッド階層化処理及び追跡の反復処理を行わせることにより抽出された特徴点の追跡を行わせる（ステップＳ５０）。
一方、ステップＳ４７の特徴量検出処理にて「特徴量大」と検出されると、ステップＳ５０に移行して、ＣＰＵ７１は、映像信号処理部１３のオプティカルフロー検出部１３１に、対象画像に対して、デフォルト設定されている「通常数」のピラミッド階層化処理及び追跡の反復処理を行わせることにより抽出された特徴点の追跡を行わせる（ステップＳ５０）。
その後、ＣＰＵ７１は、映像信号処理部１３のＲＡＮＳＡＣ部１３２に、基準画像と対象画像における複数の特徴点どうしが対応付けられた特徴点対応表に基づいて、射影変換行列Ｈを算出させ、画像合成部１３３に、射影変換行列Ｈを用いて対象画像の画素を基準画像の座標系に射影変換させて当該対象画像と基準画像を合成させる（ステップＳ５１）。
次に、ＣＰＵ７１は、ユーザによるシャッターボタン４１ａの押圧操作の解除に基づいて被写体の連続撮影の終了が指示されているか否かを判定する（ステップＳ５２）。ここで、被写体の連続撮影の終了が指示されていると判定されると（ステップＳ５２；ＹＥＳ）、ＣＰＵ７１は、映像信号処理部１３に、デフォルト設定されているシャープネスフィルタの強さ、あるいは特徴量に応じて再設定されたシャープネスフィルタの強さで合成画像に対してシャープネス処理を施して（ステップＳ５３）、当該撮像処理を終了する。
なお、ステップＳ５２にて、被写体の連続撮影の終了が指示されていないと判定されると（ステップＳ５２；ＮＯ）、ステップＳ５０に移行して、入力される複数の画像信号に対して映像信号処理部１３によるピラミッド階層化処理及び追跡の反復処理を行わせることにより抽出された特徴点の追跡を行わせる。
以上のように、実施形態３の撮像装置３００によれば、画像の撮影状況関連情報として特徴点の特徴量を検出し、特徴量の検出結果に基づいて、画像合成処理における画像合成処理の内容や画像処理における合成画像に対する画像処理の内容を設定することができる。
即ち、特徴量が小さければ小さいほど、特徴点の抽出個数を増やしたり、トラッキングの反復回数を増やしたり、ピラミッドの階層数を増やすなどの処理を追加してより慎重に画像合成処理を行う。また、特徴量が小さければ小さいほど合成画像に対してかけるシャープネスフィルタを強めるようにすれば、合成精度に応じたシャープネスフィルタをかけることができる。さらに、特徴量が小さすぎて基準画像から特徴点が規定個数抽出できない場合には、画像合成が失敗する可能性が非常に高いので、画像合成処理を行わずに、ユーザの立場を考えて「特徴点不足」の報知を行った後、通常の１枚撮影が行われる。
即ち、特徴量が小さければ小さいほど、特徴点の抽出個数を増やしたり、トラッキングの反復回数を増やしたり、ピラミッドの階層数を増やすなどの処理を追加してより慎重に画像合成処理を行う。また、特徴量が小さければ小さいほど合成画像に対してかけるシャープネスフィルタを強めるようにすれば、合成精度に応じたシャープネスフィルタをかけることができる。さらに、特徴量が小さすぎて基準画像から特徴点が規定個数抽出できない場合には、画像合成が失敗する可能性が非常に高いので、画像合成処理を行わずに、ユーザの立場を考えて「特徴点不足」の報知を行った後、通常の１枚撮影が行われる。
このように、特徴量の大きさは、画像の精度・品質にかかわる問題が多く発生し、それを解決するためにいくつもの処理を行わなければならないが、それらの処理は特徴量が十分大きい画像を合成する場合は必要とせず、むしろ処理時間の浪費になってしまったり、画像品質を下げてしまう可能性もある。
そこで、連続撮影画像の合成において、それぞれの特徴量に相応しい合成処理や画像処理を行うことで、無駄な処理を行わないことにより処理時間の浪費を抑えて全体的な処理速度の向上を図ることができる。さらに、必要な場合には慎重に合成を行うことで合成成功率の向上及び適切なパラメータを使うことで出力画像の画質の向上を図ることができる。
そこで、連続撮影画像の合成において、それぞれの特徴量に相応しい合成処理や画像処理を行うことで、無駄な処理を行わないことにより処理時間の浪費を抑えて全体的な処理速度の向上を図ることができる。さらに、必要な場合には慎重に合成を行うことで合成成功率の向上及び適切なパラメータを使うことで出力画像の画質の向上を図ることができる。
また、上記実施形態３では、画像合成処理内容の設定にて特徴点の抽出数、追跡の反復回数及びピラミッドの階層数の全ての処理内容を設定するようにしたが、必ずしも全てを設定する必要はなく、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数のうち、少なくとも何れか一の設定を行うようにしても良い。
加えて、設定される画像処理の内容は、シャープネス処理に限られるものではなく、また、設定される画像合成処理の内容は、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数に限られるものではなく、出力画像の画質の向上を図ることができる処理であれば如何なるものであっても良い。
加えて、設定される画像処理の内容は、シャープネス処理に限られるものではなく、また、設定される画像合成処理の内容は、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数に限られるものではなく、出力画像の画質の向上を図ることができる処理であれば如何なるものであっても良い。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
また、上記実施形態１〜３にあっては、画像の撮影状況に応じて画像合成処理や画像処理の内容を設定するようにしたが、これに限られるものではなく、例えば、撮影状況関連情報として特定された「明るさ」や「基準画像と対象画像のずれ量の大きさ」や「特徴点の特徴量」に応じて、露光時間や絞りや感度等を変更して撮影した後、画像合成処理を行うようにしても、全体的な処理速度の向上を図ることができるとともに、出力画像の画質の向上を図るができる。
さらに、撮像装置１００、２００、３００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
また、画像合成装置として撮像装置１００、２００、３００を例示したが、これに限られるものではなく、撮像部１により取得した複数の画像をＵＳＢ端子６を介して接続されたパソコン等の外部機器に出力して、当該外部機器にて画像合成処理に係る撮影状況特定処理、明るさ検出処理、ずれ量検出処理、特徴量検出処理、低解像度画像作成処理、特徴点抽出処理、特徴点追跡処理、合成処理設定処理、画像処理設定処理等を行うようにしても良い。
加えて、上記実施形態では、撮影状況特定手段、明るさ検出手段、ずれ量検出手段、特徴量検出手段、低解像度画像作成手段、特徴点抽出手段、特徴点追跡手段、合成処理設定手段、明るさ合成処理設定手段、ずれ合成処理設定手段、特徴合成処理設定手段、画像処理設定手段、明るさ画像処理設定手段、ずれ画像処理設定手段、特徴画像処理設定手段としての機能を、ＣＰＵ７１によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。
１００、２００、３００ 撮像装置（画像合成装置）
１３ 映像信号処理部（画像合成手段、画像処理手段）
１３１ オプティカルフロー検出部（低解像度画像作成手段、特徴点抽出手段、特徴点追跡手段）
１３２ ＲＡＮＳＡＣ部
１３３ 画像合成部
７１ ＣＰＵ（撮影状況特定手段、明るさ検出手段、ずれ量検出手段、特徴量検出手段、低解像度画像作成手段、特徴点抽出手段、特徴点追跡手段、合成処理設定手段、明るさ合成処理設定手段、ずれ合成処理設定手段、特徴合成処理設定手段、画像処理設定手段、明るさ画像処理設定手段、ずれ画像処理設定手段、特徴画像処理設定手段）
１３ 映像信号処理部（画像合成手段、画像処理手段）
１３１ オプティカルフロー検出部（低解像度画像作成手段、特徴点抽出手段、特徴点追跡手段）
１３２ ＲＡＮＳＡＣ部
１３３ 画像合成部
７１ ＣＰＵ（撮影状況特定手段、明るさ検出手段、ずれ量検出手段、特徴量検出手段、低解像度画像作成手段、特徴点抽出手段、特徴点追跡手段、合成処理設定手段、明るさ合成処理設定手段、ずれ合成処理設定手段、特徴合成処理設定手段、画像処理設定手段、明るさ画像処理設定手段、ずれ画像処理設定手段、特徴画像処理設定手段）
Claims (2)
- 複数の画像のうち、何れか一の基準画像と対象画像を合成する画像合成処理を行う画像合成手段と、
前記画像の撮影の際の明るさを予め区分された何れかの明るさとして検出する検出手段と、
前記検出手段による検出結果に基づいて、前記画像合成手段による前記画像合成処理の内容を設定する合成処理設定手段と、
を備え、
前記画像合成手段は、
前記基準画像内から特徴点を抽出する特徴点抽出手段を含み、
前記合成処理設定手段は、前記検出手段による検出結果として暗いと区分された方のあかるさで検出した場合、前記特徴点抽出手段による前記特徴点の抽出数をより多い数とし、
前記画像合成手段は、
前記複数の画像の解像度を段階的に低減させて低解像度画像を作成する画像作成手段を含み、
前記合成処理設定手段は、前記検出手段による検出結果として暗いと区分された方のあかるさで検出した場合、前記画像作成手段による前記解像度の低減に係る段階数をより多い数とする
ことを特徴とする画像合成装置。 - コンピュータに、
複数の画像のうち、何れか一の基準画像と対象画像を合成する画像合成処理を行う合成機能と、
前記画像の撮影の際の明るさを予め区分された何れかの明るさとして検出する検出機能と、
前記検出機能による検出結果に基づいて、前記画像合成処理の内容を設定する設定機能と、
を実現させるためのプログラムであって、
前記合成機能は、
前記基準画像内から特徴点を抽出する抽出機能を含み、
前記設定機能は、前記検出機能による検出結果として暗いと区分された方の明るさで検出した場合、前記抽出機能による前記特徴点の抽出数をより多い数とし、
前記合成機能は、
前記複数の画像の解像度を段階的に低減させて低解像度画像を作成する作成機能を含み、
前記設定機能は、前記検出機能による検出結果として暗いと区分された方の明るさで検出した場合、前記作成機能による前記解像度の低減に係る段階数をより多い数とする
プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007340377A JP4952574B2 (ja) | 2007-12-28 | 2007-12-28 | 画像合成装置及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007340377A JP4952574B2 (ja) | 2007-12-28 | 2007-12-28 | 画像合成装置及びプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012052903A Division JP5413625B2 (ja) | 2012-03-09 | 2012-03-09 | 画像合成装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009163357A JP2009163357A (ja) | 2009-07-23 |
| JP4952574B2 true JP4952574B2 (ja) | 2012-06-13 |
Family
ID=40965931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007340377A Expired - Fee Related JP4952574B2 (ja) | 2007-12-28 | 2007-12-28 | 画像合成装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4952574B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012137933A (ja) * | 2010-12-27 | 2012-07-19 | Kokusai Kogyo Co Ltd | 被写地物の位置特定方法とそのプログラム、及び表示地図、並びに撮影位置取得方法とそのプログラム、及び撮影位置取得装置 |
| JP5708097B2 (ja) * | 2011-03-18 | 2015-04-30 | 株式会社リコー | 撮像装置、撮像方法、及び撮像プログラム |
| US9183638B2 (en) * | 2011-08-09 | 2015-11-10 | The Boeing Company | Image based position determination |
| JP2013132011A (ja) * | 2011-12-22 | 2013-07-04 | Canon Inc | 撮像装置、撮像方法及びプログラム |
| JP2015179426A (ja) * | 2014-03-19 | 2015-10-08 | 富士通株式会社 | 情報処理装置、パラメータの決定方法、及びプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3722486B1 (ja) * | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
| JP4597087B2 (ja) * | 2006-03-30 | 2010-12-15 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
-
2007
- 2007-12-28 JP JP2007340377A patent/JP4952574B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009163357A (ja) | 2009-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5574423B2 (ja) | 撮像装置、表示制御方法及びプログラム | |
| WO2016023406A1 (zh) | 物体运动轨迹的拍摄方法、移动终端和计算机存储介质 | |
| JP5195660B2 (ja) | 撮像装置、合焦方法及びプログラム | |
| KR20120115127A (ko) | 광각 화상을 생성 가능한 화상 처리 장치 | |
| JP4952574B2 (ja) | 画像合成装置及びプログラム | |
| JP5413625B2 (ja) | 画像合成装置及びプログラム | |
| JP6541501B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
| JP4792929B2 (ja) | デジタルカメラ | |
| JP2010035131A (ja) | 撮像装置及び撮像方法 | |
| JP5910613B2 (ja) | 画像合成装置及びプログラム | |
| JP5397426B2 (ja) | 撮像装置、合焦方法及びプログラム | |
| JP5831492B2 (ja) | 撮像装置、表示制御方法及びプログラム | |
| JP6717354B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4985716B2 (ja) | 撮像装置、合焦評価領域の設定方法、及び、プログラム | |
| JP4687619B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2008283477A (ja) | 画像処理装置及び画像処理方法 | |
| US11736658B2 (en) | Image pickup apparatus, image pickup method, and storage medium | |
| JP5614277B2 (ja) | ウェーブフォームを記録可能なカメラ | |
| JP2010014981A (ja) | 撮像装置及びその制御方法及びプログラム | |
| KR20130092213A (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
| JP5929362B2 (ja) | 撮像装置および撮像方法 | |
| JP2011077850A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2011135437A (ja) | 撮像装置、画像合成方法及びプログラム | |
| JP2009198956A (ja) | 撮像装置及びプログラム | |
| JP2009272703A (ja) | 撮像装置及びその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100531 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110819 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111124 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120214 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4952574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |