JP3788714B2 - 撮像装置及びデジタルカメラ - Google Patents
撮像装置及びデジタルカメラ Download PDFInfo
- Publication number
- JP3788714B2 JP3788714B2 JP2000035092A JP2000035092A JP3788714B2 JP 3788714 B2 JP3788714 B2 JP 3788714B2 JP 2000035092 A JP2000035092 A JP 2000035092A JP 2000035092 A JP2000035092 A JP 2000035092A JP 3788714 B2 JP3788714 B2 JP 3788714B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- main subject
- subject
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラなどの撮像装置に係り、特に、被写体の複数枚の画像情報を得て、それを合成することにより精細度、ダイナミックレンジなどを向上させた画像を作成する用途に好適な撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラなどの撮像装置では、一般にＣＣＤ固体撮像素子などの固体撮像素子が一般に用いられる。撮影画像の解像度は、基本的に、使用する固体撮像素子の画素数によって決まる。近年、固体撮像素子の素子数が著しく増加したとはいえ、銀塩フィルムを用いるカメラに匹敵するような高精細画像を得ることは不可能である。
【０００３】
固体撮像素子の画素数の不足を補って、より高精細な画像を得る方法として、被写体像を１画素又は複数画素分だけ相対的に変位させて複数枚の画像情報を撮像し、それら複数枚の画像情報を合成して、より高精細な画像を得る、いわゆる「画素ずらし方式」が考案されている（例えば特開平１０−３３６６８６号、特開平１１−１８７３０９号など）。
【０００４】
このような「画素ずらし方式」では、手ぶれなどによって撮像装置が振動すると、正常な画像合成が不可能になる場合がある。この問題に対処するため、振動ジャイロを用いて手ぶれなどによる撮像装置の回転（ピッチング、ヨーイング）を検出し、可変頂角プリズムを用いて、画素ずらしと共に回転成分の補正（手ぶれ補正）を行う技術が知られている（例えば、特開平７−２８７２６８号、特開平１１−１８７３０９号など）。また、この特開平１１−１８７３０９号公報には、露光値、焦点距離及び手ぶれ補正量に基づいて、指定された回数の画素ずらし撮影が可能か判断し、不可能な場合に画素ずらし回数の変更などを警告する技術も開示されている。
【０００５】
高精細・広範囲の画像を得るための技術として、複数枚の画像を貼り合わせて１枚の合成画像を作成する技術も知られている。この技術に関しては、画像間の比較によって、貼り合わせ合成に必要な画像のアフィン変換や平行移動のパラメータを算出し、そのパラメータを用いて複数枚の画像を補正して貼り合わせる技術も知られている（例えば特開平５−２６０２６４号など）。
【０００６】
また、ＣＣＤ固体撮像素子などの固体撮像素子は、銀塩フィルムに比べて入射光に対するダイナミックレンジが狭いため、撮影画角内に明るい被写体と暗い被写体が混在する場合に、明るい被写体の白とびや、暗い被写体の潰れが起きやすい。これに対しては、異なる露光量で同じ被写体を複数回撮像し、得られた複数枚の画像情報から、ダイナミックレンジを拡大した画像情報を合成する技術も知られている（例えば特開平１０−１５５１１２号など）。また、画素ずらしを行って複数回撮像し、その少なくとも１回は露光量を変化させ、撮像した複数枚の画像情報を合成することにより、ダイナミックレンジを拡大し、かつ高精細化した画像を作成する技術も知られている（例えば特開平８−３７６２８号、特開平１０−４２１８２号など）。
【０００７】
【発明が解決しようとする課題】
特開平７−２８７２６８号公報、特開平１１−１８７３０９号公報などに開示されているような手ぶれ補正を行っても、必ずしも良好な画像を合成できない場合がある。このような不都合は、遠近差の大きい被写体を撮像した場合に起きやすい。その１つの原因は、撮像装置の並進ぶれの影響が考慮されていないことである。これについて図２５乃至図３０によって説明する。図２５、図２６及び図２８において、５００と５０２は撮像装置の撮影光学系と撮像素子である。
【０００８】
近距離の人物などの被写体を、無限遠の風景などを背景にして撮影する時に、図２５に実線で示すような方位から破線で示す方位へ角度θだけ撮像装置の回転ぶれが生じたとする。この場合、近距離の被写体と背景に分けて見ると、図２６に示すように、撮像素子５０２の結像面上で、近距離の被写体の像と背景の像は回転ぶれ角度θに対応した同じ量だけ移動する。したがって、回転ぶれの前と後の画像を重ねると図２７のようになる。このような回転ぶれによる像の移動は、基本的には前記特開平７−２８７２６８号公報、特開平１１−１８７３０９号公報などに開示されている従来技術の手ぶれ補正によって補正可能である。
【０００９】
一方、撮像装置が、図２８に実線で示すような位置から破線で示すような位置へ、被写体に対し並進ぶれを起こした場合には、無限遠にある背景の像は撮像素子５０２上で移動しないが（移動量は無視できるほど小さい）、近距離にある被写体の像は無視できない量だけ移動する。並進ぶれによる像の移動量ｄは、基線長を有する三角測量の原理に従い、撮像装置の並進量をＢ、撮影光学系５００の主点の位置から被写体までの距離をＬ、撮影光学系５００の焦点距離をｆとすると、
ｄ＝（Ｂ×ｆ）／Ｌ
で計算される。すなわち、近い被写体ほど並進ぶれによる像の移動量が大きい。例えば、画角が５４゜（３５ｍｍフィルム換算で焦点距離３５ｍｍ）、撮像素子の水平画素数が１２８０画素のデジタルカメラで２ｍ先の被写体を撮影する場合、デジタルカメラが１．６ｍｍだけ並進すると、撮像素子上では像が１画素分移動する。
【００１０】
並進ぶれの前の画像と後の画像とを重ねると図２９のようになる。また、図３０に示すように主要被写体像が重なるように２枚の画像情報をシフトすると、背景部分の像が大きくずれてしまう。したがって、回転ぶれによる像ぶれを補正できたとしても、並進ぶれのために画素ずらしによる画像合成を正常に行うことができない。
【００１１】
特開平７−２８７２６８号公報、特開平１１−１８７３０９号公報などに開示されている従来技術では、このような並進ぶれを検出できない。仮に、何らかの検出手段を用いて並進ぶれを検出できたとしても、可変頂角プリズムによって並進ぶれと回転ぶれを同時に補正することはできない。前述のように、回転ぶれによる像移動量は被写体の距離に依存しないが、並進による像移動量は被写体の距離によって変化するためである。したがって、無視できない程度の並進ぶれがあった場合に、「画素ずらし」により画像合成を行うと合成画像の品質が悪化する。このことは、画素ずらしを行わずに複数枚の画像情報を撮影し、それを合成することによってダイナミックレンジを拡大した画像を作成する場合においても同様である。
【００１２】
また、高精細・広範囲の画像を得るために異なった方位から撮影した画像の貼り合わせ合成を行う場合においても、同様に並進ぶれによる悪影響がある。例えば、図３１に示すような画像を図３２に示すような２枚の画像に分割して撮影し、それを貼り合わせ合成する場合、撮影時に並進ぶれが起こると、遠方の背景に関しては、並進ぶれによる影響が小さいため単純に貼り合わせ合成が可能であるが、並進ぶれの影響の大きい前景（人物）に関しては、背景と同様に貼り合わせたのでは正常に合成できない。
【００１３】
また、画素ずらしを行って撮影した複数枚の画像情報から高精細な合成画像を作成する場合、合成画像中の主要被写体部分で十分な精細度を得られることが最重要である。手ぶれ補正を行ったとしても、主要被写体部分の像ぶれを十分に補正することができない場合には、合成画像において肝心な主要被写体部分の精細度が上がらない。このことは、複数枚の画像情報の合成によってダイナミックレンジを拡大する場合や分割撮影した画像情報の貼り合わせ合成の場合でも同様である。したがって、手ぶれ補正や、正常な画像合成の可否判定などは、主要被写体に着目して行うのが望ましいはずである。しかし、特開平１１−１８７３０９号公報などに開示されているような従来技術においては、そのような配慮がなされていない。
【００１４】
本発明は、以上に述べたような画像合成に関連した問題点を改良したデジタルカメラなどの撮像装置を提供するものである。すなわち、本発明の１つの目的は、高精度な合成画像を作成するための画像情報を取得し、また、取得した画像情報から高品質な合成画像を作成するための撮像装置を提供することにある。特に本発明は、並進ぶれの程度に応じて合成画像の作成方法を切り替えることにより、並進ぶれがある場合にも高品質な合成画像を得ることができる撮像装置を提供することにある。本発明の他の目的は、少なくとも主要被写体に関して高精度な画像合成が不可能な状況を検出し、それを警告する撮像装置を提供することにある。本発明の他の目的は、合成画像を作成する上で許容できない並進ぶれが生じた場合に、それを検出して警告する撮像装置を提供することにある。
【００１５】
【課題を解決するための手段】
本発明は、画像合成用の複数枚の画像情報を取得し、合成画像を作成する機能を有する撮像装置において、撮影光学系と、前記撮像光学系を介して結像された被写体像を撮像す る撮像素子と、前記撮像素子と被写体像とを相対変位させるための相対変位手段と、主要被写体を特定するための主要被写体特定手段と、前記撮像素子により撮像された被写体像について、前記主要被写体特定手段により特定された主要被写体の像ぶれ量とそれ以外の被写体（以下、背景と呼ぶ）の像ぶれ量とを検出する像ぶれ検出手段と、撮影指示に応答して画像合成用の複数枚の画像情報を取得するために前記撮像素子に撮像動作を複数回行わせるとともに、該撮像動作時に、前記像ぶれ検出手段により検出された主要被写体の像ぶれ量に基づいて主要被写体の像ぶれを補正するために前記相対変位手段によって前記撮像素子と被写体像とを相対変位させる制御手段と、前記像ぶれ検出手段により検出された主要被写体の像ぶれ量に基づいて、前記相対変位手段により主要被写体の像ぶれの補正が可能か判定する第１の判定手段と、前記第１の判定手段で可能と判定された場合に、前記像ぶれ検出手段より検出された主要被写体の像ぶれ量と背景の像ぶれ量とに基づいて、さらに背景合成が可能な画像情報を取得可能か判定する第２の判定手段と、前記第１の判定手段により可能であると判定された場合に画像合成が可能とみなして、前記第２の判定手段の判定結果に基づき、前記第２の判定手段により可能であると判定された場合には、合成画像の全体の情報を複数枚の画像情報を用いて作成し、前記第２の判定手段により可能でないと判定された場合には、複数枚の画像情報間の局所的な像ずれ量を検出し、像ずれ量が所定値以下の部分では複数枚の画像情報を用いて合成画像情報を作成し、像ずれ量が所定値を越える部分では１枚の画像情報を用いて合成画像情報を作成する画像合成手段と、を具備することを主要な特徴とする。
【００１６】
また、本発明の撮像装置は、前記第１の判定手段により主要被写体の像ぶれが補正不可能であると判定された場合に警告をする第１の警告手段を具備することを特徴とする。
【００１７】
さらに、本発明の撮像装置は、前記第２の判定手段により背景合成が可能な画像情報の取得が不可能であると判定された場合に警告をする第２の警告手段を具備することを特徴とする。
【００１８】
また、本発明の撮像装置は、三脚などの固定具を使用した場合、手ぶれの生じにくいことを考慮して、三脚などの固定具の装着を検知する検知手段を具備し、該検知手段により固定具の装着が検知された場合は前記第１の警告や第２の警告をしないようにすることを特徴とする。
【００１９】
以上に述べた本発明の特徴及びその他の特徴について、以下、本発明の実施の形態に関連し詳細に説明する。
【００２０】
【発明の実施の形態】
添付図面を参照し、本発明の実施の一形態として、画素ずらしによる画像合成のための撮影モードを持つデジタルカメラについて説明する。図１は、このようなデジタルカメラのブロック構成の一例を示すブロック図である。
【００２１】
このデジタルカメラは、図１に見られるように、撮影光学系１００、撮像素子１０２、アナログ信号処理部１０４、画像処理部１０６、画像処理バッファメモリ１０８、カードメモリ１１２の読み書きのためのカードメモリ・インタフェース１１０、内部表示装置１１４、外部表示装置１１６、撮像素子変位機構１１８とその駆動回路１２０、ユーザ操作部１２２、三脚センサ１２４、測距センサ１２６、視線検出センサ１２８、制御部１３０などから構成されている。
【００２２】
このデジタルカメラの外観形状の一例を図２乃至図４に示す。図２は、デジタルカメラ本体１３８の開閉蓋部１４０を開いた状態を示す概略斜視図である。図３と図４は開平蓋部１４０を閉じた状態の概略正面図と概略底面図である。外部表示装置１１６は開閉蓋部１４０に設けられる。この開閉蓋部１４０が開いた状態であるか閉じた状態であるかを検知するための不図示のセンサが設けられており、このセンサからの信号によって制御部１３０は開平蓋部１４０の状態を判断できる。内部表示装置１１４と視線検出センサ１２８は、図２に示すビューファインダ１４２の内部に設けられる。ユーザ操作部１２２は、撮影者によって操作されるスイッチなどからなり、撮影指示の入力のためのレリーズスイッチ１４４や、撮影モードを選択するためのモード選択スイッチ１４６などを含む。レリーズスイッチ１４４とモード選択スイッチ１４６は、例えば図２に示すような位置に設けられる。なお、ここではレリーズスイッチ１４４の押下によって撮影指示を入力するものとして説明するが、タイマーによって撮影指示を入力したり、電波や赤外光を用いるリモートコントローラの操作によって撮影指示を入力するような構成とすることも可能である。撮影光学系１００の撮影レンズ１４８は、例えば図３に示すような位置に設けられる。測距センサ１２６は、例えば図３に示すような測距窓１５０の内部に設けられる。三脚検出センサ１２４は、例えば図４に示すようにデジタルカメラ本体１３８の底面に設けられた三脚取付用ネジ穴１５２の近傍に設けられる。
【００２３】
撮影光学系１００は、通常、撮影レンズ１５０のほかに絞り機構やシャッタ機構を含む。撮像素子１０２は例えばＣＣＤ固体撮像素子であり、撮影光学系１００によって結像された被写体像を撮像し、アナログ画像信号を出力する。このデジタルカメラは、特開平１０−３３６６８６号公報に開示されているような画素ずらしによる画像合成を行うため、同公報に開示されている例と同様の、図１４に示すようにＲ，Ｇ，Ｂ各色の画素が配列された撮像素子が撮像素子１０２として用いられるものとする。言うまでもなく、撮像素子１０２上のカラー配列はこれに限定されない。アナログ信号処理部１０４は、例えば、アナログ画像信号をＣＤＳ（相関２重サンプリング）回路に入力し、リセットノイズを除去するための相関サンプリングを行ったのちＡＧＣ回路に通して所定の信号レベルに増幅し、Ａ／Ｄ変換器によってデジタル信号に変換する構成である。
【００２４】
画像処理部１０６は、例えばプログラム制御のＤＳＰ（デジタル信号プロセサ）やＡＳＩＣ（特定用途向け集積回路）などからなり、アナログ信号処理部１０４より入力するデジタル画像情報から、内部表示装置１１４や外部表示装置１１６に表示するためのスルー画を生成したり、カードメモリ・インタフェース１１０を介してカードメモリ１１２に記録させる静止画を作成したりする。画像処理部１０６は、後述のように、主要被写体及びそれ以外の被写体（背景）の像ぶれ量の検出、画像合成、カードメモリ１１２に書き込むための静止画のＪＰＥＧ圧縮や、カードメモリ１１２から読み込んだＪＰＥＧ圧縮画像の伸長など、画像情報に関連した各種処理のための手段として利用される。画像処理バッファ１０８は、アナログ信号処理部１０４より入力したデジタル画像情報や、画像処理部１０６によって作成された画像データなどの一時記憶に利用される。
【００２５】
撮像素子変位機構１１８は、ピント合わせのために撮影光学系１００の光軸方向に撮像素子１０２を進退させたり、手ぶれ補正や「画素ずらし」のために撮影光学系１００の光軸と直交する方向への撮像素子１０２の変位（撮像光学系１００により結像される被写体像と撮像素子１０２との相対変位）を行うさせるための機構であり、駆動回路１２０を介して制御部１３０により制御される。すなわち、撮像素子変位機構１１８は、ピント合わせ機構、手ぶれ補正機構及び画素ずらし機構を兼ねるものである。
【００２６】
撮像素子変位機構１１８の構成例を図５及び図６に示す。ここに示す例においては、撮像素子取付枠２００に形成された窓２０２の内部に、積層圧電素子２０４，２０５を介して撮像素子１０２が取り付けられ、垂直方向の積層圧電素子２０５に対する印加電圧を変化させることにより撮像素子１０２を上下に変位させ、また、水平方向の積層圧電素子２０４に対する印加電圧を変化させることにより撮像素子１０２を図中左右に変位させることができる。撮像素子取付枠２００にはフォーカスモータ２０６のリードネジ２０８と係合するリードネジ穴２１０が設けられており、フォーカスモータ２０６を駆動することにより、図６に示すように、撮像素子１０２が取り付けられた撮像素子取付枠２００を不図示のガイド部材に沿って撮影光学系１００の光軸方向に進退させることができる。
【００２７】
測距センサ１２６は、撮影画角内の被写体との距離を検出するためのセンサである。この測距センサ１２６としては、例えば図７に示すように、デジタルカメラの撮影画角内の被写体像を結像させるためのレンズ２２０と、その被写体像を撮像するための撮像素子２２２などからなり、例えば撮像素子２２２を進退させてレンズ２２０との間隔を変化させ、画角全体又はその特定領域の撮像信号の高周波成分が最大となる間隔を検出することより距離情報を得る、いわゆるコントラスト法によるものを用いることができる。あるいは、図８に示すように、撮影画角内の被写体を撮像するためのレンズ２２０と撮像素子２２２を含む、基線長を有する２組の光学系を用いて、三角測量の原理によって被写体との距離を算出する、いわゆる位相差検出法による測距センサを用いることもできる。コントラスト法により測距を行う場合、撮影光学系１００、撮像素子１０２及び撮像素子変位機構１１８を測距センサ１２６として兼用することも可能である。
【００２８】
視線検出センサ１２８は、ビューファインダ１４２を覗いている撮影者の視線方向を検出するためのセンサである。この視線検出センサ１２８としては、例えば、図９に示すように、ビューファインダ１４２を覗いている撮影者の眼球２３１の特定位置に光像すなわちプルキンエ像を形成するための赤外発光ダイオードなどの光源２３０と、このプルキンエ像と眼球の黒目（瞳孔）を検出するための受光素子２３２などからなる構成である。図１０に示すように、視線の移動によって眼球の黒目２３４は移動するがプルキンエ像２３６は移動しない。したがって、図１１に示すように、眼球の黒目２３４とプルキンエ像２３６との相対的な位置関係（Δｘ，Δｙ）から撮影者の視線方向を検出できる。より具体的には、黒目２３４は背景より暗く、プルキンエ像２３６は背景より明るいので、背景より暗い部分の重心と、背景より明るい部分の重心の相対的な位置関係を検出すればよい。一般に、撮影者はレリーズ操作時に主要被写体を見つめるため、視線方向を検出することによって主要被写体を推定できる。なお、レリーズ操作時に主要被写体を見つめるように撮影者に促すためのメッセージを、内部表示装置１１４に表示させることも効果的である。
【００２９】
三脚センサ１２４は、デジタルカメラに三脚（又は、その他の固定具）が装着されているか否かを検出するもので、例えば、図１２に簡略化して示すように、三脚取付用ネジ穴１５２に形成された貫通穴２５２，２５４を介して発光素子２５６と受光素子２５８を対向させて配置した構成である。三脚が装着された状態では、発光素子２５６の発した光は三脚の取付ネジ（不図示）によって遮られて受光素子２５８に入射しない。一方、三脚が装着されていない状態では、発光素子２５６の発した光は貫通穴２５６，２５８を通して受光素子２５８に入射する。したがって、三脚が装着されているか否かを受光素子２５８によって検知できる。また、図１３に簡略化して示すように、三脚に装着された時に、三脚の取付ネジの先端によって操作されるような位置に設けた機械的スイッチ２６０を三脚センサ１２４として用いることもできる。
【００３０】
内部表示装置１１４は、前述のようにビューファインダ１４２の内部に設けられるＬＣＤなどの小型の表示装置である。この内部表示装置１１４にスルー画、撮影した静止画、その他の情報を表示することによって、撮影者はビューファインダ１４２を覗いて、撮影可能な被写体や撮影した静止画などを確認することができる。内部表示装置１１４は、後述の警告のための手段としても利用される。外部表示装置１１６は、前述のようにデジタルカメラの開閉蓋部１４０に設けられるＬＣＤなどの表示装置である。この外部表示装置１１６にスルー画や撮影した静止画像などを表示することにより、撮影者はビューファインダ１４２から目を離した状態でも、構図の確認などを行うことができる。この外部表示装置１１６も後述の警告のための手段として利用される。
【００３１】
制御部１３０は、例えばマイクロコンピュータからなり、撮像素子変位機構１１８の制御、撮像素子１０２の撮像動作の制御、撮影光学系１００の絞り機構やシャッタ機構の制御、画像処理部１０６の制御などのほか、デジタルカメラの全体の動作シーケンスを制御する部分である。また、前記各センサ１２４，１２６，１２８やユーザ操作部１２２からの信号は制御部１３０に入力される。制御部１３０は、測距センサ１２６を利用して距離情報を取得し、視線検出センサ１２８を利用して撮影者の視線方向を検出し、ユーザ操作部１２２からの信号に応じて撮影モードの設定なども行う。また、後述するように、検出した視線方向に基づいて主要被写体を特定し、また、像ぶれに関連した判定も行う。
【００３２】
図１９は、このデジタルカメラの全体的動作フローの一例を示すフローチャートである。以下、このフローチャート並びに図２０乃至図２４のフローチャートを参照し、このデジタルカメラの動作を説明する。
【００３３】
撮影者は、撮影に先だって、ユーザ操作部１２２のモード選択スイッチ１４６を操作することにより、撮影モードとして「通常モード」又は「合成モード」を選択する。
【００３４】
ステップＳ１において、制御部１３０は、モード選択スイッチ１４６の信号から選択された撮影モードが合成モードであるか否かを判定する。そして、合成モードが選択されていないと判定した場合にはステップＳ２で撮影モードを通常モードにセットし、合成モードが選択されていると判定した場合にはステップＳ５で撮影モードを合成モードにセットする。
【００３５】
通常モードにセットされた場合には、ステップＳ３で、制御部１３０は、スルー画表示（動画表示）のための撮像素子１０２の駆動を開始するとともに、画像処理部１０６にスルー画表示及び像ぶれ量検出を行わせる。制御部１３０は、ステップＳ３の動作が１回行われるたびにレリーズスイッチ１４４からの信号によってレリーズスイッチ１４４がオン状態であるか判定し（ステップＳ４）、オン状態になるまでステップＳ３の動作を繰り返す。
【００３６】
このようなスルー画表示動作中に、制御部１３０は、視線検出センサ１２８を用いて撮影者の視線方向を検出し、それを検出できた場合には、その視線方向の被写体を主要被写体として特定し、その主要被写体からの距離（被写体情報１）を測距センサ１２６を用いて検出し、その距離情報に従って駆動回路１２０を介し撮像素子変位機構１１８のフォーカスモータ２０６を駆動することにより主要被写体へのピント合わせを行う。視線方向を検出できない場合には、撮影画角内の予め指定された領域、例えば撮影画角の中央部分にある被写体を主要被写体とし、それとの距離を検出し、その距離情報に従ってピント合わせを行う。なお、その指定領域をユーザ操作部１２２の操作によって撮影者が変更できるようにしてもよい。また、制御部１３０は、特定した主要被写体に対応した領域を画像処理部１０６に指定する。操作者がレリーズスイッチ１４４を押下し、それがオン状態になると、制御部１３０は静止画撮影動作（ステップＳ７）に移行する。
【００３７】
ステップＳ３において、画像処理部１０６は、アナログ信号処理部１０４より入力したデジタル画像情報からスルー画を作成し、それを内部表示装置１１４に表示させる。図１には図示されていないが、開閉扉部１４０の開閉状態を検知するセンサの出力信号によって制御部１３０は開閉扉部１４０が開いた状態か閉じた状態かを検出し、それを画像処理部１０６に通知する。画像処理部１０６は、開閉扉部１４０が開いた状態の時には、スルー画を外部表示装置１１６にも表示させる。また、画像処理部１０６は、前後２枚のスルー画間で、制御部１３０より指定された主要被写体の領域についてパターンマッチングを行い、主要被写体の像ぶれ量（被写体情報２）を検出する。この像ぶれ量検出の方法の詳細については、ステップＳ２５，Ｓ２８に関連して後述する。
【００３８】
ここで、スルー画表示動作について説明する。一般的に、デジタルカメラは、撮影者が撮影可能な画像を確認できるようにするためにスルー画表示（動画表示）機能を備えている。スルー画表示動作中は、一定時間間隔（１／６０秒間隔又は１／３０秒間隔）で撮像素子１０２によって撮像し、画像処理部１０６では、各撮像時に入力されたデジタル画像情報からスルー画を作成し、それを内部表示装置１１４、あるいは、内部表示装置１１４及び外部表示装置１１６に表示させる。レリーズ操作によって開始する静止画撮影動作の場合に作成される画像（静止画）は、撮像素子１０２の全画素の情報を利用して作成されるが、スルー画は撮像素子１０２の一部の画素の情報のみを用いて作成されるため、スルー画の作成と表示を高速に行うことが可能である。
【００３９】
撮影モードが合成モードにセットされた場合、ステップＳ６の動作が開始する。この動作は、撮影者がレリーズスイッチ１４４を押すまで繰り返される。ステップＳ６における動作については、図２０及び図２１のフローチャートを参照して後述する。レリーズスイッチ１４４が押されてステップＳ６の動作又はステップＳ３の動作が終了すると、ステップＳ７の静止画撮影動作が開始する。このステップＳ７における動作については、図２２乃至図２４のフローチャートを参照して後述する。
【００４０】
ステップＳ７の動作が終了すると、制御部１３０は画像処理部１０６に、ステップＳ７で作成された静止画について、例えば、エッジ強調のためのアパーチャ処理（ステップＳ８）、ガンマ補正処理（ステップＳ９）、ＲＧＢデータからＹＵＶデータへの変換処理（ステップＳ１０）、ＪＰＥＧ圧縮処理（ステップＳ１１）を行わせ、そのＪＰＥＧ圧縮画像データをカードメモリに記録させる（ステップＳ１２）。
【００４１】
次に、図２０及び図２１を参照し、ステップＳ６の動作について説明する。制御部１３０は、スルー画表示のための撮像動作を撮像素子１０２に連続的に行わせる。
【００４２】
まず、ステップＳ２１で、制御部１３０は画像処理部１０６にスルー画表示を行わせる。画像処理部１０６は、ステップＳ３に関連して述べたように撮像素子１０２の一部の画素の情報のみを用いてスルー画を作成し、開閉扉部１４０が閉じられている時には内部表示装置１１４のみにスルー画を表示し、開閉扉部１４０が開かれている時には内部表示装置１１４と外部表示装置１１６の両方にスルー画を表示する。ステップＳ２１からステップＳ３７のループの１回目のパスにおいては、ステップＳ２１で、制御部１３０は、測距センサ１２６を用いて例えば画角中央の被写体からの距離を検出し、その距離情報に従ってフォーカスモータ２０６を制御しピント合わせを行うが、２回目以降のパスにおいては、前回パスにおいてステップＳ２４又はＳ２７で取得された主要被写体と距離情報を用いてフォーカスモータ２０６を制御し、ピント合わせを行う。
【００４３】
ステップＳ２２で、制御部１３０は視線検出センサ１２８を用いて撮影者の視線方向を検出する。視線方向を検出できた場合（ステップＳ２３，Ｙｅｓ）、ステップＳ２４で、制御部１３０は、その視線方向の被写体を主要被写体とし、それとの距離（被写体情報１）を測距センサ１２６を用いて検出する。
【００４４】
次のステップＳ２５で、制御部１３０は、その主要被写体に対応した撮影画角内の領域を画像処理部１０６に通知し、主要被写体の像ぶれ量（被写体情報２）を画像処理部１０６で検出させる。この像ぶれ量を検出するには、主要被写体の動きベクトルを検出すればよい。具体的には、スルー画表示動作中においては、主要被写体が一定間隔で繰り返し撮像されるので、前後２枚のスルー画の一方を基準画像、他方を比較画像とし、両画像を相対的にシフトして主要被写体部分の相関を計算し、相関が最大になるシフト量を前後２枚のスルー画間での主要被写体の像ぶれ量として検出する。下記（１）式が相関ｒの基本的な計算式であり、基準画像のｉ番目の信号Ｉｉと比較画像のｉ番目の信号Ｍｉとの積和を計算する（ｉ＝１，２，．．．，Ｎ）。この基本式に代えて、下記（２）式を用いてもよい。（２）式は画像の明暗などの影響を受けにくい一般的な計算式である。
【数１】
【数２】
【００４５】
ステップＳ２２で視線方向を検出できなかった場合（ステップＳ２３，Ｎｏ）、撮影者がビューファインダを覗いていないと判断される。この場合、ステップＳ２６で、制御部１３０は、画像処理部１０６によって外部表示装置１１６の画面に予め指定された主要被写体範囲を表示させる。例えば、図１７に示すような主要被写体範囲を表す矩形枠２７０を表示させ、その範囲に主要被写体が入るような構図の設定を撮影者に促す。なお、そのような構図設定を促すための文言を同時に表示してもよい。そして、ステップＳ２８で、制御部１３０は主要被写体範囲内の被写体を主要被写体とし、測距センサ１２６を用いて主要被写体までの距離（被写体情報１）を検出する。次のステップＳ２７で、主要被写体に対応した撮影画角内の領域を画像処理部１０６に通知し、主要被写体の像ぶれ量（被写体情報２）を検出させる。この像ぶれ量の検出方法はステップＳ２５と同様である。
【００４６】
ステップＳ２５又はＳ２８が終了すると、ステップＳ２９で、制御部１３０は、画像処理部１０６において主要被写体以外の被写体（背景）の像ぶれ量（被写体情報３）を検出させる。この像ぶれ量の検出は、背景に対応する領域を対象として、ステップＳ２５と同様のスルー画間のパターンマッチングによって行われる。
【００４７】
次のステップＳ３０で、制御部１３０は、これまでに取得した被写体情報２（前後２枚のスルー画間の主要被写体の像ぶれ量）から、レリーズ操作により開始する静止画撮影のために必要な手ぶれ補正量１を算出する。これについて図１８を参照して説明する。スルー画表示動作中は図１８（ｃ）に示すように一定間隔ΔＴで撮像しているので、主要被写体像が例えば図１８（ａ）に示すように移動した場合には、前後２枚のスルー画間の主要被写体の像ぶれ量Δｄは図１８（ｂ）に示すようになる。レリーズスイッチ１４４が押されることにより開始する静止画撮影時の露光間隔は、図１８（ｃ）に示すようにスルー画表示動作中の露光間隔ΔＴと一般に異なる。したがって、静止画撮影時の露光間隔がスルー画表示動作中の露光間隔のＫ倍とすると、静止画像影時の露光中に主要被写体の像ぶれを生じさせないための手ぶれ補正量１は、被写体情報２（Δｄ）をＫ倍することによって得られる。
【００４８】
次にステップＳ３２で、制御部１３０は、算出した手ぶれ補正量１より、主要被写体の像ぶれの補正が可能か判定する。すなわち、算出した手ぶれ補正量１が撮像素子変位機構１１８により補正可能な範囲内であれば補正可能と判定し、その範囲を超えていれば補正不可能と判定する。なお、ここでは被写体情報２（像ぶれ量）ではなく、それより計算した手ぶれ補正量１を用いて判定したが、被写体情報２そのものを判定に用いてもよい。
【００４９】
手ぶれ補正が不可能な場合、主要被写体の像ぶれが十分に補正されないため、仮に静止画撮影動作によって得られる画像情報を合成したとしても少なくとも主要被写体については高精細画像は得られない。すなわち、ステップＳ３２は、画像合成が可能な画像情報を取得可能か否かの判定、あるいは、仮に画像合成用の画像情報を取得したとしても、その画像情報の合成が可能か否かの判定を行っている。そこで、ステップＳ３２で補正不可能（合成不可能）と判定した場合、制御部１３０は、画像処理部１０６により、合成が不可能である旨の警告を内部表示装置１１４に、開閉扉部１４０が開かれている場合には内部表示装置１１４と外部表示装置１１６の両方に表示させる（ステップＳ３３）。この警告は、例えば「合成できません。三脚を使用して下さい」というようなメッセージである。なお、デジタルカメラにスピーカを設け、音声で警告することも可能である。また、音声による警告と表示による警告を併用してもよい。このことは、後述の警告についても同様である。
【００５０】
前述のように、デジタルカメラが並進ぶれを生じた場合には、距離が異なる主要被写体と背景とでは像ぶれ量が異なるから、主要被写体の像ぶれ量から算出した手ぶれ補正量１に従い撮像素子変位機構１１８を制御して撮像素子１０２を変位させたとしても、背景部分については像ぶれを補正できず、したがって、撮影した２枚の画像情報を用いて背景部分を合成することはできない。
【００５１】
そこで、ステップＳ３４において、制御部１３０は、被写体情報２，３を用いて、主要被写体と背景の像ぶれ量の差Δｅ＝被写体情報２−被写体情報３を算出する。そしてステップＳ３５で、このΔｅに基づいて背景部分の合成が可能か判定する。ここでは１画素分の画素ずらしを行って撮影した２枚の画像情報を合成するため、像ぶれ量の差Δｅが１画素分を越えた場合に背景部分の合成が不可能と判定する。背景部分の合成が不可能と判定した場合、制御部１３０は、画像処理部１０６によって、内部表示装置１１４、あるいは内部表示装置１１４及び外部表示装置１１６に、背景部分の合成が不可能である旨の警告、例えば「背景が合成できません。三脚を使用して下さい」というようなメッセージを表示させる（ステップＳ３６）。
【００５２】
以上のステップＳ２１からステップＳ３５又はＳ３６までの動作は、撮影者によってレリーズスイッチ１４４が押されるまで繰り返される。レリーズスイッチ１４４が押され、同スイッチがオンすると（ステップＳ３７，Ｙｅｓ）、図１９のステップＳ６の動作が終了し、ステップＳ７の動作に進む。
【００５３】
なお、三脚が使用される場合、通常は手ぶれを心配する必要がないが、構図設定操作などで像ぶれが生じる。この像ぶれによって前述の警告が繰り返して出ると、撮影者によっては煩わしさを感じる。そこで、制御部１３０は、例えばステップＳ３２の直前で、三脚センサ１２４の信号から三脚装着の有無を判定し（ステップＳ３１）、装着されていると判定した場合には当該ステップからステップＳ３７までの間の処理ステップをスキップすることにより、無用な警告の表示を抑止する。
【００５４】
次に、図２２乃至図２４を参照し、ステップＳ７の動作について説明する。制御部１３０は、撮影モードと、ステップＳ３２，Ｓ３５の判定結果を調べることにより動作の流れを決定する（ステップＳ４１，Ｓ４２，Ｓ４３）。三脚が装着されていてステップＳ３２，Ｓ３５がスキップされる場合、ステップＳ３２の判定結果は「合成可能」、ステップＳ３５の判定結果は「背景合成可能」であるものとみなされる。
【００５５】
撮影モードが合成モードであって、ステップＳ３２で合成可能と判定されていて、かつ、ステップＳ３５で背景合成可能と判定されている場合には、制御部１３０は、静止画撮影動作を２回行う（ステップＳ４４）。この静止画撮影動作では、図１８（ｃ）に関連して説明したように、スルー画表示動作中とは異なった露光間隔で撮像が行われ、また、２回目の撮像動作は水平方向に１画素分だけ撮像素子１０２を変位させて行う。そして、画像処理部１０６において、撮像によって得られた２枚の画像情報（撮像素子１０２の全画素の情報を含む）から１枚の静止画すなわち合成画像を作成させる（ステップＳ４５）。この合成画像は、その全体が２枚の画像情報を合成することによって作成されるが、その詳細については後述する。
【００５６】
合成モードであって、ステップＳ３２で合成可能と判定されたが、ステップＳ３５で背景合成不可能と判定された場合には、制御部１３０は、ステップＳ４４と同様の静止画撮影動作を２回行い（ステップＳ４６）、次に画像処理部１０６において、２枚の画像情報から１枚の静止画すなわち合成画像を作成させる（ステップＳ４７）。このような動作となるのは並進ぶれなどによって背景部分の像ぶれが補正されなかった場合であるので、ステップＳ４７では、像ぶれが許容できる部分については２枚の画像情報を合成して合成画像情報を求めるが、像ぶれが許容できない部分については１枚目の画像情報のみを用い合成画像情報を求める。この合成画像の作成方法の詳細は後述する。
【００５７】
合成モードであるがステップＳ３２で合成不可能と判定された場合、又は、撮影モードが通常モードである場合には、制御部１３０は、１回だけ静止画撮影動作を行い（ステップＳ４８）、画像処理部１０６において、１枚の画像情報のみから１枚の静止画を作成させる（ステップＳ４９）。
【００５８】
ステップＳ４４，Ｓ４６の静止画撮影動作について、図２３により説明する。制御部１３０は、被写体情報１（ステップＳ２４又はＳ２７で最後に取得された主要被写体の距離情報）に従って、撮像素子変位機構１１８のフォーカスモータ２０６を駆動回路１２０を介して駆動することにより、主要被写体へのピント合わせを行い（ステップＳ５１）、撮像素子１０２による撮像を開始させる（ステップＳ５２）。撮像素子１０２の露光中に、制御部１３０はステップＳ３０で得られた手ぶれ補正量１に従って撮像素子変位機構１１８の積層圧電素子２０４，２０５を駆動回路１２０を介して駆動することにより、主要被写体の像ぶれを補正するように撮像素子１０２を撮影光学系１００に対して（結像された被写体像に対して）上下左右に相対変位させる（ステップＳ５３）。このような主要被写体に着目した手ぶれ補正を行いながら撮像を行い、所定時間経過後に１回目の撮像を終了させる（ステップＳ５４）。次に、制御部１３０は、撮像素子変位機構１１８の積層圧電素子（２０４，２０５）を駆動回路１２０を介して駆動することにより、撮像素子１０２を画素ずらしに必要な量だけ変位させる（ステップＳ５５）。ここでは、水平方向に１画素だけ画素ずらしを行うため、水平方向の積層圧電素子２０４を駆動して、撮像素子１０２を水平方向に１画素分だけ変位させる。そして、撮像素子１０２による２回目の撮像を開始させ（ステップＳ５６）、露光中にステップＳ５３と同様の手ぶれ補正を行い（ステップＳ５７）、所定時間を経過すると２回目の撮像を終了させる（ステップＳ５８）。画像処理部１０６においては、このような各回の撮像によってアナログ信号処理部１０４より入力した画像情報（撮像素子の全画素の情報を含む）を画像処理バッファメモリ１０８に保存する。
【００５９】
なお、ステップＳ４８においては、図２３のステップＳ５１からステップＳ５４までの動作が行われる。ただし、通常モードが選択されている場合には、ステップＳ５１においてステップＳ３で取得された距離情報がピント合わせに用いられ、またステップＳ５３においてステップＳ３で検出された像ぶれ量よりステップＳ３０と同様の方法で算出した手ぶれ補正量が手ぶれ補正に用いられる。
【００６０】
次に、ステップＳ４５，Ｓ４７の画像作成処理について説明する。前述のように、撮像素子１０２にはＲ，Ｇ，Ｂ各色の画素が図１４に示すように配列されている。２回目の静止画撮影動作時には、図１４において右方向に１画素分だけ画素ずらしが行われるので、１枚目の画像情報のＲ，Ｇ，Ｂ情報をそのまま大文字のＲ，Ｇ，Ｂで、２枚目の画像情報のＲ，Ｇ，Ｂ情報を小文字のｒ，ｇ，ｂで示し、これら２枚の画像情報を重ね合わせると、図１５のように表すことができ、また、Ｇ成分のみに注目すれば図１６のように表すことができる。図１６に見られるように、全ての画素においてＧ成分情報は得られているが、Ｂ成分情報又はＲ成分情報については周囲画素の情報から補間する必要がある。
【００６１】
ステップＳ４５においては、全画面にわたって十分な精度で像ぶれが補正されているため、全画面にわたって２枚の画像情報を用いて高精細化した画像を合成する。具体的には例えば、特開平１０−３３６６８６号公報に述べられているように、図１５に”Ｂ／ｇ”と示されている画素については、Ｂ，Ｇ成分情報としてそのＢ，ｇ情報をそのまま用い、Ｒ成分情報は上下の画素のｒ情報より補間する。また、図１５に”Ｇ／ｒ”と示されている画素については、Ｇ，Ｒ成分情報としてそのＧ，ｒ情報をそのまま用い、Ｂ成分情報は上下の画素のＢ情報より補間する。同様に、”Ｒ／ｇ”と示されている画素については、Ｒ，Ｇ成分情報としてそのＲ，ｇ情報をそのまま用い、Ｂ成分情報は上下の画素のｂ情報より補間する。”Ｇ／ｂ”と示されている画素については、Ｇ，Ｂ成分情報としてそのＧ，ｂ情報をそのまま用い、Ｒ成分情報は上下の画素のＲ情報より補間する。なお、特開平１０−３３６６８６号公報に例示さているように、欠落した成分の補間のために注目画素のより広い範囲の近傍画素の情報を利用してもよい。
【００６２】
次に、ステップＳ４７について説明する。このステップにおいても、主要被写体部分に関しては、像ぶれが十分な精度で補正されているため、ステップＳ４５の場合と同様の方法で２枚の画像情報を合成することができる。しかし、背景部分では並進ぶれなどによる像ぶれが大きいため、１枚の画像情報のみを用いて画像を作成する必要がある。次に、このような画像作成処理の具体例を図２４のフローチャートを参照して説明する。
【００６３】
初めに、２枚の画像情報間の局所的パターンマッチングによって、画素毎に像ぶれの程度を判定する。ここに述べる例では、２枚の画像情報間の局所的な相関を利用する。まず、１つの画素を注目画素として選び、１枚目の画像情報における注目画素とその周辺画素のＧ成分情報Ｇｉを基準画像信号Ｉｉとして選び（ステップＳ６１）、２枚目の画像情報の対応画素のＧ成分情報ｇｉを比較画像信号Ｍｉとして選び（ステップＳ６２）、基準画像Ｉに対して比較画像Ｍを異なったシフト量でシフトして、両画像間の相関を例えば前記（２）式により計算する（ステップＳ６３）。このシフト範囲は、例えば
ｘ方向シフト量＝−１，０，＋１（画素）
ｙ方向シフト量＝−１，０，＋１（画素）
の範囲とする。そして、相関が最大となったｘ，ｙ方向のシフト量Ｘ，Ｙを求め（ステップＳ６４）、Ｘ＝＋１かつＹ＝０であるか判定する（ステップＳ６５）。ここでは、水平に右方向（正方向）に１画素分の画素ずらしを行っているため、Ｘ＝＋１，Ｙ＝０であれば、注目画素に関して並進ぶれなどによる像ぶれはないということである。
【００６４】
ステップＳ６５で像ぶれがないと判定された注目画素に関しては、ステップＳ４５と同様の２枚の画像情報の合成を行って、そのＲ，Ｇ，Ｂ成分情報を求める（ステップＳ６６）。
【００６５】
一方、Ｘ＝＋１かつＹ＝０の条件が満たされない場合は、注目画素に関して並進ぶれなどによる許容できない像ぶれがあるということであるので、１枚目の画像情報のみを用いて注目画素のＲ，Ｇ，Ｂ成分情報を求める（ステップＳ６７）。例えば、次のようにして注目画素のＲ，Ｇ，Ｂ成分情報を決定する。図１５に”Ｂ／ｇ”と示されている画素が注目画素であるならば、Ｂ成分情報としてはそのＢ情報をそのまま用い、Ｇ成分情報は上下左右の画素のＧ情報より補間し、また、Ｒ成分情報は左上、右上、左下、右下の画素のＲ情報より補間する。図１５に”Ｇ／ｒ”と示されている画素が注目画素であるならば、Ｇ成分情報としてはそのＧ情報をそのまま用い、Ｒ成分情報は左右の画素のＲ情報より補間し、Ｂ成分情報は上下の画素のＢ情報より補間する。”Ｒ／ｇ”と示されている画素が注目画素ならば、Ｒ成分情報としてそのＲ情報を用い、Ｇ成分情報は上下左右の画素のＧ情報より補間し、Ｂ成分情報は左上、右上、左下、右下の画素のＢ情報より補間する。”Ｇ／ｂ”と示された画素が注目画素ならば、Ｇ成分情報としてそのＧ情報をそのまま用い、Ｒ成分情報は上下の画素のＲ情報より補間し、Ｂ成分情報は左右の画素のＢ情報より補間する。
【００６６】
以上の処理ステップを、注目画素を画面の左上から右下まで移動させながら繰り返す。画面右下の画素まで処理すると（ステップＳ６８，Ｙｅｓ）、ステップ４７の処理を終了する。このようにして、並進ぶれがある場合でも、主要被写体部分の精細度が高く、また、背景部分も像ぶれの影響が少ない高品質な合成画像を作成することができる。
【００６７】
なお、ステップＳ４９では、１枚の画像情報のみしか得られていないため、図２４のステップＳ６７と同じ処理を全画面にわたって行うことにより静止画を作成する。
【００６８】
本発明の他の実施形態によれば、以上に説明したデジタルカメラと同様な構成において、合成モードの場合に、静止画撮影動作（ステップＳ７）で画素ずらし撮像動作が３回以上連続して行われ、これによって得られた複数枚の画像情報から合成画像が作成される。
【００６９】
前記デジタルカメラにおいては、主要被写体の特定方法として撮影者の視線方向を利用したが、本発明の他の実施形態によれば、以下に述べるような構成の主要被写体特定手段が用いられる。
【００７０】
（１）測距センサ１２６を利用して検出した距離が、予め指定した距離条件に合致する被写体（具体的には、最も距離が近い被写体、指定した距離範囲にある被写体など）を主要被写体とする。
【００７１】
（２）スルー画中の、予め指定された色温度の条件に合致する領域（具体的には、人物を撮影したい場合に、肌色に相当する色温度を持つ領域など）に対応する被写体を主要被写体とする。
【００７２】
（３）スルー画中の、予め指定されたパターン特徴条件に合致する領域（具体的には、人物を撮影する場合に、人間の顔のパターン特徴に合致する領域など）に対応する被写体を主要被写体とする。
【００７３】
（４）スルー画中の、予め指定された周波数成分に関する条件に合致する領域、具体的には最も高い周波成分が抽出された領域などに対応した被写体を主要被写体とする。撮影者は、注目した主要被写体にピント合わせをするので、その部分の高周波数成分が増加するからである。
【００７４】
（５）図２０のステップＳ２６に関連して説明したような、予め指定した範囲に含まれる被写体を常に主要被写体とする。この場合、撮影者が、その範囲に主要被写体が入るように構図を決めさせる必要があるため、その範囲と被写体との関係を撮影者が確認できるように、例えば図１７に示すように、その範囲と撮像画像とを関連付けて表示すると好ましい。
【００７５】
また、前記デジタルカメラにおいては、手ぶれ補正や画素ずらしのために撮像素子１０２を移動させることによって、撮像素子１０２と被写体像とを相対変位させたが、同様の相対変位を他の手段によって実現してもよい。例えば特開平１０−３３６６８６号公報などに述べられているように、撮影光学系１００と撮像素子１０２との間にプリズムを配し、このプリズムの姿勢を変化させることによって被写体像と撮像素子１０２とを相対変位させることも可能である。また、特開閉７−２８７２６８号公報、特開平１１−１８７３０９号公報などに述べられているように、撮像光学系１００の前方に可変頂角プリズムを配置し、これによって主要被写体の像ぶれ量に基づき被写体像の結像位置を変位させることにより被写体像と撮像素子１０２とを相対変位させることも可能である。
【００７６】
本発明の他の実施形態によれば、前記デジタルカメラと同様な構成において、合成モードの場合に、静止画撮影動作（ステップＳ７）で画素ずらし撮像動作が２回以上連続して行われるが、その少なくとも１回の撮像動作で露光量が変更され、得られた２枚以上の画像情報から高精細・広ダイナミックレンジの合成画像が作成される。例えば、図２３のステップＳ５５で、画素ずらしとともに露光量変更を行うことによって、このような実施形態を実現できる。
【００７７】
本発明の他の実施形態によれば、前記デジタルカメラと同様な構成において、合成モードの場合に、静止画撮影動作（ステップＳ７）で画素ずらしを行うことなく撮像動作が２回以上連続して行われ、その少なくとも１回の撮像動作で露光量が変更され、得られた２枚以上の画像情報からダイナミックレンジが拡大された合成画像が作成される。例えば、図２３のステップＳ５５で画素ずらしを行わず、露光量変更を行うことによって、このような実施形態を実現できる。
【００７８】
本発明の他の実施形態によれば、１回の撮影指示に応答して１枚の静止画撮影を行い、貼り合わせ合成によるパノラマ画像などを作成するための画像情報を１枚ずつ取得する構成とされる。例えば、前記デジタルカメラにおいて、合成モードの場合に、レリーズ操作に応答してステップＳ７で撮像動作を１回だけ行い、再びステップＳ６のスルー画表示動作に戻るような動作シーケンスの変更を行うことによって、このような実施形態を実現できる。
【００７９】
本発明の他の実施形態によれば、主要被写体の像ぶれ量に基づいた手ぶれ補正を行わないが、前記デジタルカメラの場合と同様な像ぶれに関する判定と警告を行う構成とされる。例えば、前記デジタルカメラにおいて、撮像素子変位機構１１８の積層圧電素子２０４，２０５を省き、撮像素子１０２を撮像素子取付枠２００に固定し、ステップＳ７で手ぶれ補正を行わないようにし、また、手ぶれ補正を行わないため、ステップＳ３２においては主要被写体の像ぶれが無視できるほど小さい場合にのみ「合成可能」と判定するように判定条件を変更し、また、三脚装着の有無の判定ステップＳ３１を省くことによって、このような実施形態を実現できる。三脚などの固定具を使用することを前提とした撮像装置の場合、このような実施形態でも画像合成のための画像情報を支障なく取得できる。
【００８０】
前記デジタルカメラにおいては取得された画像情報から作成された合成画像のデータのみが出力されたが、本発明の他の実施形態によれば、合成前の画像情報又はその圧縮データとともに、その撮影に関連して得られた主要被写体の範囲や距離、主要被写体と背景との像ずれ量の差又はその判定結果といった被写体情報がカードメモリ１１２に出力されたり、他のインタフェース手段を介してパソコンなどの外部装置へ出力される。このような実施形態によれば、パソコンなどの外部装置において、画像情報に付加された被写体情報を利用し、より高度な画像合成処理が可能になる。
【００８１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画像合成用の画像情報を取得し、また、その合成画像を作成する用途に好適なデジタルカメラなどの撮像装置を実現できる。以下に、本発明の撮像装置の主な効果を列挙する。
【００８２】
（１）手ぶれが生じた場合であっても主要被写体の像ぶれが補正され、また、並進ぶれがある場合にも、背景についても高品質な合成画像を作成することができる。
【００８３】
（２）三脚などを使用しなくとも、１回の撮影により、少なくとも主要被写体に関し高精度なダイナミックレンジ拡大合成、貼り合わせ合成、画素ずらし合成が可能な複数枚の画像情報を得ることができる。また、２回以上撮影することにより、主要被写体のみならず背景についても高精度なダイナミックレンジ拡大合成や貼り合わせ合成が可能な複数枚の画像情報を確実に取得できる。
【００８４】
（３）主要被写体の像ぶれを補正できないような手ぶれは警告されるため、撮影者は不適切な画像情報の取得や合成画像の作成を容易に回避できる。また、主要被写体の像ぶれを補正できないような手ぶれが生じた場合には撮影動作が抑止されるため、手ぶれによる不適切な画像情報の取得や合成画像の作成を自動的に防止できる。
【００８５】
（４）影響を無視できないような並進ぶれが生じた場合には警告されるため、主要被写体のみならず背景についても高精度な画像合成が可能な複数枚の画像情報を確実に取得できる。
【００８６】
（５）三脚などの固定具を使用し手ぶれの心配がない場合には警告を抑止することにより、構図設定などの操作時に無用な警告によって撮影者に不快感を与えないようにすることができる。
【００８７】
（６）撮像素子により被写体像を連続的に撮像することによって得られた相前後する画像情報間のパターンマッチングを主要被写体の領域及び背景の領域について行うことによって、主要被写体の像ぶれ量及び背景の像ぶれ量をそれぞれ検出することにより、主要被写体及び背景の像ぶれ量を高精度に検出することができる。
【００８８】
（７）撮影者の視線方向を検出する手段により、撮影者が着目した被写体を注視するだけで、その被写体を主要被写体として撮像装置を動作させることができ、また、撮影者の視線方向を検出できない状況においても、撮影者が撮影画角内の予め指定した領域に着目した被写体が入るように構図設定を行うだけで、その被写体を主要被写体として撮像装置を動作させることができる。
【００８９】
（８）撮影画角内の予め指定された領域に対応した被写体を主要被写体とすることにより、撮影者が撮影画角内の予め指定した領域に着目した被写体が入るように構図設定を行うだけで、その被写体を主要被写体として撮像装置を動作させることができる。
【００９０】
（９）被写体との距離を検出する測距手段を備え、予め指定された距離に関する条件と前記測距手段により検出された距離とに基づいて主要被写体を特定することにより、例えば、撮影者が着目した被写体を遠方の風景などを背景にして撮影するような場合に、その被写体を主要被写体として撮像蔵置を動作させることができる。
【００９１】
（１０）予め指定された色温度に関する条件と、撮像素子により被写体像を撮像することにより得られた画像情報の色温度とに基づいて主要被写体を特定することにより、例えば、人物を撮影したい場合に、肌色に相当する色温度を条件として指定することで、その人物を主要被写体として撮像装置を動作させることができる。
【００９２】
（１１）予め指定されたパターン特徴に関する条件と、撮像素子により被写体像を撮像することにより得られた画像情報のパターン特徴とに基づいて、主要被写体を特定することにより、例えば人間の顔の特徴点に相当するパターン特徴条件を指定することにより、撮影画角内の人物を主要被写体として撮像動作を動作させることができる。
【００９３】
（１２）予め指定された周波数成分に関する条件と、撮像手段により被写体像を撮像することにより得られた画像情報の周波成分とに基づいて、主要被写体を特定することにより、例えば、撮影者が着目した被写体に手動又は自動でピント合わせを行うと、その被写体を主要被写体として撮像装置を動作させることができる。
【図面の簡単な説明】
【図１】 本発明の実施の一形態であるデジタルカメラのブロック構成の一例を示すブロ
ック図である。
【図２】 デジタルカメラの外観形状の一例を示す概略斜視図である。
【図３】 デジタルカメラの外観形状の一例を示す概略正面図である。
【図４】 デジタルカメラの外観形状の一例を示す概略底面図である。
【図５】 撮像素子変位機構の手ぶれ補正及び画素ずらしに関連した構成の一例を示す概
略構成図である。
【図６】 撮像素子変位機構のピント合わせに関連した構成の一例を示す概略構成図であ
る。
【図７】 コントラスト法による測距センサの説明図である。
【図８】 位相差検出法による測距センサの説明図である。
【図９】 視線検出センサの説明図である。
【図１０】 眼球の黒目とプルキンエ像の相対位置と視線方向の関係を示す図である。
【図１１】 眼球の黒目とプルキンエ像の相対的な位置関係の説明図である。
【図１２】 三脚センサの一例を示す概略断面図である。
【図１３】 三脚センサの他の例を示す概略断面図である。
【図１４】 撮像素子上のカラー画素配列の一例を示す図である。
【図１５】 水平方向への１画素分の画素ずらしにより撮像された２枚の画像情報により得られる各画素位置のＲ，Ｇ，Ｂ成分を示す図である。
【図１６】 水平方向への１画素分の画素ずらしにより撮像された２枚の画像情報により得られる各画素位置のＧ成分を示す図である。
【図１７】 撮影者の視線方向を検出できない場合に表示される主要被写体範囲の説明図である。
【図１８】 主要被写体像の移動量と各露光間隔内での主要被写体像の移動量を、スルー画表示動作時及び静止画撮影時の露光間隔と対応付けて示す図である。
【図１９】 デジタルカメラの全体的動作の一例を示すフローチャートである。
【図２０】 図１９中のステップＳ６のフローチャートである。
【図２１】 図２０に示すフローチャートの続きを示すフローチャートである。
【図２２】 図１９中のステップＳ７のフローチャートである。
【図２３】 図２２中のステップＳ４４，Ｓ４６のフローチャートである。
【図２４】 図２２中のステップＳ４７のフローチャートである。
【図２５】 撮像装置の回転ぶれを説明するための図である。
【図２６】 撮像装置の回転ぶれによる像移動を、近距離の被写体と遠方の背景とに分けて表した図である。
【図２７】 回転ぶれにより像ぶれが生じた２枚の画像を重ねた画像を示す図である。
【図２８】 撮像装置の並進ぶれによる像移動の説明図である。
【図２９】 並進ぶれにより像ぶれが生じた２枚の画像を重ねた画像を示す図である。
【図３０】 並進ぶれによる像ぶれが生じた２枚の画像を、主要被写体が重なるようにシフトして重ねた画像を示す図である。
【図３１】 貼り合わせ合成の対象となる画像を示す図である。
【図３２】 図３１の画像の貼り合わせ合成のための分割撮影画像を示す図である。
【符号の説明】
１００ 撮影光学系
１０２ 撮像素子
１０４ アナログ信号処理部
１０６ 画像処理部
１０８ 画像処理バッファメモリ
１１０ カードメモリ・インタフェース
１１２ カードメモリ
１１４ 内部表示装置
１１６ 外部表示装置
１１８ 撮像素子変位機構
１２０ 駆動回路
１２２ ユーザ操作部
１２４ 三脚センサ
１２６ 測距センサ
１２８ 視線検出センサ
１３０ 制御部
１４４ レリーズスイッチ
１４６ モード選択スイッチ
１４０ 開閉蓋部
１４２ ビューファインダ
１４８ 撮影レンズ
１５０ 測距窓
１５２ 三脚取付用ネジ穴
２００ 撮像素子取付枠
２０４，２０５ 積層圧電素子
２１０ リードネジ穴
２０６ フォーカスモータ
２０８ リードネジ
【発明の属する技術分野】
本発明は、デジタルカメラなどの撮像装置に係り、特に、被写体の複数枚の画像情報を得て、それを合成することにより精細度、ダイナミックレンジなどを向上させた画像を作成する用途に好適な撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラなどの撮像装置では、一般にＣＣＤ固体撮像素子などの固体撮像素子が一般に用いられる。撮影画像の解像度は、基本的に、使用する固体撮像素子の画素数によって決まる。近年、固体撮像素子の素子数が著しく増加したとはいえ、銀塩フィルムを用いるカメラに匹敵するような高精細画像を得ることは不可能である。
【０００３】
固体撮像素子の画素数の不足を補って、より高精細な画像を得る方法として、被写体像を１画素又は複数画素分だけ相対的に変位させて複数枚の画像情報を撮像し、それら複数枚の画像情報を合成して、より高精細な画像を得る、いわゆる「画素ずらし方式」が考案されている（例えば特開平１０−３３６６８６号、特開平１１−１８７３０９号など）。
【０００４】
このような「画素ずらし方式」では、手ぶれなどによって撮像装置が振動すると、正常な画像合成が不可能になる場合がある。この問題に対処するため、振動ジャイロを用いて手ぶれなどによる撮像装置の回転（ピッチング、ヨーイング）を検出し、可変頂角プリズムを用いて、画素ずらしと共に回転成分の補正（手ぶれ補正）を行う技術が知られている（例えば、特開平７−２８７２６８号、特開平１１−１８７３０９号など）。また、この特開平１１−１８７３０９号公報には、露光値、焦点距離及び手ぶれ補正量に基づいて、指定された回数の画素ずらし撮影が可能か判断し、不可能な場合に画素ずらし回数の変更などを警告する技術も開示されている。
【０００５】
高精細・広範囲の画像を得るための技術として、複数枚の画像を貼り合わせて１枚の合成画像を作成する技術も知られている。この技術に関しては、画像間の比較によって、貼り合わせ合成に必要な画像のアフィン変換や平行移動のパラメータを算出し、そのパラメータを用いて複数枚の画像を補正して貼り合わせる技術も知られている（例えば特開平５−２６０２６４号など）。
【０００６】
また、ＣＣＤ固体撮像素子などの固体撮像素子は、銀塩フィルムに比べて入射光に対するダイナミックレンジが狭いため、撮影画角内に明るい被写体と暗い被写体が混在する場合に、明るい被写体の白とびや、暗い被写体の潰れが起きやすい。これに対しては、異なる露光量で同じ被写体を複数回撮像し、得られた複数枚の画像情報から、ダイナミックレンジを拡大した画像情報を合成する技術も知られている（例えば特開平１０−１５５１１２号など）。また、画素ずらしを行って複数回撮像し、その少なくとも１回は露光量を変化させ、撮像した複数枚の画像情報を合成することにより、ダイナミックレンジを拡大し、かつ高精細化した画像を作成する技術も知られている（例えば特開平８−３７６２８号、特開平１０−４２１８２号など）。
【０００７】
【発明が解決しようとする課題】
特開平７−２８７２６８号公報、特開平１１−１８７３０９号公報などに開示されているような手ぶれ補正を行っても、必ずしも良好な画像を合成できない場合がある。このような不都合は、遠近差の大きい被写体を撮像した場合に起きやすい。その１つの原因は、撮像装置の並進ぶれの影響が考慮されていないことである。これについて図２５乃至図３０によって説明する。図２５、図２６及び図２８において、５００と５０２は撮像装置の撮影光学系と撮像素子である。
【０００８】
近距離の人物などの被写体を、無限遠の風景などを背景にして撮影する時に、図２５に実線で示すような方位から破線で示す方位へ角度θだけ撮像装置の回転ぶれが生じたとする。この場合、近距離の被写体と背景に分けて見ると、図２６に示すように、撮像素子５０２の結像面上で、近距離の被写体の像と背景の像は回転ぶれ角度θに対応した同じ量だけ移動する。したがって、回転ぶれの前と後の画像を重ねると図２７のようになる。このような回転ぶれによる像の移動は、基本的には前記特開平７−２８７２６８号公報、特開平１１−１８７３０９号公報などに開示されている従来技術の手ぶれ補正によって補正可能である。
【０００９】
一方、撮像装置が、図２８に実線で示すような位置から破線で示すような位置へ、被写体に対し並進ぶれを起こした場合には、無限遠にある背景の像は撮像素子５０２上で移動しないが（移動量は無視できるほど小さい）、近距離にある被写体の像は無視できない量だけ移動する。並進ぶれによる像の移動量ｄは、基線長を有する三角測量の原理に従い、撮像装置の並進量をＢ、撮影光学系５００の主点の位置から被写体までの距離をＬ、撮影光学系５００の焦点距離をｆとすると、
ｄ＝（Ｂ×ｆ）／Ｌ
で計算される。すなわち、近い被写体ほど並進ぶれによる像の移動量が大きい。例えば、画角が５４゜（３５ｍｍフィルム換算で焦点距離３５ｍｍ）、撮像素子の水平画素数が１２８０画素のデジタルカメラで２ｍ先の被写体を撮影する場合、デジタルカメラが１．６ｍｍだけ並進すると、撮像素子上では像が１画素分移動する。
【００１０】
並進ぶれの前の画像と後の画像とを重ねると図２９のようになる。また、図３０に示すように主要被写体像が重なるように２枚の画像情報をシフトすると、背景部分の像が大きくずれてしまう。したがって、回転ぶれによる像ぶれを補正できたとしても、並進ぶれのために画素ずらしによる画像合成を正常に行うことができない。
【００１１】
特開平７−２８７２６８号公報、特開平１１−１８７３０９号公報などに開示されている従来技術では、このような並進ぶれを検出できない。仮に、何らかの検出手段を用いて並進ぶれを検出できたとしても、可変頂角プリズムによって並進ぶれと回転ぶれを同時に補正することはできない。前述のように、回転ぶれによる像移動量は被写体の距離に依存しないが、並進による像移動量は被写体の距離によって変化するためである。したがって、無視できない程度の並進ぶれがあった場合に、「画素ずらし」により画像合成を行うと合成画像の品質が悪化する。このことは、画素ずらしを行わずに複数枚の画像情報を撮影し、それを合成することによってダイナミックレンジを拡大した画像を作成する場合においても同様である。
【００１２】
また、高精細・広範囲の画像を得るために異なった方位から撮影した画像の貼り合わせ合成を行う場合においても、同様に並進ぶれによる悪影響がある。例えば、図３１に示すような画像を図３２に示すような２枚の画像に分割して撮影し、それを貼り合わせ合成する場合、撮影時に並進ぶれが起こると、遠方の背景に関しては、並進ぶれによる影響が小さいため単純に貼り合わせ合成が可能であるが、並進ぶれの影響の大きい前景（人物）に関しては、背景と同様に貼り合わせたのでは正常に合成できない。
【００１３】
また、画素ずらしを行って撮影した複数枚の画像情報から高精細な合成画像を作成する場合、合成画像中の主要被写体部分で十分な精細度を得られることが最重要である。手ぶれ補正を行ったとしても、主要被写体部分の像ぶれを十分に補正することができない場合には、合成画像において肝心な主要被写体部分の精細度が上がらない。このことは、複数枚の画像情報の合成によってダイナミックレンジを拡大する場合や分割撮影した画像情報の貼り合わせ合成の場合でも同様である。したがって、手ぶれ補正や、正常な画像合成の可否判定などは、主要被写体に着目して行うのが望ましいはずである。しかし、特開平１１−１８７３０９号公報などに開示されているような従来技術においては、そのような配慮がなされていない。
【００１４】
本発明は、以上に述べたような画像合成に関連した問題点を改良したデジタルカメラなどの撮像装置を提供するものである。すなわち、本発明の１つの目的は、高精度な合成画像を作成するための画像情報を取得し、また、取得した画像情報から高品質な合成画像を作成するための撮像装置を提供することにある。特に本発明は、並進ぶれの程度に応じて合成画像の作成方法を切り替えることにより、並進ぶれがある場合にも高品質な合成画像を得ることができる撮像装置を提供することにある。本発明の他の目的は、少なくとも主要被写体に関して高精度な画像合成が不可能な状況を検出し、それを警告する撮像装置を提供することにある。本発明の他の目的は、合成画像を作成する上で許容できない並進ぶれが生じた場合に、それを検出して警告する撮像装置を提供することにある。
【００１５】
【課題を解決するための手段】
本発明は、画像合成用の複数枚の画像情報を取得し、合成画像を作成する機能を有する撮像装置において、撮影光学系と、前記撮像光学系を介して結像された被写体像を撮像す る撮像素子と、前記撮像素子と被写体像とを相対変位させるための相対変位手段と、主要被写体を特定するための主要被写体特定手段と、前記撮像素子により撮像された被写体像について、前記主要被写体特定手段により特定された主要被写体の像ぶれ量とそれ以外の被写体（以下、背景と呼ぶ）の像ぶれ量とを検出する像ぶれ検出手段と、撮影指示に応答して画像合成用の複数枚の画像情報を取得するために前記撮像素子に撮像動作を複数回行わせるとともに、該撮像動作時に、前記像ぶれ検出手段により検出された主要被写体の像ぶれ量に基づいて主要被写体の像ぶれを補正するために前記相対変位手段によって前記撮像素子と被写体像とを相対変位させる制御手段と、前記像ぶれ検出手段により検出された主要被写体の像ぶれ量に基づいて、前記相対変位手段により主要被写体の像ぶれの補正が可能か判定する第１の判定手段と、前記第１の判定手段で可能と判定された場合に、前記像ぶれ検出手段より検出された主要被写体の像ぶれ量と背景の像ぶれ量とに基づいて、さらに背景合成が可能な画像情報を取得可能か判定する第２の判定手段と、前記第１の判定手段により可能であると判定された場合に画像合成が可能とみなして、前記第２の判定手段の判定結果に基づき、前記第２の判定手段により可能であると判定された場合には、合成画像の全体の情報を複数枚の画像情報を用いて作成し、前記第２の判定手段により可能でないと判定された場合には、複数枚の画像情報間の局所的な像ずれ量を検出し、像ずれ量が所定値以下の部分では複数枚の画像情報を用いて合成画像情報を作成し、像ずれ量が所定値を越える部分では１枚の画像情報を用いて合成画像情報を作成する画像合成手段と、を具備することを主要な特徴とする。
【００１６】
また、本発明の撮像装置は、前記第１の判定手段により主要被写体の像ぶれが補正不可能であると判定された場合に警告をする第１の警告手段を具備することを特徴とする。
【００１７】
さらに、本発明の撮像装置は、前記第２の判定手段により背景合成が可能な画像情報の取得が不可能であると判定された場合に警告をする第２の警告手段を具備することを特徴とする。
【００１８】
また、本発明の撮像装置は、三脚などの固定具を使用した場合、手ぶれの生じにくいことを考慮して、三脚などの固定具の装着を検知する検知手段を具備し、該検知手段により固定具の装着が検知された場合は前記第１の警告や第２の警告をしないようにすることを特徴とする。
【００１９】
以上に述べた本発明の特徴及びその他の特徴について、以下、本発明の実施の形態に関連し詳細に説明する。
【００２０】
【発明の実施の形態】
添付図面を参照し、本発明の実施の一形態として、画素ずらしによる画像合成のための撮影モードを持つデジタルカメラについて説明する。図１は、このようなデジタルカメラのブロック構成の一例を示すブロック図である。
【００２１】
このデジタルカメラは、図１に見られるように、撮影光学系１００、撮像素子１０２、アナログ信号処理部１０４、画像処理部１０６、画像処理バッファメモリ１０８、カードメモリ１１２の読み書きのためのカードメモリ・インタフェース１１０、内部表示装置１１４、外部表示装置１１６、撮像素子変位機構１１８とその駆動回路１２０、ユーザ操作部１２２、三脚センサ１２４、測距センサ１２６、視線検出センサ１２８、制御部１３０などから構成されている。
【００２２】
このデジタルカメラの外観形状の一例を図２乃至図４に示す。図２は、デジタルカメラ本体１３８の開閉蓋部１４０を開いた状態を示す概略斜視図である。図３と図４は開平蓋部１４０を閉じた状態の概略正面図と概略底面図である。外部表示装置１１６は開閉蓋部１４０に設けられる。この開閉蓋部１４０が開いた状態であるか閉じた状態であるかを検知するための不図示のセンサが設けられており、このセンサからの信号によって制御部１３０は開平蓋部１４０の状態を判断できる。内部表示装置１１４と視線検出センサ１２８は、図２に示すビューファインダ１４２の内部に設けられる。ユーザ操作部１２２は、撮影者によって操作されるスイッチなどからなり、撮影指示の入力のためのレリーズスイッチ１４４や、撮影モードを選択するためのモード選択スイッチ１４６などを含む。レリーズスイッチ１４４とモード選択スイッチ１４６は、例えば図２に示すような位置に設けられる。なお、ここではレリーズスイッチ１４４の押下によって撮影指示を入力するものとして説明するが、タイマーによって撮影指示を入力したり、電波や赤外光を用いるリモートコントローラの操作によって撮影指示を入力するような構成とすることも可能である。撮影光学系１００の撮影レンズ１４８は、例えば図３に示すような位置に設けられる。測距センサ１２６は、例えば図３に示すような測距窓１５０の内部に設けられる。三脚検出センサ１２４は、例えば図４に示すようにデジタルカメラ本体１３８の底面に設けられた三脚取付用ネジ穴１５２の近傍に設けられる。
【００２３】
撮影光学系１００は、通常、撮影レンズ１５０のほかに絞り機構やシャッタ機構を含む。撮像素子１０２は例えばＣＣＤ固体撮像素子であり、撮影光学系１００によって結像された被写体像を撮像し、アナログ画像信号を出力する。このデジタルカメラは、特開平１０−３３６６８６号公報に開示されているような画素ずらしによる画像合成を行うため、同公報に開示されている例と同様の、図１４に示すようにＲ，Ｇ，Ｂ各色の画素が配列された撮像素子が撮像素子１０２として用いられるものとする。言うまでもなく、撮像素子１０２上のカラー配列はこれに限定されない。アナログ信号処理部１０４は、例えば、アナログ画像信号をＣＤＳ（相関２重サンプリング）回路に入力し、リセットノイズを除去するための相関サンプリングを行ったのちＡＧＣ回路に通して所定の信号レベルに増幅し、Ａ／Ｄ変換器によってデジタル信号に変換する構成である。
【００２４】
画像処理部１０６は、例えばプログラム制御のＤＳＰ（デジタル信号プロセサ）やＡＳＩＣ（特定用途向け集積回路）などからなり、アナログ信号処理部１０４より入力するデジタル画像情報から、内部表示装置１１４や外部表示装置１１６に表示するためのスルー画を生成したり、カードメモリ・インタフェース１１０を介してカードメモリ１１２に記録させる静止画を作成したりする。画像処理部１０６は、後述のように、主要被写体及びそれ以外の被写体（背景）の像ぶれ量の検出、画像合成、カードメモリ１１２に書き込むための静止画のＪＰＥＧ圧縮や、カードメモリ１１２から読み込んだＪＰＥＧ圧縮画像の伸長など、画像情報に関連した各種処理のための手段として利用される。画像処理バッファ１０８は、アナログ信号処理部１０４より入力したデジタル画像情報や、画像処理部１０６によって作成された画像データなどの一時記憶に利用される。
【００２５】
撮像素子変位機構１１８は、ピント合わせのために撮影光学系１００の光軸方向に撮像素子１０２を進退させたり、手ぶれ補正や「画素ずらし」のために撮影光学系１００の光軸と直交する方向への撮像素子１０２の変位（撮像光学系１００により結像される被写体像と撮像素子１０２との相対変位）を行うさせるための機構であり、駆動回路１２０を介して制御部１３０により制御される。すなわち、撮像素子変位機構１１８は、ピント合わせ機構、手ぶれ補正機構及び画素ずらし機構を兼ねるものである。
【００２６】
撮像素子変位機構１１８の構成例を図５及び図６に示す。ここに示す例においては、撮像素子取付枠２００に形成された窓２０２の内部に、積層圧電素子２０４，２０５を介して撮像素子１０２が取り付けられ、垂直方向の積層圧電素子２０５に対する印加電圧を変化させることにより撮像素子１０２を上下に変位させ、また、水平方向の積層圧電素子２０４に対する印加電圧を変化させることにより撮像素子１０２を図中左右に変位させることができる。撮像素子取付枠２００にはフォーカスモータ２０６のリードネジ２０８と係合するリードネジ穴２１０が設けられており、フォーカスモータ２０６を駆動することにより、図６に示すように、撮像素子１０２が取り付けられた撮像素子取付枠２００を不図示のガイド部材に沿って撮影光学系１００の光軸方向に進退させることができる。
【００２７】
測距センサ１２６は、撮影画角内の被写体との距離を検出するためのセンサである。この測距センサ１２６としては、例えば図７に示すように、デジタルカメラの撮影画角内の被写体像を結像させるためのレンズ２２０と、その被写体像を撮像するための撮像素子２２２などからなり、例えば撮像素子２２２を進退させてレンズ２２０との間隔を変化させ、画角全体又はその特定領域の撮像信号の高周波成分が最大となる間隔を検出することより距離情報を得る、いわゆるコントラスト法によるものを用いることができる。あるいは、図８に示すように、撮影画角内の被写体を撮像するためのレンズ２２０と撮像素子２２２を含む、基線長を有する２組の光学系を用いて、三角測量の原理によって被写体との距離を算出する、いわゆる位相差検出法による測距センサを用いることもできる。コントラスト法により測距を行う場合、撮影光学系１００、撮像素子１０２及び撮像素子変位機構１１８を測距センサ１２６として兼用することも可能である。
【００２８】
視線検出センサ１２８は、ビューファインダ１４２を覗いている撮影者の視線方向を検出するためのセンサである。この視線検出センサ１２８としては、例えば、図９に示すように、ビューファインダ１４２を覗いている撮影者の眼球２３１の特定位置に光像すなわちプルキンエ像を形成するための赤外発光ダイオードなどの光源２３０と、このプルキンエ像と眼球の黒目（瞳孔）を検出するための受光素子２３２などからなる構成である。図１０に示すように、視線の移動によって眼球の黒目２３４は移動するがプルキンエ像２３６は移動しない。したがって、図１１に示すように、眼球の黒目２３４とプルキンエ像２３６との相対的な位置関係（Δｘ，Δｙ）から撮影者の視線方向を検出できる。より具体的には、黒目２３４は背景より暗く、プルキンエ像２３６は背景より明るいので、背景より暗い部分の重心と、背景より明るい部分の重心の相対的な位置関係を検出すればよい。一般に、撮影者はレリーズ操作時に主要被写体を見つめるため、視線方向を検出することによって主要被写体を推定できる。なお、レリーズ操作時に主要被写体を見つめるように撮影者に促すためのメッセージを、内部表示装置１１４に表示させることも効果的である。
【００２９】
三脚センサ１２４は、デジタルカメラに三脚（又は、その他の固定具）が装着されているか否かを検出するもので、例えば、図１２に簡略化して示すように、三脚取付用ネジ穴１５２に形成された貫通穴２５２，２５４を介して発光素子２５６と受光素子２５８を対向させて配置した構成である。三脚が装着された状態では、発光素子２５６の発した光は三脚の取付ネジ（不図示）によって遮られて受光素子２５８に入射しない。一方、三脚が装着されていない状態では、発光素子２５６の発した光は貫通穴２５６，２５８を通して受光素子２５８に入射する。したがって、三脚が装着されているか否かを受光素子２５８によって検知できる。また、図１３に簡略化して示すように、三脚に装着された時に、三脚の取付ネジの先端によって操作されるような位置に設けた機械的スイッチ２６０を三脚センサ１２４として用いることもできる。
【００３０】
内部表示装置１１４は、前述のようにビューファインダ１４２の内部に設けられるＬＣＤなどの小型の表示装置である。この内部表示装置１１４にスルー画、撮影した静止画、その他の情報を表示することによって、撮影者はビューファインダ１４２を覗いて、撮影可能な被写体や撮影した静止画などを確認することができる。内部表示装置１１４は、後述の警告のための手段としても利用される。外部表示装置１１６は、前述のようにデジタルカメラの開閉蓋部１４０に設けられるＬＣＤなどの表示装置である。この外部表示装置１１６にスルー画や撮影した静止画像などを表示することにより、撮影者はビューファインダ１４２から目を離した状態でも、構図の確認などを行うことができる。この外部表示装置１１６も後述の警告のための手段として利用される。
【００３１】
制御部１３０は、例えばマイクロコンピュータからなり、撮像素子変位機構１１８の制御、撮像素子１０２の撮像動作の制御、撮影光学系１００の絞り機構やシャッタ機構の制御、画像処理部１０６の制御などのほか、デジタルカメラの全体の動作シーケンスを制御する部分である。また、前記各センサ１２４，１２６，１２８やユーザ操作部１２２からの信号は制御部１３０に入力される。制御部１３０は、測距センサ１２６を利用して距離情報を取得し、視線検出センサ１２８を利用して撮影者の視線方向を検出し、ユーザ操作部１２２からの信号に応じて撮影モードの設定なども行う。また、後述するように、検出した視線方向に基づいて主要被写体を特定し、また、像ぶれに関連した判定も行う。
【００３２】
図１９は、このデジタルカメラの全体的動作フローの一例を示すフローチャートである。以下、このフローチャート並びに図２０乃至図２４のフローチャートを参照し、このデジタルカメラの動作を説明する。
【００３３】
撮影者は、撮影に先だって、ユーザ操作部１２２のモード選択スイッチ１４６を操作することにより、撮影モードとして「通常モード」又は「合成モード」を選択する。
【００３４】
ステップＳ１において、制御部１３０は、モード選択スイッチ１４６の信号から選択された撮影モードが合成モードであるか否かを判定する。そして、合成モードが選択されていないと判定した場合にはステップＳ２で撮影モードを通常モードにセットし、合成モードが選択されていると判定した場合にはステップＳ５で撮影モードを合成モードにセットする。
【００３５】
通常モードにセットされた場合には、ステップＳ３で、制御部１３０は、スルー画表示（動画表示）のための撮像素子１０２の駆動を開始するとともに、画像処理部１０６にスルー画表示及び像ぶれ量検出を行わせる。制御部１３０は、ステップＳ３の動作が１回行われるたびにレリーズスイッチ１４４からの信号によってレリーズスイッチ１４４がオン状態であるか判定し（ステップＳ４）、オン状態になるまでステップＳ３の動作を繰り返す。
【００３６】
このようなスルー画表示動作中に、制御部１３０は、視線検出センサ１２８を用いて撮影者の視線方向を検出し、それを検出できた場合には、その視線方向の被写体を主要被写体として特定し、その主要被写体からの距離（被写体情報１）を測距センサ１２６を用いて検出し、その距離情報に従って駆動回路１２０を介し撮像素子変位機構１１８のフォーカスモータ２０６を駆動することにより主要被写体へのピント合わせを行う。視線方向を検出できない場合には、撮影画角内の予め指定された領域、例えば撮影画角の中央部分にある被写体を主要被写体とし、それとの距離を検出し、その距離情報に従ってピント合わせを行う。なお、その指定領域をユーザ操作部１２２の操作によって撮影者が変更できるようにしてもよい。また、制御部１３０は、特定した主要被写体に対応した領域を画像処理部１０６に指定する。操作者がレリーズスイッチ１４４を押下し、それがオン状態になると、制御部１３０は静止画撮影動作（ステップＳ７）に移行する。
【００３７】
ステップＳ３において、画像処理部１０６は、アナログ信号処理部１０４より入力したデジタル画像情報からスルー画を作成し、それを内部表示装置１１４に表示させる。図１には図示されていないが、開閉扉部１４０の開閉状態を検知するセンサの出力信号によって制御部１３０は開閉扉部１４０が開いた状態か閉じた状態かを検出し、それを画像処理部１０６に通知する。画像処理部１０６は、開閉扉部１４０が開いた状態の時には、スルー画を外部表示装置１１６にも表示させる。また、画像処理部１０６は、前後２枚のスルー画間で、制御部１３０より指定された主要被写体の領域についてパターンマッチングを行い、主要被写体の像ぶれ量（被写体情報２）を検出する。この像ぶれ量検出の方法の詳細については、ステップＳ２５，Ｓ２８に関連して後述する。
【００３８】
ここで、スルー画表示動作について説明する。一般的に、デジタルカメラは、撮影者が撮影可能な画像を確認できるようにするためにスルー画表示（動画表示）機能を備えている。スルー画表示動作中は、一定時間間隔（１／６０秒間隔又は１／３０秒間隔）で撮像素子１０２によって撮像し、画像処理部１０６では、各撮像時に入力されたデジタル画像情報からスルー画を作成し、それを内部表示装置１１４、あるいは、内部表示装置１１４及び外部表示装置１１６に表示させる。レリーズ操作によって開始する静止画撮影動作の場合に作成される画像（静止画）は、撮像素子１０２の全画素の情報を利用して作成されるが、スルー画は撮像素子１０２の一部の画素の情報のみを用いて作成されるため、スルー画の作成と表示を高速に行うことが可能である。
【００３９】
撮影モードが合成モードにセットされた場合、ステップＳ６の動作が開始する。この動作は、撮影者がレリーズスイッチ１４４を押すまで繰り返される。ステップＳ６における動作については、図２０及び図２１のフローチャートを参照して後述する。レリーズスイッチ１４４が押されてステップＳ６の動作又はステップＳ３の動作が終了すると、ステップＳ７の静止画撮影動作が開始する。このステップＳ７における動作については、図２２乃至図２４のフローチャートを参照して後述する。
【００４０】
ステップＳ７の動作が終了すると、制御部１３０は画像処理部１０６に、ステップＳ７で作成された静止画について、例えば、エッジ強調のためのアパーチャ処理（ステップＳ８）、ガンマ補正処理（ステップＳ９）、ＲＧＢデータからＹＵＶデータへの変換処理（ステップＳ１０）、ＪＰＥＧ圧縮処理（ステップＳ１１）を行わせ、そのＪＰＥＧ圧縮画像データをカードメモリに記録させる（ステップＳ１２）。
【００４１】
次に、図２０及び図２１を参照し、ステップＳ６の動作について説明する。制御部１３０は、スルー画表示のための撮像動作を撮像素子１０２に連続的に行わせる。
【００４２】
まず、ステップＳ２１で、制御部１３０は画像処理部１０６にスルー画表示を行わせる。画像処理部１０６は、ステップＳ３に関連して述べたように撮像素子１０２の一部の画素の情報のみを用いてスルー画を作成し、開閉扉部１４０が閉じられている時には内部表示装置１１４のみにスルー画を表示し、開閉扉部１４０が開かれている時には内部表示装置１１４と外部表示装置１１６の両方にスルー画を表示する。ステップＳ２１からステップＳ３７のループの１回目のパスにおいては、ステップＳ２１で、制御部１３０は、測距センサ１２６を用いて例えば画角中央の被写体からの距離を検出し、その距離情報に従ってフォーカスモータ２０６を制御しピント合わせを行うが、２回目以降のパスにおいては、前回パスにおいてステップＳ２４又はＳ２７で取得された主要被写体と距離情報を用いてフォーカスモータ２０６を制御し、ピント合わせを行う。
【００４３】
ステップＳ２２で、制御部１３０は視線検出センサ１２８を用いて撮影者の視線方向を検出する。視線方向を検出できた場合（ステップＳ２３，Ｙｅｓ）、ステップＳ２４で、制御部１３０は、その視線方向の被写体を主要被写体とし、それとの距離（被写体情報１）を測距センサ１２６を用いて検出する。
【００４４】
次のステップＳ２５で、制御部１３０は、その主要被写体に対応した撮影画角内の領域を画像処理部１０６に通知し、主要被写体の像ぶれ量（被写体情報２）を画像処理部１０６で検出させる。この像ぶれ量を検出するには、主要被写体の動きベクトルを検出すればよい。具体的には、スルー画表示動作中においては、主要被写体が一定間隔で繰り返し撮像されるので、前後２枚のスルー画の一方を基準画像、他方を比較画像とし、両画像を相対的にシフトして主要被写体部分の相関を計算し、相関が最大になるシフト量を前後２枚のスルー画間での主要被写体の像ぶれ量として検出する。下記（１）式が相関ｒの基本的な計算式であり、基準画像のｉ番目の信号Ｉｉと比較画像のｉ番目の信号Ｍｉとの積和を計算する（ｉ＝１，２，．．．，Ｎ）。この基本式に代えて、下記（２）式を用いてもよい。（２）式は画像の明暗などの影響を受けにくい一般的な計算式である。
【数１】
ステップＳ２２で視線方向を検出できなかった場合（ステップＳ２３，Ｎｏ）、撮影者がビューファインダを覗いていないと判断される。この場合、ステップＳ２６で、制御部１３０は、画像処理部１０６によって外部表示装置１１６の画面に予め指定された主要被写体範囲を表示させる。例えば、図１７に示すような主要被写体範囲を表す矩形枠２７０を表示させ、その範囲に主要被写体が入るような構図の設定を撮影者に促す。なお、そのような構図設定を促すための文言を同時に表示してもよい。そして、ステップＳ２８で、制御部１３０は主要被写体範囲内の被写体を主要被写体とし、測距センサ１２６を用いて主要被写体までの距離（被写体情報１）を検出する。次のステップＳ２７で、主要被写体に対応した撮影画角内の領域を画像処理部１０６に通知し、主要被写体の像ぶれ量（被写体情報２）を検出させる。この像ぶれ量の検出方法はステップＳ２５と同様である。
【００４６】
ステップＳ２５又はＳ２８が終了すると、ステップＳ２９で、制御部１３０は、画像処理部１０６において主要被写体以外の被写体（背景）の像ぶれ量（被写体情報３）を検出させる。この像ぶれ量の検出は、背景に対応する領域を対象として、ステップＳ２５と同様のスルー画間のパターンマッチングによって行われる。
【００４７】
次のステップＳ３０で、制御部１３０は、これまでに取得した被写体情報２（前後２枚のスルー画間の主要被写体の像ぶれ量）から、レリーズ操作により開始する静止画撮影のために必要な手ぶれ補正量１を算出する。これについて図１８を参照して説明する。スルー画表示動作中は図１８（ｃ）に示すように一定間隔ΔＴで撮像しているので、主要被写体像が例えば図１８（ａ）に示すように移動した場合には、前後２枚のスルー画間の主要被写体の像ぶれ量Δｄは図１８（ｂ）に示すようになる。レリーズスイッチ１４４が押されることにより開始する静止画撮影時の露光間隔は、図１８（ｃ）に示すようにスルー画表示動作中の露光間隔ΔＴと一般に異なる。したがって、静止画撮影時の露光間隔がスルー画表示動作中の露光間隔のＫ倍とすると、静止画像影時の露光中に主要被写体の像ぶれを生じさせないための手ぶれ補正量１は、被写体情報２（Δｄ）をＫ倍することによって得られる。
【００４８】
次にステップＳ３２で、制御部１３０は、算出した手ぶれ補正量１より、主要被写体の像ぶれの補正が可能か判定する。すなわち、算出した手ぶれ補正量１が撮像素子変位機構１１８により補正可能な範囲内であれば補正可能と判定し、その範囲を超えていれば補正不可能と判定する。なお、ここでは被写体情報２（像ぶれ量）ではなく、それより計算した手ぶれ補正量１を用いて判定したが、被写体情報２そのものを判定に用いてもよい。
【００４９】
手ぶれ補正が不可能な場合、主要被写体の像ぶれが十分に補正されないため、仮に静止画撮影動作によって得られる画像情報を合成したとしても少なくとも主要被写体については高精細画像は得られない。すなわち、ステップＳ３２は、画像合成が可能な画像情報を取得可能か否かの判定、あるいは、仮に画像合成用の画像情報を取得したとしても、その画像情報の合成が可能か否かの判定を行っている。そこで、ステップＳ３２で補正不可能（合成不可能）と判定した場合、制御部１３０は、画像処理部１０６により、合成が不可能である旨の警告を内部表示装置１１４に、開閉扉部１４０が開かれている場合には内部表示装置１１４と外部表示装置１１６の両方に表示させる（ステップＳ３３）。この警告は、例えば「合成できません。三脚を使用して下さい」というようなメッセージである。なお、デジタルカメラにスピーカを設け、音声で警告することも可能である。また、音声による警告と表示による警告を併用してもよい。このことは、後述の警告についても同様である。
【００５０】
前述のように、デジタルカメラが並進ぶれを生じた場合には、距離が異なる主要被写体と背景とでは像ぶれ量が異なるから、主要被写体の像ぶれ量から算出した手ぶれ補正量１に従い撮像素子変位機構１１８を制御して撮像素子１０２を変位させたとしても、背景部分については像ぶれを補正できず、したがって、撮影した２枚の画像情報を用いて背景部分を合成することはできない。
【００５１】
そこで、ステップＳ３４において、制御部１３０は、被写体情報２，３を用いて、主要被写体と背景の像ぶれ量の差Δｅ＝被写体情報２−被写体情報３を算出する。そしてステップＳ３５で、このΔｅに基づいて背景部分の合成が可能か判定する。ここでは１画素分の画素ずらしを行って撮影した２枚の画像情報を合成するため、像ぶれ量の差Δｅが１画素分を越えた場合に背景部分の合成が不可能と判定する。背景部分の合成が不可能と判定した場合、制御部１３０は、画像処理部１０６によって、内部表示装置１１４、あるいは内部表示装置１１４及び外部表示装置１１６に、背景部分の合成が不可能である旨の警告、例えば「背景が合成できません。三脚を使用して下さい」というようなメッセージを表示させる（ステップＳ３６）。
【００５２】
以上のステップＳ２１からステップＳ３５又はＳ３６までの動作は、撮影者によってレリーズスイッチ１４４が押されるまで繰り返される。レリーズスイッチ１４４が押され、同スイッチがオンすると（ステップＳ３７，Ｙｅｓ）、図１９のステップＳ６の動作が終了し、ステップＳ７の動作に進む。
【００５３】
なお、三脚が使用される場合、通常は手ぶれを心配する必要がないが、構図設定操作などで像ぶれが生じる。この像ぶれによって前述の警告が繰り返して出ると、撮影者によっては煩わしさを感じる。そこで、制御部１３０は、例えばステップＳ３２の直前で、三脚センサ１２４の信号から三脚装着の有無を判定し（ステップＳ３１）、装着されていると判定した場合には当該ステップからステップＳ３７までの間の処理ステップをスキップすることにより、無用な警告の表示を抑止する。
【００５４】
次に、図２２乃至図２４を参照し、ステップＳ７の動作について説明する。制御部１３０は、撮影モードと、ステップＳ３２，Ｓ３５の判定結果を調べることにより動作の流れを決定する（ステップＳ４１，Ｓ４２，Ｓ４３）。三脚が装着されていてステップＳ３２，Ｓ３５がスキップされる場合、ステップＳ３２の判定結果は「合成可能」、ステップＳ３５の判定結果は「背景合成可能」であるものとみなされる。
【００５５】
撮影モードが合成モードであって、ステップＳ３２で合成可能と判定されていて、かつ、ステップＳ３５で背景合成可能と判定されている場合には、制御部１３０は、静止画撮影動作を２回行う（ステップＳ４４）。この静止画撮影動作では、図１８（ｃ）に関連して説明したように、スルー画表示動作中とは異なった露光間隔で撮像が行われ、また、２回目の撮像動作は水平方向に１画素分だけ撮像素子１０２を変位させて行う。そして、画像処理部１０６において、撮像によって得られた２枚の画像情報（撮像素子１０２の全画素の情報を含む）から１枚の静止画すなわち合成画像を作成させる（ステップＳ４５）。この合成画像は、その全体が２枚の画像情報を合成することによって作成されるが、その詳細については後述する。
【００５６】
合成モードであって、ステップＳ３２で合成可能と判定されたが、ステップＳ３５で背景合成不可能と判定された場合には、制御部１３０は、ステップＳ４４と同様の静止画撮影動作を２回行い（ステップＳ４６）、次に画像処理部１０６において、２枚の画像情報から１枚の静止画すなわち合成画像を作成させる（ステップＳ４７）。このような動作となるのは並進ぶれなどによって背景部分の像ぶれが補正されなかった場合であるので、ステップＳ４７では、像ぶれが許容できる部分については２枚の画像情報を合成して合成画像情報を求めるが、像ぶれが許容できない部分については１枚目の画像情報のみを用い合成画像情報を求める。この合成画像の作成方法の詳細は後述する。
【００５７】
合成モードであるがステップＳ３２で合成不可能と判定された場合、又は、撮影モードが通常モードである場合には、制御部１３０は、１回だけ静止画撮影動作を行い（ステップＳ４８）、画像処理部１０６において、１枚の画像情報のみから１枚の静止画を作成させる（ステップＳ４９）。
【００５８】
ステップＳ４４，Ｓ４６の静止画撮影動作について、図２３により説明する。制御部１３０は、被写体情報１（ステップＳ２４又はＳ２７で最後に取得された主要被写体の距離情報）に従って、撮像素子変位機構１１８のフォーカスモータ２０６を駆動回路１２０を介して駆動することにより、主要被写体へのピント合わせを行い（ステップＳ５１）、撮像素子１０２による撮像を開始させる（ステップＳ５２）。撮像素子１０２の露光中に、制御部１３０はステップＳ３０で得られた手ぶれ補正量１に従って撮像素子変位機構１１８の積層圧電素子２０４，２０５を駆動回路１２０を介して駆動することにより、主要被写体の像ぶれを補正するように撮像素子１０２を撮影光学系１００に対して（結像された被写体像に対して）上下左右に相対変位させる（ステップＳ５３）。このような主要被写体に着目した手ぶれ補正を行いながら撮像を行い、所定時間経過後に１回目の撮像を終了させる（ステップＳ５４）。次に、制御部１３０は、撮像素子変位機構１１８の積層圧電素子（２０４，２０５）を駆動回路１２０を介して駆動することにより、撮像素子１０２を画素ずらしに必要な量だけ変位させる（ステップＳ５５）。ここでは、水平方向に１画素だけ画素ずらしを行うため、水平方向の積層圧電素子２０４を駆動して、撮像素子１０２を水平方向に１画素分だけ変位させる。そして、撮像素子１０２による２回目の撮像を開始させ（ステップＳ５６）、露光中にステップＳ５３と同様の手ぶれ補正を行い（ステップＳ５７）、所定時間を経過すると２回目の撮像を終了させる（ステップＳ５８）。画像処理部１０６においては、このような各回の撮像によってアナログ信号処理部１０４より入力した画像情報（撮像素子の全画素の情報を含む）を画像処理バッファメモリ１０８に保存する。
【００５９】
なお、ステップＳ４８においては、図２３のステップＳ５１からステップＳ５４までの動作が行われる。ただし、通常モードが選択されている場合には、ステップＳ５１においてステップＳ３で取得された距離情報がピント合わせに用いられ、またステップＳ５３においてステップＳ３で検出された像ぶれ量よりステップＳ３０と同様の方法で算出した手ぶれ補正量が手ぶれ補正に用いられる。
【００６０】
次に、ステップＳ４５，Ｓ４７の画像作成処理について説明する。前述のように、撮像素子１０２にはＲ，Ｇ，Ｂ各色の画素が図１４に示すように配列されている。２回目の静止画撮影動作時には、図１４において右方向に１画素分だけ画素ずらしが行われるので、１枚目の画像情報のＲ，Ｇ，Ｂ情報をそのまま大文字のＲ，Ｇ，Ｂで、２枚目の画像情報のＲ，Ｇ，Ｂ情報を小文字のｒ，ｇ，ｂで示し、これら２枚の画像情報を重ね合わせると、図１５のように表すことができ、また、Ｇ成分のみに注目すれば図１６のように表すことができる。図１６に見られるように、全ての画素においてＧ成分情報は得られているが、Ｂ成分情報又はＲ成分情報については周囲画素の情報から補間する必要がある。
【００６１】
ステップＳ４５においては、全画面にわたって十分な精度で像ぶれが補正されているため、全画面にわたって２枚の画像情報を用いて高精細化した画像を合成する。具体的には例えば、特開平１０−３３６６８６号公報に述べられているように、図１５に”Ｂ／ｇ”と示されている画素については、Ｂ，Ｇ成分情報としてそのＢ，ｇ情報をそのまま用い、Ｒ成分情報は上下の画素のｒ情報より補間する。また、図１５に”Ｇ／ｒ”と示されている画素については、Ｇ，Ｒ成分情報としてそのＧ，ｒ情報をそのまま用い、Ｂ成分情報は上下の画素のＢ情報より補間する。同様に、”Ｒ／ｇ”と示されている画素については、Ｒ，Ｇ成分情報としてそのＲ，ｇ情報をそのまま用い、Ｂ成分情報は上下の画素のｂ情報より補間する。”Ｇ／ｂ”と示されている画素については、Ｇ，Ｂ成分情報としてそのＧ，ｂ情報をそのまま用い、Ｒ成分情報は上下の画素のＲ情報より補間する。なお、特開平１０−３３６６８６号公報に例示さているように、欠落した成分の補間のために注目画素のより広い範囲の近傍画素の情報を利用してもよい。
【００６２】
次に、ステップＳ４７について説明する。このステップにおいても、主要被写体部分に関しては、像ぶれが十分な精度で補正されているため、ステップＳ４５の場合と同様の方法で２枚の画像情報を合成することができる。しかし、背景部分では並進ぶれなどによる像ぶれが大きいため、１枚の画像情報のみを用いて画像を作成する必要がある。次に、このような画像作成処理の具体例を図２４のフローチャートを参照して説明する。
【００６３】
初めに、２枚の画像情報間の局所的パターンマッチングによって、画素毎に像ぶれの程度を判定する。ここに述べる例では、２枚の画像情報間の局所的な相関を利用する。まず、１つの画素を注目画素として選び、１枚目の画像情報における注目画素とその周辺画素のＧ成分情報Ｇｉを基準画像信号Ｉｉとして選び（ステップＳ６１）、２枚目の画像情報の対応画素のＧ成分情報ｇｉを比較画像信号Ｍｉとして選び（ステップＳ６２）、基準画像Ｉに対して比較画像Ｍを異なったシフト量でシフトして、両画像間の相関を例えば前記（２）式により計算する（ステップＳ６３）。このシフト範囲は、例えば
ｘ方向シフト量＝−１，０，＋１（画素）
ｙ方向シフト量＝−１，０，＋１（画素）
の範囲とする。そして、相関が最大となったｘ，ｙ方向のシフト量Ｘ，Ｙを求め（ステップＳ６４）、Ｘ＝＋１かつＹ＝０であるか判定する（ステップＳ６５）。ここでは、水平に右方向（正方向）に１画素分の画素ずらしを行っているため、Ｘ＝＋１，Ｙ＝０であれば、注目画素に関して並進ぶれなどによる像ぶれはないということである。
【００６４】
ステップＳ６５で像ぶれがないと判定された注目画素に関しては、ステップＳ４５と同様の２枚の画像情報の合成を行って、そのＲ，Ｇ，Ｂ成分情報を求める（ステップＳ６６）。
【００６５】
一方、Ｘ＝＋１かつＹ＝０の条件が満たされない場合は、注目画素に関して並進ぶれなどによる許容できない像ぶれがあるということであるので、１枚目の画像情報のみを用いて注目画素のＲ，Ｇ，Ｂ成分情報を求める（ステップＳ６７）。例えば、次のようにして注目画素のＲ，Ｇ，Ｂ成分情報を決定する。図１５に”Ｂ／ｇ”と示されている画素が注目画素であるならば、Ｂ成分情報としてはそのＢ情報をそのまま用い、Ｇ成分情報は上下左右の画素のＧ情報より補間し、また、Ｒ成分情報は左上、右上、左下、右下の画素のＲ情報より補間する。図１５に”Ｇ／ｒ”と示されている画素が注目画素であるならば、Ｇ成分情報としてはそのＧ情報をそのまま用い、Ｒ成分情報は左右の画素のＲ情報より補間し、Ｂ成分情報は上下の画素のＢ情報より補間する。”Ｒ／ｇ”と示されている画素が注目画素ならば、Ｒ成分情報としてそのＲ情報を用い、Ｇ成分情報は上下左右の画素のＧ情報より補間し、Ｂ成分情報は左上、右上、左下、右下の画素のＢ情報より補間する。”Ｇ／ｂ”と示された画素が注目画素ならば、Ｇ成分情報としてそのＧ情報をそのまま用い、Ｒ成分情報は上下の画素のＲ情報より補間し、Ｂ成分情報は左右の画素のＢ情報より補間する。
【００６６】
以上の処理ステップを、注目画素を画面の左上から右下まで移動させながら繰り返す。画面右下の画素まで処理すると（ステップＳ６８，Ｙｅｓ）、ステップ４７の処理を終了する。このようにして、並進ぶれがある場合でも、主要被写体部分の精細度が高く、また、背景部分も像ぶれの影響が少ない高品質な合成画像を作成することができる。
【００６７】
なお、ステップＳ４９では、１枚の画像情報のみしか得られていないため、図２４のステップＳ６７と同じ処理を全画面にわたって行うことにより静止画を作成する。
【００６８】
本発明の他の実施形態によれば、以上に説明したデジタルカメラと同様な構成において、合成モードの場合に、静止画撮影動作（ステップＳ７）で画素ずらし撮像動作が３回以上連続して行われ、これによって得られた複数枚の画像情報から合成画像が作成される。
【００６９】
前記デジタルカメラにおいては、主要被写体の特定方法として撮影者の視線方向を利用したが、本発明の他の実施形態によれば、以下に述べるような構成の主要被写体特定手段が用いられる。
【００７０】
（１）測距センサ１２６を利用して検出した距離が、予め指定した距離条件に合致する被写体（具体的には、最も距離が近い被写体、指定した距離範囲にある被写体など）を主要被写体とする。
【００７１】
（２）スルー画中の、予め指定された色温度の条件に合致する領域（具体的には、人物を撮影したい場合に、肌色に相当する色温度を持つ領域など）に対応する被写体を主要被写体とする。
【００７２】
（３）スルー画中の、予め指定されたパターン特徴条件に合致する領域（具体的には、人物を撮影する場合に、人間の顔のパターン特徴に合致する領域など）に対応する被写体を主要被写体とする。
【００７３】
（４）スルー画中の、予め指定された周波数成分に関する条件に合致する領域、具体的には最も高い周波成分が抽出された領域などに対応した被写体を主要被写体とする。撮影者は、注目した主要被写体にピント合わせをするので、その部分の高周波数成分が増加するからである。
【００７４】
（５）図２０のステップＳ２６に関連して説明したような、予め指定した範囲に含まれる被写体を常に主要被写体とする。この場合、撮影者が、その範囲に主要被写体が入るように構図を決めさせる必要があるため、その範囲と被写体との関係を撮影者が確認できるように、例えば図１７に示すように、その範囲と撮像画像とを関連付けて表示すると好ましい。
【００７５】
また、前記デジタルカメラにおいては、手ぶれ補正や画素ずらしのために撮像素子１０２を移動させることによって、撮像素子１０２と被写体像とを相対変位させたが、同様の相対変位を他の手段によって実現してもよい。例えば特開平１０−３３６６８６号公報などに述べられているように、撮影光学系１００と撮像素子１０２との間にプリズムを配し、このプリズムの姿勢を変化させることによって被写体像と撮像素子１０２とを相対変位させることも可能である。また、特開閉７−２８７２６８号公報、特開平１１−１８７３０９号公報などに述べられているように、撮像光学系１００の前方に可変頂角プリズムを配置し、これによって主要被写体の像ぶれ量に基づき被写体像の結像位置を変位させることにより被写体像と撮像素子１０２とを相対変位させることも可能である。
【００７６】
本発明の他の実施形態によれば、前記デジタルカメラと同様な構成において、合成モードの場合に、静止画撮影動作（ステップＳ７）で画素ずらし撮像動作が２回以上連続して行われるが、その少なくとも１回の撮像動作で露光量が変更され、得られた２枚以上の画像情報から高精細・広ダイナミックレンジの合成画像が作成される。例えば、図２３のステップＳ５５で、画素ずらしとともに露光量変更を行うことによって、このような実施形態を実現できる。
【００７７】
本発明の他の実施形態によれば、前記デジタルカメラと同様な構成において、合成モードの場合に、静止画撮影動作（ステップＳ７）で画素ずらしを行うことなく撮像動作が２回以上連続して行われ、その少なくとも１回の撮像動作で露光量が変更され、得られた２枚以上の画像情報からダイナミックレンジが拡大された合成画像が作成される。例えば、図２３のステップＳ５５で画素ずらしを行わず、露光量変更を行うことによって、このような実施形態を実現できる。
【００７８】
本発明の他の実施形態によれば、１回の撮影指示に応答して１枚の静止画撮影を行い、貼り合わせ合成によるパノラマ画像などを作成するための画像情報を１枚ずつ取得する構成とされる。例えば、前記デジタルカメラにおいて、合成モードの場合に、レリーズ操作に応答してステップＳ７で撮像動作を１回だけ行い、再びステップＳ６のスルー画表示動作に戻るような動作シーケンスの変更を行うことによって、このような実施形態を実現できる。
【００７９】
本発明の他の実施形態によれば、主要被写体の像ぶれ量に基づいた手ぶれ補正を行わないが、前記デジタルカメラの場合と同様な像ぶれに関する判定と警告を行う構成とされる。例えば、前記デジタルカメラにおいて、撮像素子変位機構１１８の積層圧電素子２０４，２０５を省き、撮像素子１０２を撮像素子取付枠２００に固定し、ステップＳ７で手ぶれ補正を行わないようにし、また、手ぶれ補正を行わないため、ステップＳ３２においては主要被写体の像ぶれが無視できるほど小さい場合にのみ「合成可能」と判定するように判定条件を変更し、また、三脚装着の有無の判定ステップＳ３１を省くことによって、このような実施形態を実現できる。三脚などの固定具を使用することを前提とした撮像装置の場合、このような実施形態でも画像合成のための画像情報を支障なく取得できる。
【００８０】
前記デジタルカメラにおいては取得された画像情報から作成された合成画像のデータのみが出力されたが、本発明の他の実施形態によれば、合成前の画像情報又はその圧縮データとともに、その撮影に関連して得られた主要被写体の範囲や距離、主要被写体と背景との像ずれ量の差又はその判定結果といった被写体情報がカードメモリ１１２に出力されたり、他のインタフェース手段を介してパソコンなどの外部装置へ出力される。このような実施形態によれば、パソコンなどの外部装置において、画像情報に付加された被写体情報を利用し、より高度な画像合成処理が可能になる。
【００８１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画像合成用の画像情報を取得し、また、その合成画像を作成する用途に好適なデジタルカメラなどの撮像装置を実現できる。以下に、本発明の撮像装置の主な効果を列挙する。
【００８２】
（１）手ぶれが生じた場合であっても主要被写体の像ぶれが補正され、また、並進ぶれがある場合にも、背景についても高品質な合成画像を作成することができる。
【００８３】
（２）三脚などを使用しなくとも、１回の撮影により、少なくとも主要被写体に関し高精度なダイナミックレンジ拡大合成、貼り合わせ合成、画素ずらし合成が可能な複数枚の画像情報を得ることができる。また、２回以上撮影することにより、主要被写体のみならず背景についても高精度なダイナミックレンジ拡大合成や貼り合わせ合成が可能な複数枚の画像情報を確実に取得できる。
【００８４】
（３）主要被写体の像ぶれを補正できないような手ぶれは警告されるため、撮影者は不適切な画像情報の取得や合成画像の作成を容易に回避できる。また、主要被写体の像ぶれを補正できないような手ぶれが生じた場合には撮影動作が抑止されるため、手ぶれによる不適切な画像情報の取得や合成画像の作成を自動的に防止できる。
【００８５】
（４）影響を無視できないような並進ぶれが生じた場合には警告されるため、主要被写体のみならず背景についても高精度な画像合成が可能な複数枚の画像情報を確実に取得できる。
【００８６】
（５）三脚などの固定具を使用し手ぶれの心配がない場合には警告を抑止することにより、構図設定などの操作時に無用な警告によって撮影者に不快感を与えないようにすることができる。
【００８７】
（６）撮像素子により被写体像を連続的に撮像することによって得られた相前後する画像情報間のパターンマッチングを主要被写体の領域及び背景の領域について行うことによって、主要被写体の像ぶれ量及び背景の像ぶれ量をそれぞれ検出することにより、主要被写体及び背景の像ぶれ量を高精度に検出することができる。
【００８８】
（７）撮影者の視線方向を検出する手段により、撮影者が着目した被写体を注視するだけで、その被写体を主要被写体として撮像装置を動作させることができ、また、撮影者の視線方向を検出できない状況においても、撮影者が撮影画角内の予め指定した領域に着目した被写体が入るように構図設定を行うだけで、その被写体を主要被写体として撮像装置を動作させることができる。
【００８９】
（８）撮影画角内の予め指定された領域に対応した被写体を主要被写体とすることにより、撮影者が撮影画角内の予め指定した領域に着目した被写体が入るように構図設定を行うだけで、その被写体を主要被写体として撮像装置を動作させることができる。
【００９０】
（９）被写体との距離を検出する測距手段を備え、予め指定された距離に関する条件と前記測距手段により検出された距離とに基づいて主要被写体を特定することにより、例えば、撮影者が着目した被写体を遠方の風景などを背景にして撮影するような場合に、その被写体を主要被写体として撮像蔵置を動作させることができる。
【００９１】
（１０）予め指定された色温度に関する条件と、撮像素子により被写体像を撮像することにより得られた画像情報の色温度とに基づいて主要被写体を特定することにより、例えば、人物を撮影したい場合に、肌色に相当する色温度を条件として指定することで、その人物を主要被写体として撮像装置を動作させることができる。
【００９２】
（１１）予め指定されたパターン特徴に関する条件と、撮像素子により被写体像を撮像することにより得られた画像情報のパターン特徴とに基づいて、主要被写体を特定することにより、例えば人間の顔の特徴点に相当するパターン特徴条件を指定することにより、撮影画角内の人物を主要被写体として撮像動作を動作させることができる。
【００９３】
（１２）予め指定された周波数成分に関する条件と、撮像手段により被写体像を撮像することにより得られた画像情報の周波成分とに基づいて、主要被写体を特定することにより、例えば、撮影者が着目した被写体に手動又は自動でピント合わせを行うと、その被写体を主要被写体として撮像装置を動作させることができる。
【図面の簡単な説明】
【図１】 本発明の実施の一形態であるデジタルカメラのブロック構成の一例を示すブロ
ック図である。
【図２】 デジタルカメラの外観形状の一例を示す概略斜視図である。
【図３】 デジタルカメラの外観形状の一例を示す概略正面図である。
【図４】 デジタルカメラの外観形状の一例を示す概略底面図である。
【図５】 撮像素子変位機構の手ぶれ補正及び画素ずらしに関連した構成の一例を示す概
略構成図である。
【図６】 撮像素子変位機構のピント合わせに関連した構成の一例を示す概略構成図であ
る。
【図７】 コントラスト法による測距センサの説明図である。
【図８】 位相差検出法による測距センサの説明図である。
【図９】 視線検出センサの説明図である。
【図１０】 眼球の黒目とプルキンエ像の相対位置と視線方向の関係を示す図である。
【図１１】 眼球の黒目とプルキンエ像の相対的な位置関係の説明図である。
【図１２】 三脚センサの一例を示す概略断面図である。
【図１３】 三脚センサの他の例を示す概略断面図である。
【図１４】 撮像素子上のカラー画素配列の一例を示す図である。
【図１５】 水平方向への１画素分の画素ずらしにより撮像された２枚の画像情報により得られる各画素位置のＲ，Ｇ，Ｂ成分を示す図である。
【図１６】 水平方向への１画素分の画素ずらしにより撮像された２枚の画像情報により得られる各画素位置のＧ成分を示す図である。
【図１７】 撮影者の視線方向を検出できない場合に表示される主要被写体範囲の説明図である。
【図１８】 主要被写体像の移動量と各露光間隔内での主要被写体像の移動量を、スルー画表示動作時及び静止画撮影時の露光間隔と対応付けて示す図である。
【図１９】 デジタルカメラの全体的動作の一例を示すフローチャートである。
【図２０】 図１９中のステップＳ６のフローチャートである。
【図２１】 図２０に示すフローチャートの続きを示すフローチャートである。
【図２２】 図１９中のステップＳ７のフローチャートである。
【図２３】 図２２中のステップＳ４４，Ｓ４６のフローチャートである。
【図２４】 図２２中のステップＳ４７のフローチャートである。
【図２５】 撮像装置の回転ぶれを説明するための図である。
【図２６】 撮像装置の回転ぶれによる像移動を、近距離の被写体と遠方の背景とに分けて表した図である。
【図２７】 回転ぶれにより像ぶれが生じた２枚の画像を重ねた画像を示す図である。
【図２８】 撮像装置の並進ぶれによる像移動の説明図である。
【図２９】 並進ぶれにより像ぶれが生じた２枚の画像を重ねた画像を示す図である。
【図３０】 並進ぶれによる像ぶれが生じた２枚の画像を、主要被写体が重なるようにシフトして重ねた画像を示す図である。
【図３１】 貼り合わせ合成の対象となる画像を示す図である。
【図３２】 図３１の画像の貼り合わせ合成のための分割撮影画像を示す図である。
【符号の説明】
１００ 撮影光学系
１０２ 撮像素子
１０４ アナログ信号処理部
１０６ 画像処理部
１０８ 画像処理バッファメモリ
１１０ カードメモリ・インタフェース
１１２ カードメモリ
１１４ 内部表示装置
１１６ 外部表示装置
１１８ 撮像素子変位機構
１２０ 駆動回路
１２２ ユーザ操作部
１２４ 三脚センサ
１２６ 測距センサ
１２８ 視線検出センサ
１３０ 制御部
１４４ レリーズスイッチ
１４６ モード選択スイッチ
１４０ 開閉蓋部
１４２ ビューファインダ
１４８ 撮影レンズ
１５０ 測距窓
１５２ 三脚取付用ネジ穴
２００ 撮像素子取付枠
２０４，２０５ 積層圧電素子
２１０ リードネジ穴
２０６ フォーカスモータ
２０８ リードネジ
Claims (18)
- 画像合成用の複数枚の画像情報を取得し、合成画像を作成する機能を有する撮像装置であって、
撮影光学系と、
前記撮像光学系を介して結像された被写体像を撮像する撮像素子と、
前記撮像素子と被写体像とを相対変位させるための相対変位手段と、
主要被写体を特定するための主要被写体特定手段と、
前記撮像素子により撮像された被写体像について、前記主要被写体特定手段により特定された主要被写体の像ぶれ量とそれ以外の被写体（以下、背景と呼ぶ）の像ぶれ量とを検出する像ぶれ検出手段と、
撮影指示に応答して画像合成用の複数枚の画像情報を取得するために前記撮像素子に撮像動作を複数回行わせるとともに、該撮像動作時に、前記像ぶれ検出手段により検出された主要被写体の像ぶれ量に基づいて主要被写体の像ぶれを補正するために前記相対変位手段によって前記撮像素子と被写体像とを相対変位させる制御手段と、
前記像ぶれ検出手段により検出された主要被写体の像ぶれ量に基づいて、前記相対変位手段により主要被写体の像ぶれの補正が可能か判定する第１の判定手段と、
前記第１の判定手段で可能と判定された場合に、前記像ぶれ検出手段より検出された主要被写体の像ぶれ量と背景の像ぶれ量とに基づいて、さらに背景合成が可能な画像情報を取得可能か判定する第２の判定手段と、
前記第１の判定手段により可能であると判定された場合に画像合成が可能とみなして、前記第２の判定手段の判定結果に基づき、前記第２の判定手段により可能であると判定された場合には、合成画像の全体の情報を複数枚の画像情報を用いて作成し、前記第２の判定手段により可能でないと判定された場合には、複数枚の画像情報間の局所的な像ずれ量を検出し、像ずれ量が所定値以下の部分では複数枚の画像情報を用いて合成画像情報を作成し、像ずれ量が所定値を越える部分では１枚の画像情報を用いて合成画像情報を作成する画像合成手段と、
を具備することを特徴とする撮像装置。 - 前記第２の判定手段は、前記像ぶれ検出手段により検出された主要被写体の像ぶれ量と背景の像ぶれ量の差が許容値以下である場合、可能と判定することを特徴とする請求項１記載の撮像装置。
- 前記画像合成手段は、前記第２の判定手段により可能でないと判定された場合、複数枚の画像情報間の局所的パターンマッチングによって複数枚の画像情報間の局所的な像ずれ量を検出することを特徴とする請求項１または２記載の撮像装置。
- 前記第１の判定手段により可能でないと判定された場合に警告をする第１の警告手段を具備することを特徴とする請求項１乃至３のいずれか１項記載の撮像装置。
- 前記第２の判定手段により可能でないと判定された場合に警告をする第２の警告手段を具備することを特徴とする請求項１乃至４のいずれか１項記載の撮像装置。
- 前記制御手段は、前記第１の判定手段により可能でないと判定された場合に画像合成用の画像情報を取得するための撮像動作を抑止することを特徴とする請求項１乃至３のいずれか１項記載の撮像装置。
- 前記制御手段は、前記相対変位手段によって前記撮像素子と被写体像とを画素ずらしのために相対変位させることを特徴とする請求項１乃至６のいずれか１項記載の撮像装置。
- 三脚などの固定具の装着を検知する検知手段を具備し、該検知手段により固定具の装着が検知された場合には前記警告をしないことを特徴とする請求項４又は５記載の撮像装置。
- 前記像ぶれ検出手段は、前記撮像素子により被写体像を連続的に撮像することによって得られた相前後する画像情報間のパターンマッチングを主要被写体の領域及び背景の領域について行うことによって、主要被写体の像ぶれ量及び背景の像ぶれ量をそれぞれ検出することを特徴とする請求項１乃至８のいずれか１項記載の撮像装置。
- 撮影者の視線方向を検出する視線検出手段を具備し、前記主要被写体特定手段は前記視線検出手段により検出された視線方向に基づいて主要被写体を特定することを特徴とする請求項１乃至９のいずれ１項記載の撮像装置。
- 前記視線検出手段によって視線方向を検出できない場合に、前記主要被写体特定手段は撮影画角内の特定の領域に対応した被写体を主要被写体とすることを特徴とする請求項１０記載の撮像装置。
- 前記主要被写体特定手段は撮影画角内の予め指定された領域に対応した被写体を主要被写体とすることを特徴とする請求項１乃至９のいずれか１項記載の撮像装置。
- 被写体との距離を検出する測距手段を具備し、前記主要被写体特定手段は、予め指定された距離に関する条件と前記測距手段により検出された距離とに基づいて主要被写体を特定することを特徴とする請求項１乃至９のいずれか１項記載の撮像装置。
- 前記主要被写体特定手段は、予め指定された色温度に関する条件と、前記撮像素子により被写体像を撮像することにより得られた画像情報の色温度とに基づいて主要被写体を特定することを特徴とする請求項１乃至９のいずれか１項記載の撮像装置。
- 前記主要被写体特定手段は、予め指定されたパターン特徴に関する条件と、前記撮像素子により被写体像を撮像することにより得られた画像情報のパターン特徴とに基づいて、主要被写体を特定することを特徴とする請求項１乃至９のいずれか１項記載の撮像装置。
- 前記主要被写体特定手段は、予め指定された周波数成分に関する条件と、前記撮像手段により被写体像を撮像することにより得られた画像情報の周波成分とに基づいて、主要被写体を特定することを特徴とする請求項１乃至９のいずれか１項記載の撮像装置。
- 前記相対変位手段は、光軸と直交する方向に前記撮像素子を変位させることを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
- 請求項１乃至１７のいずれか１項記載の撮像装置の手段を備えてなるデジタルカメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000035092A JP3788714B2 (ja) | 2000-02-14 | 2000-02-14 | 撮像装置及びデジタルカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000035092A JP3788714B2 (ja) | 2000-02-14 | 2000-02-14 | 撮像装置及びデジタルカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001223932A JP2001223932A (ja) | 2001-08-17 |
| JP3788714B2 true JP3788714B2 (ja) | 2006-06-21 |
Family
ID=18559339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000035092A Expired - Fee Related JP3788714B2 (ja) | 2000-02-14 | 2000-02-14 | 撮像装置及びデジタルカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3788714B2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7379094B2 (en) | 2002-04-18 | 2008-05-27 | Olympus Corporation | Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range |
| US7295232B2 (en) | 2003-01-15 | 2007-11-13 | Canon Kabushiki Kaisha | Camera and program |
| JP2006128780A (ja) | 2004-10-26 | 2006-05-18 | Konica Minolta Photo Imaging Inc | デジタルカメラ |
| JP4379918B2 (ja) | 2004-11-29 | 2009-12-09 | 富士フイルム株式会社 | 撮影装置及び撮影方法 |
| US7656428B2 (en) * | 2005-05-05 | 2010-02-02 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Imaging device employing optical motion sensor as gyroscope |
| JP2006337778A (ja) * | 2005-06-03 | 2006-12-14 | Casio Comput Co Ltd | カメラ、カメラ制御プログラム、及びカメラシステム |
| JP4529804B2 (ja) * | 2005-06-08 | 2010-08-25 | 株式会社ニコン | 画素ずらし画像の生成機能を有する電子カメラおよび撮像方法 |
| JP4536641B2 (ja) * | 2005-11-02 | 2010-09-01 | ルネサスエレクトロニクス株式会社 | 画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム |
| JP4789722B2 (ja) | 2006-07-13 | 2011-10-12 | Ｈｏｙａ株式会社 | 像ブレ補正装置 |
| TWI420897B (zh) | 2006-07-13 | 2013-12-21 | Pentax Ricoh Imaging Co Ltd | 防震裝置 |
| JP4778852B2 (ja) | 2006-07-13 | 2011-09-21 | Ｈｏｙａ株式会社 | 像ブレ補正装置 |
| TWI440962B (zh) | 2006-07-13 | 2014-06-11 | Pentax Ricoh Imaging Co Ltd | 防震裝置 |
| JP5047553B2 (ja) | 2006-07-13 | 2012-10-10 | ペンタックスリコーイメージング株式会社 | 像ブレ補正装置 |
| JP4964054B2 (ja) * | 2007-07-31 | 2012-06-27 | 三洋電機株式会社 | ディジタルカメラ |
| KR101446941B1 (ko) * | 2007-12-10 | 2014-10-06 | 삼성전자주식회사 | 고속 촬영 시에 영상을 저장하는 장치 및 방법 |
| JP5213493B2 (ja) | 2008-03-26 | 2013-06-19 | 三洋電機株式会社 | 動き検出装置 |
| JP2010171769A (ja) * | 2009-01-23 | 2010-08-05 | Nikon Corp | 電子カメラ |
| JP2009171599A (ja) * | 2009-03-17 | 2009-07-30 | Sharp Corp | 撮像制御装置、画像処理装置、撮像制御装置の制御方法、撮像制御装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP5488558B2 (ja) * | 2011-10-04 | 2014-05-14 | カシオ計算機株式会社 | カメラ、及びカメラ制御プログラム |
| JP6495126B2 (ja) * | 2015-07-13 | 2019-04-03 | オリンパス株式会社 | 撮像装置、画像処理方法 |
-
2000
- 2000-02-14 JP JP2000035092A patent/JP3788714B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001223932A (ja) | 2001-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3788714B2 (ja) | 撮像装置及びデジタルカメラ | |
| US8055097B2 (en) | Image pick-up apparatus, image pick-up program, and image processing program | |
| JP5163409B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| TWI399977B (zh) | 攝影裝置及程式 | |
| US8760526B2 (en) | Information processing apparatus and method for correcting vibration | |
| JP2010136302A (ja) | 撮像装置、撮像方法、およびプログラム | |
| US20110109771A1 (en) | Image capturing appratus and image capturing method | |
| US5838370A (en) | Image pickup apparatus | |
| JP4607822B2 (ja) | デジタルカメラ | |
| JP2011097645A (ja) | 画像合成装置、撮像装置、画像合成方法 | |
| US7805068B2 (en) | Imaging apparatus | |
| JP4596246B2 (ja) | オートフォーカスシステム | |
| JP4710983B2 (ja) | 画像合成装置、撮像装置、画像合成方法 | |
| JP6833801B2 (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
| JP2015106116A (ja) | 撮像装置 | |
| JP2011217334A (ja) | 撮像装置および撮像装置の制御方法 | |
| JP2010233188A (ja) | 撮像装置、その制御方法及びプログラム | |
| JP2002214659A (ja) | ぶれ補正機能付きカメラ | |
| WO2019065820A1 (ja) | 撮影装置とその制御方法および制御プログラム | |
| JP2005308777A (ja) | 撮影装置及びそのプログラム | |
| JP2000125204A (ja) | 電子カメラ | |
| JP2004215062A (ja) | 撮像装置 | |
| JP2021132272A (ja) | 電子機器 | |
| JP2021131441A (ja) | 電子機器 | |
| JP5415208B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060323 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110407 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120407 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130407 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140407 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |