JP2024036872A - 撮像装置、撮像方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 撮像者と背景は被写界深度が異なるため、１回の撮像で双方ボケ少ない鮮明な画像を撮像することが難しい。【解決手段】 光軸方向におけるピント位置の異なる複数の画像の撮像を行う撮像手段と、前記複数の画像を用いて、前記複数の画像のいずれの被写界深度よりも深い合成画像を生成する合成手段と、を有し、前記撮像手段が、撮像者の像を撮像するとき、前記撮像手段が前記撮像を行い、前記合成手段が前記合成画像を生成することを特徴とする撮像装置を提供する。【選択図】 図５

Description

本発明は、画像処理装置に関するものであり、特にピント位置の異なる複数の画像を表示する画像処理装置に関するものである。

特許文献１には、被写体に対して、ピント位置を変えながら複数の画像を撮像し、ピント位置が異なる複数の画像を生成する、いわゆるフォーカスブラケットの技術が開示されている。

特開２００８－１０９７０号公報

撮像者自身を撮像する、いわゆる自分撮りのときに、自身の姿と背景とのどちらの被写体についてもボケの少ないより鮮明に撮像したい場合がある。しかしながら、多くの場合、撮像者と背景とは奥行方向の距離が大きく離れるため、１回の撮像で双方ボケのない画像を撮像することが難しい。

本発明では、自分撮り撮像において、フォーカスブラケットの技術を用いてボケの少ないより鮮明な画像を撮像することを目的とする。

本発明は、光軸方向におけるピント位置の異なる複数の画像の撮像を行う撮像手段と、前記複数の画像を用いて、前記複数の画像のいずれの被写界深度よりも深い合成画像を生成する合成手段と、を有し、前記撮像手段が、撮像者の像を撮像するとき、前記撮像手段が前記撮像を行い、前記合成手段が前記合成画像を生成することを特徴とすることを特徴とする撮像装置を提供する。

また、本発明は、光軸方向におけるピント位置の異なる複数の画像の撮像を行う撮像手段と、表示手段と、前記複数の画像を用いて、前記複数の画像のいずれの被写界深度よりも深い合成画像を生成する合成手段と、を有し、前記表示手段が予め定められた方向に位置するとき、前記撮像手段が前記撮像を行い、前記合成手段が前記合成画像を生成することを特徴とする撮像装置を提供する。

本発明の画像処理装置によれば、撮像者自身を撮像するとき、自動的に深度合成のための撮像を行うことできる。

本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 本発明の実施形態における被写体像が結像面に結像する様子を説明するための図である。 本発明の実施形態におけるピント位置と像倍率との関係を示す関数を説明するための図である。 本発明の実施形態における深度合成の撮像を説明するための図である。 本発明の実施形態における合成画像の生成について説明するためのフローチャートである。 本発明の実施形態における撮像について説明するためのフローチャートである。 本発明の実施形態における深度合成での位置合わせについて説明するためのフローチャートである。 本発明の実施形態における深度合成の画像の合成について説明するためのフローチャートである。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

＜デジタルカメラの概要＞
図１は本実施形態に係る画像の撮像のためのデジタルカメラの構造を示すブロック図の一例である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成などが可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。ディスプレイはバリアングル式やチルト式の可動式であってもよい。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

検知部１１１は、表示部１０８がバリアングル式やチルト式の可動式ディスプレイの場合に、画像データが表示される面の方向や位置を検知することができる。その他、デジタルカメラ１００を手持ちした際に発生するカメラ自体の動き、ブレ状態を検知することができる。

＜被写体結像の説明＞
以下では、被写体結像について簡単に説明する。

図２は、本実施形態における被写体像が結像面に結像する様子を説明するための図である。

図２（ａ）は、被写体２０１が光学レンズ２０２によって面２０３ａ上に像２０４として結像している様子を示している。すなわち、面２０３ａと撮像部１０４の撮像センサ面とが互いに一致すれば、被写体２０１は面２０３ａにて「点」として結像し、合焦画像として記録される。

図２（ｂ）は、像の結像面と撮像センサ面とが一致しない場合を示している。撮像センサ面２０３ｂが図２（ａ）に示される面２０３ａとは異なる位置にある場合、光学レンズ２０２により結像される被写体２０１は、錯乱円２０５として撮像センサ面２０３ｂ上に写る。図２（ｂ）に示したような状況では、錯乱円２０５が撮像センサの許容錯乱円よりも小さい場合、錯乱円２０５は合焦した場合の「点」と同等とみなすことができ、合焦画像と同等の画像が得られる。一方、錯乱円２０５が許容錯乱円よりも大きい場合、撮像センサ面２０３ｂではぼけた画像が得られる。

図２（ｃ）は、上記の様子を側面から示した図である。ここで、焦点２１０にて被写体が結像し、面２１１ａの位置に撮像センサ面が存在する場合、錯乱円径２１２ａが得られる。図２（ｃ）に示した錯乱円径２１２ａは、撮像センサの許容錯乱円径２１３よりも小さい。そのため、撮像センサにて記録される画像２１７は、ボケの無い合焦画像となる。一方、撮像センサ面が面２１４ａの位置に存在する場合、このときの錯乱円径２１５ａは、許容錯乱円径２１３よりも大きい。そのため、撮像センサ面２１４ａ上の画像２１８ａは、ぼけた画像となる。錯乱円径２１２ａが許容錯乱円径２１３よりも小さくなる斜線で示される領域は焦点深度２１６ａであり、焦点深度２１６ａを被写体側に換算して置き換えたものが被写界深度となる。

図２（ｄ）は、図２（ｃ）と比べて、絞りを絞った状態を示す図である。絞りを絞った状態では、入射光の径が奥行きの違いとなるため、面２１１ｂに対しての錯乱円径２１２ｂ、面２１４ｂに対しての錯乱円径２１５ｂのようにそれぞれ変化する。図２（ｃ）の錯乱円径２１５ａと比較して、図２（ｄ）の錯乱円径２１５ｂは小さい。そのため、図２（ｄ）に示した画像２１８ｂは、画像２１８ａよりもボケ量の少ない画像となる。また、図２（ｄ）に示した焦点深度２１６ｂは、焦点深度２１６ａよりも深い。

＜深度合成の説明＞
フォーカスブラケットのひとつの応用例としては、深度合成が挙げられる。

図３は、本実施形態における深度合成の撮像を説明するための図である。ここでは、合焦させる被写体として、被写体３１～３３を想定している。それぞれの被写体３１～３３は、互いに異なる距離（被写体距離）に存在するものとし、デジタルカメラ１００に近い側から（近距離側から遠距離側に向かう方向に）被写体３１、３２、３３の順に位置している。複数の被写体３１～３３のすべてに対して合焦した深度合成画像を得るには、フォーカスブラケット撮像を行う焦点範囲３００（ブラケット範囲）を、複数の焦点深度でカバーする必要がある。被写界深度３１１～３１６は、それぞれの撮像における焦点深度を示し、焦点範囲３００をカバーするように並んでいる。すなわち、被写界深度３１１～３１６となるピント位置で撮像（６回の撮像）を行うことにより、焦点範囲３００の範囲内の被写体３１～３３は、いずれかの画像において合焦した状態となる。また、このようにして撮像された複数の画像から、それぞれの撮像における焦点深度内の領域を画像合成することにより、焦点範囲３００の全域（ブラケット全域）で合焦した画像を得ることができる。

また、深度合成の技術は、解像感の高い画像を得ることにも有用である。フォーカスブラケットの撮像において、それぞれの画像を撮像するときの被写界深度を浅くすると、合焦領域において極めて解像感の高い画像領域が得られる。それぞれの合焦領域に対して合成を行うと、合成画像でも高い解像感が維持できる。

＜撮像部１０４の構造＞
図４は、本実施形態における撮像部１０４に設けるセンサを説明するための図である。図４（ａ）に示した素子では、１つの画素４１０が、２つの光電変換部４１１と４１２とを有する。図４（ｂ）に示した素子では、１つの画素４２０が、４つの光電変換部４２１～４２４を有する。図４に示した素子の１つの画素にある光電変換部のそれぞれから独立に信号を読み出すと、被写体の距離情報を算出することができる。こうした独立に読み出したそれぞれの光電変換部の信号を、瞳分割信号という。瞳分割信号を、画像信号とともに記録すると、制御部１０１は、画像処理部１０７での解析で、画像の各々の領域の光軸方向の相対位置を算出することができる。

図４（ｃ）は、図４（ａ）に示した素子において、光信号の画素への入射を示す。図４（ｃ）では、画素アレイ４３１には、マイクロレンズ４３２と、カラーフィルタ４３３と、光電変換部４３４と４３５とがある。光電変換部４３４と４３５とは、同じ画素に属し、マイクロレンズ４３２とカラーフィルタ４３３に対応する。この図４（ｃ）はデジタルカメラを上から見た図であって、１つの画素に対応する２つの光電変換部４３４と４３５が左右に並んで配置されていることを示している。射出瞳４３６から出る光束のうち、光軸４３９を境にして、上側の光束（領域４３７からの光束に相当）は光電変換部４３５に入射し、下側の光束（領域４３８からの光束に相当）は光電変換部４３４に入射する。つまり、光電変換部４３４と４３５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部４３４が受光した信号をＡ像、光電変換部４３５で受光した信号をＢ像とすると、Ａ像とＢ像は前述する１対の瞳分割信号に該当する。Ａ像とＢ像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。

＜深度合成のフロー＞
次は、本実施形態における深度合成の画像の生成のフローについて説明する。

図５は、本実施形態における合成画像の生成について説明するためのフローチャートである。

ステップＳ５００では、制御部１０１は、自分撮りのモードかどうかを判定する。具体的な判定方法は、後述する。自分撮りの場合、フローは、ステップＳ５０１に進み、自分撮りでない場合、フローは、ステップＳ５０４に進む。

ステップＳ５０１では、撮像部１０４は、光軸方向でのピント位置の異なる複数の画像を撮像する。ステップＳ５０２では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した複数の画像に対して位置合わせを行う。ステップＳ５０３で、画像処理部１０７は、位置合わせを行った後の画像に対して合成を行い、被写界深度のより深い合成画像を生成する。

一方、ステップＳ５０４では、撮像部１０４は、フォーカスブラケットでない撮像を行う。ここでは、撮像部１０４は、１枚の画像を撮像してよい。または、ＨＤＲなど、合成のための複数の画像を撮像してもよい。

＜自分撮りの判定＞
まず、１つの例としては、検知部１１１から表示部１０８がどの方向を向いているかの情報を取得して、光学系１０３が向いている方向と同一方向であれば、制御部１０１が自分撮りを実施すると判定する。また、予めＲＯＭ１０５やＲＡＭ１０６、内蔵メモリ１０９といった記録部材に撮像者自身の顔情報を記録しておき、撮像しようとしている画像の被写体判定を行い、そこに記録されている撮像者の顔があった場合は自分撮り撮像状態と判定してもよい。また、デジタルカメラ１００から最も近い被写体が顔であり、その被写体の顔部の大きさとデジタルカメラ１００の位置と光学条件を基に、およそ一般的な人の腕の長さと演算された場合には自分撮り撮像状態と判定してもよい。これは、自分撮り撮像において、最も撮像装置から近い被写体は、その多くの場合が撮像者自身の顔であり、撮像装置から撮像者自身の顔まで距離についても撮像者の腕の長さ分と考えられるためである。

また、もう１つの好適な画像生成の形態として、ステップＳ５００における自分撮り撮像の判定について、検出部１１１においてデジタルカメラ１００機器自体のブレを検知して、ブレ量がある閾値を超える場合は自分撮り撮像非実施と判定してもよい。つまり、ブレ量が閾値以下の場合、デジタルカメラ１００が自分撮り撮像を実施する。これは、深度合成撮像処理において短時間に複数撮像を行うため、手ブレなどが発生すると合成に適した画像の取得ができないためである。この場合、ブレ量の閾値としては、前述の位置合わせ処理では補完しきれない画像ブレが発生する値に合わせて設定すればよい。また、被写体自体に動きがあり合成に適した画像の撮像ができない場合も、同様の理由で自分撮り撮像非実施と判定してもよい。その他にも、検知部１１１から得られる表示部１０８の方向と光学系１０３が向いている方向とが同一方向であったとしても、被写体に顔が無い場合や、撮像者がいない場合は、すなわち被写体として背景部しかないと考えて、自分撮り撮像非実施と判定してもよい。

また、前述の通り、自分撮りの撮像において、最も撮像装置から近い被写体は、その多くの場合が撮像者自身の顔であり、撮像装置から撮像者自身の顔まで距離についても撮像者の腕の長さ分と考えられる。すなわち、デジタルカメラ１００から撮像者自身の顔まで距離、および被写体である顔の奥行きはおおよそ一定であると考えられる。故に、最もデジタルカメラ１００から近い被写体である撮像者の顔に対する深度合成撮像設定として、一般的な人の腕の長さと顔の奥行、および撮像装置の光学条件から予め定められた各ピント位置と撮像回数でフォーカスブラケット撮像してもよい。それよりも遠くとなる背景部については、顔部に対する設定とは異なる設定で撮像をしてもよい。たとえば、背景部について、複数のピント位置の異なる画像を撮像せずに、背景部に相当するピント位置において１枚の画像を撮像してよい。

＜深度合成の実施方法＞
以下では、図５に示したそれぞれのステップについて詳細に説明する。

図６は、本実施形態におけるステップＳ５０１での撮像について説明するためのフローチャートである。

ステップＳ６０１で、制御部１０１は、撮像の設定を行う。たとえば、ユーザがタッチパネルなどで、合焦したい位置を指定し、制御部１０１が、ユーザが指定した箇所が最も至近側のピント位置として、順次にあらかじめ定められたピント間隔で、所定の枚数で、ほかのピント位置を特定する。また、制御部１０１が、ユーザが指定した箇所が最も無限遠側のピント位置としてもよい。

または、制御部１０１が、光学系１０３を通し、自動合焦を利用して最初のピント位置を特定してもよい。

または、ユーザがタッチパネルなどで、２つの箇所を指定し、制御部１０１が、ユーザが指定した箇所を最も無限遠側と最も至近側とのピント位置とする。

ステップＳ６０２で、撮像部１０４は、ステップＳ３０１で設定したピント位置のうち、未撮像のものの中で、撮像順番が最も先のピント位置において撮像する。

ステップＳ６０３で、制御部１０１は、ステップＳ３０１で設定したすべてのピント位置において撮像を行ったかどうかについて判断する。すべてのピント位置に撮像した場合は、図６に示したフローチャートでの処理を終了し、まだ撮像していないピント位置があれば、ステップＳ６０２に戻る。

また、撮像部１０４を複数有する多眼カメラの場合、ステップＳ６０１で設定された複数のピント位置で同時に撮像してもよい。

図７は、本実施形態における深度合成での位置合わせについて説明するためのフローチャートである。

ステップＳ７０１では、制御部１０１は、ステップＳ５０１で撮像部１０４が撮像した画像のうちから、位置合わせの基準画像を取得する。位置合わせの基準画像は、たとえば、撮像順番が最も早いものとする。あるいは、ピント位置を変えながら撮像することで、わずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものにしてもよい。

ステップＳ７０２では、制御部１０１は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ７０１で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。制御部１０１は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に対象画像を取得すればよい。

ステップＳ７０３では、制御部１０１は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、基準画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、制御部１０１は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。制御部１０１は、基準画像のブロックの中心と前述した対応点から、ステップＳ７０３でいう位置のずれをベクトルとして算出する。制御部１０１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

ステップＳ７０４で、制御部１０１で、基準画像と対象画像との位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

ステップＳ７０５で、画像処理部１０７は、ステップＳ７０４で算出した変換係数を用いて対象画像に対して変換を行う。

たとえば、制御部１０１は、下記の（式１）に示した式を用いて変形を行うことができる。

（式１）では、（ｘ´，ｙ´）は変形を行った後の座標を示し、（ｘ，ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ４０４で制御部１０１が算出した変形係数を示す。

ステップＳ７０６で、制御部１０１は、基準画像以外のすべての画像に対して位置合わせを行ったかどうかについて判断する。基準画像以外のすべての画像に対して位置合わせを行った場合は、図７に示したフローチャートでの処理を終了し、まだ処理していない画像があれば、ステップＳ７０２に戻る。

また、上述した多眼カメラで撮像された複数の画像を位置合わせする場合、光学系１０３の位置の違いにより生まれる視差量をステップＳ７０３でずれ量算出で求める事が出来るため、同様の処理で位置合わせを行うことが出来る。

図８は、本実施形態における深度合成の画像の合成について説明するためのフローチャートである。

ステップＳ８０１で、画像処理部１０７は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式２）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式３）ないし（式５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

ステップＳ８０２で、画像処理部１０７は合成マップを生成する。合成マップの生成方法としては、画像処理部１０７は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。具体的に、同じ位置にある画像のうち、コントラスト値の最も大きい画素に対して１００％の合成比率を与え、同じ位置にある他の画素に対して０％の合成比率を与える。つまり、次の（式６）が成り立つ。

（式６）では、Ｃｍ（ｘ，ｙ）はステップＳ８０１で算出したコントラスト値を表し、Ａｍ（ｘ，ｙ）は合成マップの比率を表す。なお、ｍはピント位置の異なる複数画像のうちｍ番目の画像、ｘは画像の水平座標、ｙは垂直座標を示している。

ただし、ステップＳ８０２では、境界部が不自然にならないように合成比率を適宜調整する必要がある。その結果、１枚の画像における合成マップの合成比率は、０％と１００％との二値化のものでなく、連続的に変化するものになる。

ステップＳ８０３で、画像処理部１０７は、ステップＳ８０２で生成した合成マップを用いて、位置合わせの後の画像に対して合成処理を行い、合成画像を生成する。

本実施形態によれば、撮像者と背景とが離れたシーンにおいて撮像するとき、撮像者と背景とにおいてボケの少ない画像を得るために、
（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、連続撮像機能と合成機能を搭載していれば、携帯機器やスマートフォンなどに適用することも可能である。特に表示画面側にあるインカメラと背面側にあるアウトカメラとを備える携帯機器やスマートフォンなどの場合、ステップＳ５００において、インカメラで撮像する設定になっている場合に自分撮り撮像実施と判定して、以降前述と同様の撮像処理を実施してもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（たとえば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部
１１１ 検知部

Claims (23)

1. 光軸方向におけるピント位置の異なる複数の画像の撮像を行う撮像手段と、
   前記複数の画像を用いて、前記複数の画像のいずれの被写界深度よりも深い合成画像を生成する合成手段と、を有し、
   前記撮像手段が、撮像者の像を撮像するとき、前記撮像手段が前記撮像を行い、前記合成手段が前記合成画像を生成することを特徴とする撮像装置。
2. 光軸方向におけるピント位置の異なる複数の画像の撮像を行う撮像手段と、
   表示手段と、
   前記複数の画像を用いて、前記複数の画像のいずれの被写界深度よりも深い合成画像を生成する合成手段と、を有し、
   前記表示手段が予め定められた方向に位置するとき、前記撮像手段が前記撮像を行い、前記合成手段が前記合成画像を生成することを特徴とする撮像装置。
3. 被写体を検知する検知手段を有し、
   前記検知手段が前記被写体として顔を検知していた場合に、
   前記撮像手段が前記複数の画像を撮像することを特徴とする請求項１または２に記載の撮像装置。
4. 被写体を検知する検知手段を有し、
   前記検知手段が前記被写体として顔を検知していた場合に、
   前記合成手段が前記合成画像を生成することを特徴とする請求項１または２に記載の撮像装置。
5. 被写体の動き量を検知する検知手段を有し、
   前記検知手段が検知した前記動き量が予め定められた閾値以下の場合に、
   前記撮像手段が前記複数の画像を撮像することを特徴とする請求項１または２に記載の撮像装置。
6. 被写体の動き量を検知する検知手段を有し、
   前記検知手段が検知した前記動き量が予め定められた閾値以下の場合に、
   前記合成手段が前記合成画像を生成することを特徴とする請求項１または２に記載の撮像装置。
7. 前記撮像手段のブレを検知する検知手段を有し、
   前記検知手段が検知した前記ブレが予め定められた閾値以下の場合に、
   前記撮像手段が前記複数の画像を撮像することを特徴とする請求項１または２に記載の撮像装置。
8. 前記撮像手段のブレを検知する検知手段を有し、
   前記検知手段が検知した前記ブレが予め定められた閾値以下の場合に、
   前記合成手段が前記合成画像を生成することを特徴とする請求項１または２に記載の撮像装置。
9. 前記撮像手段は、１つのマイクロレンズに複数の光電変換部に対応することを特徴とする請求項１または２に記載に撮像装置。
10. 前記撮像手段は、瞳分割信号を用いて被写体距離を取得することを特徴とする請求項９に記載の撮像装置。
11. 前記被写体距離に基づいて、前記ピント位置を設定する設定手段を有することを特徴とする請求項１０に記載の撮像装置。
12. 被写体を検知する検知手段と、
    前記ピント位置の設定を行う設定手段と、を有し、
    前記検知手段が前記被写体と異なる背景を検知した場合、前記設定手段は、前記被写体と前記背景とに対して異なる前記設定を行うことを特徴とする請求項１または２に記載の撮像装置。
13. 前記検知手段が前記被写体として顔を検知することを特徴とする請求項１２に記載の撮像装置。
14. 前記検知手段が複数の前記顔を検出した場合、最も至近側に位置する前記顔を撮像者として検知することを特徴とする請求項１３に記載の撮像装置。
15. 前記検知手段が前記被写体として撮像者を検出することを特徴とする請求項１２に記載の撮像装置。
16. 前記検知手段は、予め記録されている顔情報を用いて前記撮像者を検出することを特徴とする請求項１５に記載の撮像装置。
17. 前記設定手段は、前記背景に対して１枚の画像を撮像するように設定することを特徴とする請求項１２に記載の撮像装置。
18. 前記合成手段は、前記合成画像を生成しないとき、前記撮像手段は、１枚の画像を撮像することを特徴とする請求項１または２に記載の画像処理装置。
19. 光軸方向におけるピント位置の異なる複数の画像の撮像を行う撮像ステップと、
    前記複数の画像を用いて、前記複数の画像のいずれの被写界深度よりも深い合成画像を生成する合成ステップと、を有し、
    前記撮像ステップにおいて撮像者の像を撮像するとき、前記撮像ステップにおいて前記撮像を行い、前記合成ステップにおいて前記合成画像を生成することを特徴とする撮像方法。
20. 光軸方向におけるピント位置の異なる複数の画像の撮像を行う撮像ステップと、
    表示ステップと、
    前記複数の画像を用いて、前記複数の画像のいずれの被写界深度よりも深い合成画像を生成する合成ステップと、を有し、
    前記表示ステップにおいて予め定められた方向に位置するとき、前記撮像ステップにおいて前記撮像を行い、前記合成ステップにおいて前記合成画像を生成することを特徴とする撮像方法。
21. 撮像装置をコンピュータに作動させるプログラムであって、
    光軸方向におけるピント位置の異なる複数の画像の撮像を行う撮像ステップと、
    前記複数の画像を用いて、前記複数の画像のいずれの被写界深度よりも深い合成画像を生成する合成ステップと、を行わせ、
    前記撮像ステップにおいて撮像者の像を撮像するとき、前記撮像ステップにおいて前記撮像を行い、前記合成ステップにおいて前記合成画像を生成することを特徴とするプログラム。
22. 撮像装置をコンピュータに作動させるプログラムであって、
    光軸方向におけるピント位置の異なる複数の画像の撮像を行う撮像ステップと、
    表示ステップと、
    前記複数の画像を用いて、前記複数の画像のいずれの被写界深度よりも深い合成画像を生成する合成ステップと、を行わせ、
    前記表示ステップにおいて予め定められた方向に位置するとき、前記撮像ステップにおいて前記撮像を行い、前記合成ステップにおいて前記合成画像を生成することを特徴とするプログラム。
23. 請求項２１または２２に記載のプログラムを記録した記録媒体。

Images