JP3666421B2 - 撮像装置、画像処理装置、記録媒体、およびプログラム - Google Patents
撮像装置、画像処理装置、記録媒体、およびプログラム Download PDFInfo
- Publication number
- JP3666421B2 JP3666421B2 JP2001206355A JP2001206355A JP3666421B2 JP 3666421 B2 JP3666421 B2 JP 3666421B2 JP 2001206355 A JP2001206355 A JP 2001206355A JP 2001206355 A JP2001206355 A JP 2001206355A JP 3666421 B2 JP3666421 B2 JP 3666421B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- foreground
- subject
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラなどの撮像装置によって撮像された画像を処理する画像処理技術に関し、より詳細には、２枚の撮影画像に基づいて近景被写体領域を抽出する画像処理技術に関する。
【０００２】
【従来の技術】
デジタルカメラなどの撮像装置によって、奥行き方向の位置が互いに異なる複数の被写体を撮影するとき、その撮影画像の中から、全被写体のうち撮像装置から比較的近い距離にある被写体に関する領域（以下、「近景被写体領域」とも称する）を抽出することが要請されることがある。
【０００３】
このような要請に応えるための従来技術としては、特開平１１−１３４５０５号公報に記載される技術が存在する。この従来技術においては、照明点灯時のＣＣＤカメラによる撮影画像と照明消灯時のＣＣＤカメラによる撮影画像との相違に基づいて、撮像装置から近い位置に載置された観察対象物に関する撮像領域を抽出する。
【０００４】
【発明が解決しようとする課題】
しかしながら、この従来技術においては、背景となる被写体についての照明の変化が無いことを前提としている。したがって、照明の有無や外光の変化等により、背景被写体の照明状態が変化したときには、近景領域を適切に抽出することが困難であるという問題を有している。
【０００５】
そこで、本発明は前記問題点に鑑み、近景領域を良好に抽出することが可能な画像処理技術を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明は、奥行き方向の位置が互いに異なる複数の被写体を撮影する撮像装置であって、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように調整された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように調整された第２の撮影画像とを撮影する撮影手段と、前記第１の撮影画像と前記第２の撮影画像との差分画像を求め、当該差分画像に基づいて、前記第１の撮影画像または前記第２の撮影画像の中から近景被写体領域を抽出する抽出手段と、を備え、前記抽出手段は、前記差分画像を二値化して高階調値領域と低階調値領域とに区分し、前記第１の撮影画像を二値化して高階調値領域と低階調値領域とに区分し、前記差分画像の低階調値領域と前記第１の撮影画像の高階調値領域との重複領域である第１領域を第１の近景候補領域として決定し、前記差分画像の低階調値領域と前記第１の撮影画像の低階調値領域との重複領域である第２領域のうち、前記第１の近景候補領域に隣接する領域を第２の近景候補領域として決定し、前記第１の近景候補領域と前記第２の近景候補領域との両方に相当する領域を前記近景被写体領域として決定することを特徴とする。
【００１１】
請求項２の発明は、請求項１の発明に係る撮像装置において、前記第１の撮影画像は、最も絞った状態の絞り値を用いて撮影されることを特徴とする。
【００１２】
請求項３の発明は、請求項１の発明に係る撮像装置において、前記被写体までの距離を測定する測定手段、をさらに備え、前記第１の撮影画像は、フラッシュ発光の強度と近景被写体までの距離とに応じて決定される近景被写体用絞り値以下であって、フラッシュ発光の強度と遠景被写体までの距離とに応じて決定される遠景被写体用絞り値よりも大きな値を有する絞り値を用いて撮影されることを特徴とする。
【００１３】
請求項４の発明は、請求項３の発明に係る撮像装置において、前記第１の撮影画像は、フラッシュ発光の強度と近景被写体までの距離とに応じて決定される近景被写体用絞り値に等しい絞り値を用いて撮影されることを特徴とする。
【００１４】
請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係る撮像装置において、前記抽出された近景被写体領域を背景画像と合成する合成手段、をさらに備えることを特徴とする。
【００１５】
請求項６の発明は、請求項１の発明に係る撮像装置において、撮影時の状況において前記抽出手段による近景被写体領域の抽出が可能か否かを判別する判別手段、をさらに備え、前記判別手段は、前記第１の撮影画像における遠景被写体を不適切な露光量で撮影することができないと判定される場合には前記近景被写体領域の抽出が不可能であると判別することを特徴とする。
請求項７の発明は、請求項１の発明に係る撮像装置において、撮影時の状況において前記抽出手段による近景被写体領域の抽出が可能か否かを判別する判別手段、をさらに備え、前記判別手段は、前記第１の撮影画像における近景被写体を適切な露光量で撮影することができないと判定される場合には前記近景被写体領域の抽出が不可能であると判別することを特徴とする。
【００１６】
請求項８の発明は、請求項６または請求項７の発明に係る撮像装置において、前記判別手段によって前記近景被写体領域の抽出が不可能であると判別されたときに、前記近景被写体領域の抽出が不可能である旨を表示する表示手段、をさらに備えることを特徴とする。
【００１９】
請求項９の発明は、請求項６ないし請求項８のいずれかの発明に係る撮像装置において、前記被写体までの距離を測定する測定手段、をさらに備え、前記判別手段は、遠景被写体を不適切な露光量で撮影することができる絞り値の最小値が、前記測定手段によって測定された近景被写体までの距離とフラッシュ発光の強度とに応じて決定される近景被写体用絞り値よりも大きい場合に、前記抽出手段による近景被写体領域の抽出が不可能であるとして判別することを特徴とする。
【００２０】
請求項１０の発明は、請求項９の発明に係る撮像装置において、前記判別手段は、遠景被写体の露光量を不適切にすることができる絞り値の最小値に絞りを設定して撮影するときに、近景被写体の露光量を適切にすることが可能な近景被写体までの距離の許容最大値を算出することを特徴とする。
【００２１】
請求項１１の発明は、請求項１０の発明に係る撮像装置において、前記判別手段は、前記算出された近景被写体までの距離の許容最大値と前記測定手段によって測定された近景被写体までの距離との差を、前記近景被写体が移動すべき距離として算出することを特徴とする。
【００２２】
請求項１２の発明は、奥行き方向の位置が互いに異なる複数の被写体に関して撮影された画像を処理する画像処理装置であって、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように撮影された第２の撮影画像とを取得する画像取得手段と、前記第１の撮影画像と前記第２の撮影画像との差分画像を求め、当該差分画像に基づいて、前記第１の撮影画像または前記第２の撮影画像の中から近景被写体領域を抽出する抽出手段と、を備え、前記抽出手段は、前記差分画像を二値化して高階調値領域と低階調値領域とに区分し、前記第１の撮影画像を二値化して高階調値領域と低階調値領域とに区分し、前記差分画像の低階調値領域と前記第１の撮影画像の高階調値領域との重複領域である第１領域を第１の近景候補領域として決定し、前記差分画像の低階調値領域と前記第１の撮影画像の低階調値領域との重複領域である第２領域のうち、前記第１の近景候補領域に隣接する領域を第２の近景候補領域として決定し、前記第１の近景候補領域と前記第２の近景候補領域との両方に相当する領域を前記近景被写体領域として決定することを特徴とする。
【００２３】
請求項１３の発明は、コンピュータを、奥行き方向の位置が互いに異なる複数の被写体に関して撮影された画像を処理する画像処理装置であって、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように撮影された第２の撮影画像とを取得する画像取得手段と、前記第１の撮影画像と前記第２の撮影画像との差分画像を求め、当該差分画像に基づいて、前記第１の撮影画像または前記第２の撮影画像の中から近景被写体領域を抽出する抽出手段であって、前記差分画像を二値化して高階調値領域と低階調値領域とに区分し、前記第１の撮影画像を二値化して高階調値領域と低階調値領域とに区分し、前記差分画像の低階調値領域と前記第１の撮影画像の高階調値領域との重複領域である第１領域を第１の近景候補領域として決定し、前記差分画像の低階調値領域と前記第１の撮影画像の低階調値領域との重複領域である第２領域のうち、前記第１の近景候補領域に隣接する領域を第２の近景候補領域として決定し、前記第１の近景候補領域と前記第２の近景候補領域との両方に相当する領域を前記近景被写体領域として決定する抽出手段と、を備える画像処理装置として機能させるプログラムであることを特徴とする。
【００２４】
請求項１４の発明は、コンピュータを、奥行き方向の位置が互いに異なる複数の被写体に関して撮影された画像を処理する画像処理装置であって、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように撮影された第２の撮影画像とを取得する画像取得手段と、前記第１の撮影画像と前記第２の撮影画像との差分画像を求め、当該差分画像に基づいて、前記第１の撮影画像または前記第２の撮影画像の中から近景被写体領域を抽出する抽出手段であって、前記差分画像を二値化して高階調値領域と低階調値領域とに区分し、前記第１の撮影画像を二値化して高階調値領域と低階調値領域とに区分し、前記差分画像の低階調値領域と前記第１の撮影画像の高階調値領域との重複領域である第１領域を第１の近景候補領域として決定し、前記差分画像の低階調値領域と前記第１の撮影画像の低階調値領域との重複領域である第２領域のうち、前記第１の近景候補領域に隣接する領域を第２の近景候補領域として決定し、前記第１の近景候補領域と前記第２の近景候補領域との両方に相当する領域を前記近景被写体領域として決定する抽出手段と、を備える画像処理装置として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００２５】
【発明の実施の形態】
＜Ａ．第１実施形態＞
＜Ａ１．概要＞
図１は、本発明に係る撮像装置としてのデジタルカメラ１を示す斜視図である。図１に示すように、このデジタルカメラ１は、内蔵の撮影用ＣＣＤ２、撮影用レンズ３、ファインダー４、カード取り出しボタン５、カード取り出し口６、シャッターボタン７、測光素子８、フラッシュ９、撮影モード切り替えスイッチ１０、測距センサー１１などを備える。
【００２６】
撮影用レンズ３から入射した光は、撮影用ＣＣＤ２において結像され、多段階の階調値を有するデジタル画像に変換される。デジタルカメラ１の操作者は、ファインダー４から見える光景を参考にしながら、シャッターボタン７を押下することによって、所望の光景を撮影することができる。撮影時において、測光素子８は、環境光の明るさ等を測定する測光手段として機能し、測距センサー１１は、被写体までの距離を測定する測定手段として機能する。また、フラッシュ９は、必要に応じて被写体を照射するための強制光を放出する。
【００２７】
また、撮影モード切り替えスイッチ１０は、通常撮影モードと近景被写体抽出モードとを切り替えることができる。また、カード取り出し口６に対して、メモリーカード１０５（後述）等が着脱自在に装填される。カード取り出しボタン５は、装填されたメモリーカード１０５などを取り出す際に用いられる。
【００２８】
図２は、デジタルカメラ１の機能ブロック図である。図２に示すように、デジタルカメラ１は、Ａ／Ｄ（アナログ／デジタル）変換部１０１、γ変換等処理部１０２、メモリー１０３、領域抽出部１０４、メモリーカード１０５、合成部１０６、および絞り量決定部１０７をさらに備える。
【００２９】
ここにおいて、Ａ／Ｄ変換部１０１は、ＣＣＤ２における光電変換の結果として出力されたアナログ信号をデジタル信号に変換する処理部であり、γ変換等処理部１０２は、γ変換およびアパーチャコントロールなどの通常の画像処理を行う処理部である。このような処理が施された撮影画像は、メモリー１０３に格納される。また、領域抽出部１０４は、後述するように、２枚の撮影画像ＰＡ，ＰＢの差分画像ＰＣに基づいて、近景領域を抽出する処理部であり、合成部１０６は、抽出された近景被写体領域（以下、単に「近景領域」とも称する）を背景画像に対して合成する処理部である。メモリーカード１０５には、抽出された近景領域に関する画像（より詳細には画像データ）や、合成部１０６で得られた合成後の画像などが格納される。また、絞り量決定部１０７は、撮影用レンズ３の絞り量を調節する処理部である。
【００３０】
上述したように、このデジタルカメラ１は、撮影モード切り替えスイッチ１０を切り替えることにより、通常の撮影モードと近景被写体抽出モードとを切り替えることが可能である。ここでは、近景被写体抽出モードについて説明する。
【００３１】
この近景被写体抽出モードにおいては、デジタルカメラ１は、次の２枚の画像を撮影する。具体的には、これら２枚の撮影画像は、（１）フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように調整された撮影画像ＰＡと、（２）フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように調整された撮影画像ＰＢ、である（図３参照）。なお、撮影画像ＰＡは、フラッシュ発光を用いた撮影画像であって、近景被写体の露光量が遠景被写体の露光量に対して相対的に適切となるように調整された撮影画像であるとも表現することができる。
【００３２】
図３は、これらの２枚の撮影画像ＰＡ，ＰＢ、およびこれらの撮影画像ＰＡ，ＰＢを用いた近景領域抽出処理を表す概念図である。図３に示すように、これらの２枚の撮影画像ＰＡ，ＰＢは、いずれも、同一の撮影対象についての撮影画像である。そして、この撮影対象は、奥行き方向の位置が互いに異なる複数の被写体である。たとえば、最も手前側の位置に人物を配置し、それよりも奥側の位置にその他の背景被写体を配置した状態で、これら２枚の撮影画像の撮影を行う。そして、以下に説明する詳細動作を行うことにより、最も手前側に配置された人物に関する領域を、撮影画像中から近景領域として抽出することができる。これによれば、デジタルカメラ１の操作者は、通常のスナップ写真を撮影する際の操作と同様の操作で、近景領域として抽出された人物に関する証明写真を作成することが可能になる。すなわち、簡易に証明写真を作成することができる。
【００３３】
この撮影画像ＰＡは、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように調整された画像である。具体的には、自動的にフラッシュ９を発光させ、撮影用レンズ３の絞りを最も絞った状態で撮影した画像である。
【００３４】
一方、撮影画像ＰＢは、フラッシュ発光を用いずに画像全体の露光量が適切となるように調整された画像である。具体的には、フラッシュ９を発光させることなく、画像全体の露光量が最適となるように撮影用レンズ３の絞りを調整して撮影した画像である。
【００３５】
近景被写体に関しては、これら２枚の撮影画像ＰＡ，ＰＢの両方において、適正な露光量となっている。すなわち、近景領域は適正な露光量で撮像されている。
【００３６】
これに対して、遠景被写体に関しては、撮影画像ＰＢでは適正な露光量で撮影されているものの、撮影画像ＰＡでは露光量不足の状態で撮影されている。なぜならば、遠景被写体に対しては、近景被写体に比べてフラッシュ光の到達量が少ないからである。このように、撮影用レンズ３の絞りを絞った状態で撮影すると、撮影画像ＰＡにおける遠景被写体は、近景被写体に比べて露光量不足となるのである。ここで、「遠景被写体」とは、近景被写体以外の被写体を意味し、「遠景領域」とは、近景領域以外の領域を意味するものとする。
【００３７】
このような撮影の結果、撮影画像ＰＡおよび撮影画像ＰＢの両方の近景領域と撮影画像ＰＢの遠景領域とにおいては、ほぼ適正な露光量となるのに対して、撮影画像ＰＡの遠景領域においてのみ露光量不足となっている。そして、この露光量不足の領域においては、露光量が適正な領域に対して比較的低い輝度を有する画像（すなわち暗い画像）になる。この実施形態においては、このような性質を利用して近景領域を抽出する。
【００３８】
そのため、具体的には、２枚の撮影画像ＰＡ，ＰＢに基づいて、両撮影画像ＰＡ，ＰＢの各画素の差分値（より詳細には差分絶対値）を各画素の階調値とする差分画像ＰＣ（図３参照）を求める。そして、領域抽出部１０４は、この差分画像ＰＣに基づいて、近景領域を決定して抽出する。
【００３９】
より詳細には、露光量が適正な領域については撮影画像ＰＡおよび撮影画像ＰＢの両方がほぼ同一の輝度を有する（したがってほぼ同一の階調値を有する）ため、差分画像ＰＣの階調値は比較的低い値を有する。理想的には、差分画像ＰＣにおいて露光量が適正な領域の画素の階調値はゼロである。一方、撮影画像ＰＡにおいて露光量が不十分な領域においては、両撮影画像ＰＡ，ＰＢの輝度の差が大きくなり両撮影画像ＰＡ，ＰＢの対応画素の階調値の差分絶対値が大きくなるため、差分画像ＰＣの階調値は比較的高い値となる。このように、差分画像ＰＣにおいては、露光量の適不適に応じた差異が生じ、その差異は、デジタルカメラ１から被写体までの距離が大きくなるにつれて大きな値となる。
【００４０】
したがって、この差分画像ＰＣにおいて比較的低い階調値を有する領域を近景領域として決定することができる。具体的には、差分画像ＰＣを所定の閾値ＴＨ１で二値化して低階調値領域と高階調値領域とに区分し、そのうちの低階調値領域を近景領域として決定すればよい。
【００４１】
なお、フラッシュ発光を伴う撮影画像ＰＡの遠景被写体について、露光量不足の状態を顕著に生成するため、本撮影は屋内等で行うことが好ましい。
【００４２】
＜Ａ２．詳細動作＞
図４および図５は、詳細動作を示すフローチャートである。図４は、デジタルカメラ１における動作を表すフローチャートであり、図５は、近景領域抽出モードにおける動作を表すフローチャートである。
【００４３】
ステップＳＰ１において、シャッターボタン７が押下されると、ステップＳＰ２に移行し、近景領域抽出モードであるか通常撮影モードであるかが確認される。通常撮影モードに設定されている場合には、ステップＳＰ３〜ステップＳＰ８までの処理が行われる。ただし、以下では、近景領域抽出モードに設定されている場合を想定し、図５を参照しながら近景領域抽出モードの詳細動作について説明する。
【００４４】
まず、撮影画像ＰＡに関する撮影動作が行われる。
【００４５】
そのため、ステップＳＰ１０においては、測光素子８および測距センサー１１の出力を読み出し、ステップＳＰ１１においては、撮影用レンズ３の絞りの絞り量を設定する。ここでは、撮影用レンズ３の絞りを最も絞った状態に設定する。この絞りの状態は、Ｆナンバー形式で表現すれば、最も大きなＦナンバーとなるような状態に設定すればよい。なお、後述するように、測距センサー１１の測距結果等を利用して、最適な露光量となるように絞り量を調節するようにしても良い。
【００４６】
次のステップＳＰ１２においては、撮影用レンズ３の繰り出し量、およびＣＣＤ２の積分時間（シャッタースピードＳＳに相当）が設定される。
【００４７】
そして、ステップＳＰ１３において、フラッシュを発光させて撮像が開始され、上記ステップＳＰ１２で設定された所定の積分時間にわたって、撮影用レンズ３を通ってきた光線がＣＣＤ２内の各画素に結像されて蓄積される（ステップＳＰ１４）。ＣＣＤ２における光電変換によって電気信号として出力された信号は、Ａ／Ｄ変換部１０１を経て、所定の階調値として出力される。また、ステップＳＰ１５において、γ変換等処理部１０２は、各画素の階調値に対して、γ変換、アパーチャコントロールなどの通常の処理を施し、その後、得られた画像はメモリー１０３に一時的に記憶される（ステップＳＰ１６）。このようにして撮影画像ＰＡに関する撮影動作が行われる。
【００４８】
次に、撮影画像ＰＢに関する撮影動作が行われる。そのため、ステップＳＰ１７においては、画像全体にわたって適切な露光量となるように、ＣＣＤの積分時間（シャッタースピードＳＳに相当）および絞り量が設定される。この際、ステップＳＰ１０において読み出された測光素子８の出力値等を用いて、適切な絞り量等が設定される。この絞り値により撮影された撮影画像ＰＢの露光量は、画像全体にわたって適切な値となる。
【００４９】
そして、今度の撮影画像ＰＢは、フラッシュを発光させることなく撮影される。所定の期間にわたってＣＣＤ２に結像された画像信号は、Ａ／Ｄ変換部１０１を経て、所定の階調値として出力される。また、各画素の階調値に対して、γ変換、アパーチャコントロールなどの通常の処理が施され（ステップＳＰ１９）、得られた画像はメモリー１０３に一時的に記憶される（ステップＳＰ２０）。このようにして撮影画像ＰＢに関する撮影動作が行われる。
【００５０】
そして、ステップＳＰ２１において、上述した近景領域抽出動作が行われる。図６は、この第１実施形態に係る領域抽出動作（ステップＳＰ２１）の詳細を表すフローチャートである。なお、以下の近景領域の抽出処理は、領域抽出部１０４によって行われる。
【００５１】
図６に示すように、領域抽出部１０４は、まず、ステップＳＰ１０１において、２枚の撮影画像ＰＡ，ＰＢから差分画像ＰＣを作成し、ステップＳＰ１０２において、差分画像ＰＣを所定の閾値ＴＨ１を用いて二値化する。たとえば、差分画像ＰＣが０〜２５５までの２５６段階の階調値を取り得る場合、この閾値ＴＨ１として４０（ＴＨ１＝４０）などを採用することができる。そして、閾値ＴＨ１以下の比較的低い階調値を有する領域を低階調値領域とし、閾値ＴＨ１より大きな比較的高い階調値を有する領域を高階調値領域とする。すなわち、差分画像ＰＣを低階調値領域と高階調値領域とに区分する。図３の黒色領域は低階調値領域を表しており、それ以外の領域は高階調値領域を表している。
【００５２】
そして、ステップＳＰ１０３においては、差分画像ＰＣ（図３）の低階調値領域を近景領域として判定する。このように、撮影画像ＰＡと撮影画像ＰＢとの差分画像ＰＣを求めた後、その差分画像ＰＣの低階調値領域を近景領域として求める。
【００５３】
再び、図５を参照する。次のステップＳＰ２２において、抽出された近景領域を合成部１０６によって背景画像と合成する。具体的には、ステップＳＰ２１において抽出された近景領域に関する画像を、特定の単一色（たとえば青色一色）で構成される背景画像と合成した合成画像ＰＲ１（図３参照）を生成する。これにより、証明写真として好適な画像となるように合成された画像を生成することができる。このように、証明写真等を容易に作成することができる。
【００５４】
さらにステップＳＰ２３において、この合成画像がメモリーカード１０５に記憶される。
【００５５】
その後、ステップＳＰ１に戻り、次にシャッターが押されるまで待機する。すなわち、次の撮影動作に備えて待機する。
【００５６】
以上のように、この実施形態のデジタルカメラ１によれば、近景領域を良好に抽出することができる。
【００５７】
＜Ａ３．絞り量の調節＞
上述した絞り量決定部１０７は、撮影画像ＰＡおよび撮影画像ＰＢの撮影時の絞り量を調節する処理部である。この絞り量決定部１０７は、上記のように、撮影画像ＰＡを撮影する際において、撮影用レンズ３の絞り量を最も絞った状態の絞り値に設定するようにしても良いが、以下のような手法を用いてさらに最適化された絞り値に設定するようにしても良い。
【００５８】
具体的には、以下に説明するように、フラッシュ発光の強度と近景被写体までの距離とに応じて決定される近景被写体用絞り値Ｆｎ以下であって、フラッシュ発光の強度と遠景被写体までの距離とに応じて決定される遠景被写体用絞り値Ｆｆよりも大きな値を有する絞り値を用いて、撮影画像ＰＡを撮影することが好ましい。また、撮影画像ＰＡは、フラッシュ発光の強度と近景被写体までの距離とに応じて決定される近景被写体用絞り値Ｆｎに等しい絞り値を用いて撮影されることがさらに好ましい。
【００５９】
ここにおいて、フラッシュ発光の強度は、フラッシュのガイドナンバーＧとして得ることができる。また、被写体までの距離Ｌは、測距センサー１１によって測距することができる。さらに、フラッシュのガイドナンバーＧ、被写体までの距離Ｌ、および適切な絞り量Ｆの間には次のような関係があることが知られている。
【００６０】
【数１】
【００６１】
すなわち、被写体までの距離Ｌが大きいときには、絞りを開放する（すなわちＦを小さくする）ことによって絞り量が適切な値に調整され、逆に、被写体までの距離Ｌが小さいときには、絞りをさらに絞る（すなわちＦを大きくする）ことによって絞り量が適切な値に調整される。
【００６２】
したがって、近景被写体までの距離をＬｎ、遠景被写体までの距離をＬｆ（＞Ｌｎ）とすると、近景被写体および遠景被写体のそれぞれの被写体についての適切な絞り量Ｆｎ，Ｆｆは、以下の数２、数３で決定される。なお、両者の間には、Ｆｆ＜Ｆｎ、なる関係が存在する。
【００６３】
【数２】
【００６４】
【数３】
【００６５】
近景被写体用絞り値Ｆｎは、フラッシュ発光の強度を表す指標Ｇと近景被写体までの距離Ｌｎとに応じて決定される値であり、遠景被写体用絞り値Ｆｆは、フラッシュ発光の強度を表す指標Ｇと遠景被写体までの距離Ｌｆとに応じて決定される値である。なお、近景被写体までの距離Ｌｎおよび遠景被写体までの距離Ｌｆは、測距センサー１１によって得ることができる。具体的には、画像内の異なる数点（たとえば中央および４隅近傍の合計５点）についての距離情報を得ておくことによって、奥行き距離が異なる複数の被写体についての距離を得ることが可能である。
【００６６】
ここで、撮影時に絞りをＦｆ相当の絞り量よりもさらに開放する（すなわち、絞り量ＦをＦｆよりも小さな値にする）と、遠景被写体に対しても十分な露光量になってしまう。上記実施形態においては、撮影画像ＰＡの遠景被写体に対して露光量不足の状態を生成することが望まれるため、撮影用レンズ３の絞りは、値Ｆｆに相当する絞り量よりもさらに絞ることが必要である。すなわち、撮影画像ＰＡの撮影時の絞り量Ｆｂは値Ｆｆよりも大きいこと（Ｆｂ＞Ｆｆ）が必要である。
【００６７】
一方、撮影用レンズ３の絞りを、Ｆｎ相当の絞り量よりもさらに絞ってしまう（すなわち、絞り量ＦをＦｎよりも大きな値にする）と、近景被写体に対する露光量は、最適な状態よりは若干不足する状態となってしまう。上記実施形態においては、撮影画像ＰＡの近景被写体に対して露光量がより適切となるように調整されることが望ましいので、撮影画像ＰＡの撮影時の絞り量Ｆｂは値Ｆｎ以下であること（Ｆｂ≦Ｆｎ）が好ましい。
【００６８】
したがって、撮影画像ＰＡの撮影時における適切な絞り量Ｆｂは、次の数４を満たすことが好ましい。
【００６９】
【数４】
【００７０】
このように、絞り量決定部１０７は、撮影用レンズ３の絞りを、上記の数４を満たす絞り量Ｆｂに調整することが好ましい。
【００７１】
また、撮影画像ＰＡは、この数４を満たす絞り量のうち、近景被写体用絞り値Ｆｎに等しい絞り値（Ｆｂ＝Ｆｎ）を用いて撮影されることがさらに好ましい。なぜなら、近景被写体に対して露光量が最も適切に調整される一方で、遠景被写体に対して露光量不足が最も顕著な状態の画像を得ることができるからである。
【００７２】
このように、絞り量決定部１０７は、撮影用レンズ３の絞りを、絞り量Ｆｎに等しい値となるように調整することがさらに好ましい。
【００７３】
以上のようにして、撮影画像ＰＡの撮影時における絞りを、より最適化された状態に設定することができる。
【００７４】
＜Ｂ．第２実施形態＞
ところで、上記の第１実施形態においては、近景被写体以外の被写体として黒色の被写体が存在する場合には、近景領域を良好に抽出できない事態が生じ得る。
【００７５】
図７は、そのような一例を示す概念図であり、所定のシーンを撮影した２枚の撮影画像ＰＡ，ＰＢと両撮影画像ＰＡ，ＰＢの差分画像ＰＣの二値化画像ＰＣ１とを表す図である。撮影画像ＰＡ，ＰＢは、それぞれ、フラッシュ光の有無や絞り量の調整度合い等に関して、上記実施形態と同様の撮影条件で撮影された画像を表す。
【００７６】
このシーンにおいては、中央に人物の被写体が写っており、この人物は黒髪である。人物はデジタルカメラ１から最も近い位置に存在している。また、人物に向かって右側には、黒色の物体Ｂ１が写っている。この黒色の物体Ｂ１は、人物よりもさらに後方に配置されている。
【００７７】
このようなシーンを撮影した場合、黒色の物体Ｂ１に関しては、露光量の過不足に拘わらず、撮影画像ＰＡ，ＰＢの両画像においていずれも同程度の低階調値の領域となってしまうため、差分画像ＰＣにおいても低階調値領域として認識される。そのため、この黒色の物体Ｂ１もが近景領域として誤って抽出されてしまう結果となる。
【００７８】
このように、第１実施形態に係る近景領域抽出手法を用いる場合においては、抽出すべき近景被写体（ここでは人物）以外の被写体（すなわち遠景被写体）として黒色あるいは黒色に近い濃い色の被写体を含めた画像を撮影するとき（たとえば、人物の背景に黒色物体が存在するとき）には、近景被写体に関する領域のみを近景領域として良好に抽出することが困難な事態が存在する。
【００７９】
この第２実施形態においては、このような場合においても良好に近景領域を抽出することが可能な技術について説明する。
【００８０】
第２実施形態に係るデジタルカメラは、第１実施形態に係るデジタルカメラと同様の構成を有しており、かつ、同様の動作を行う。以下では、相違点を中心に説明する。
【００８１】
この第２実施形態においても、第１実施形態と同様の撮影動作（図４，図５参照）が行われ、撮影画像ＰＡ，ＰＢが撮影される。具体的には、近景被写体抽出モードにおいて、シャッタボタンが押下されると、図５のステップＳＰ１０からステップＳＰ２０に至るまでの処理が行われる。
【００８２】
図８は、第２実施形態に係る近景領域抽出動作（ステップＳＰ２１）の詳細を表すフローチャートである。第２実施形態においては、図５のステップＳＰ２１における領域抽出処理として、図６に示される第１実施形態についての処理に代えて、図８に示される処理を実行する。なお、以下の近景領域の抽出処理は、領域抽出部１０４によって行われる。
【００８３】
また、図９は、第２実施形態に係る近景領域抽出処理を表す概念図である。図９には、撮影画像ＰＡ，ＰＢ（図７）に基づいて生成される差分画像ＰＣの二値化画像ＰＣ１と、撮影画像ＰＡに基づいて生成される画像ＰＤとが示されている。なお、図９の画像ＰＣ１および画像ＰＤにおいては、低階調値は黒色で示されており、高階調値は白色で示されている。
【００８４】
この第２実施形態においては、差分画像ＰＣの二値化画像ＰＣ１に加えて、撮影画像ＰＡに基づく画像ＰＤの情報をも用いることによって近景領域を抽出する点で第１実施形態と相違する。
【００８５】
図８におけるステップＳＰ２０１，ＳＰ２０２は、ステップＳＰ１０１，ＳＰ１０２と同一の処理である。その後、ステップＳＰ２０３においては、フラッシュ発光を用いて撮影した撮影画像ＰＡを所定の閾値ＴＨ２を用いて二値化した画像ＰＤを生成する処理を行う。たとえば、撮影画像ＰＡが０〜２５５までの２５６段階の階調値を取り得る場合、この閾値ＴＨ２として１２５（ＴＨ２＝１２５）などを採用することができる。そして、閾値ＴＨ２以下の比較的低い階調値を有する領域を低階調値領域とし、閾値ＴＨ２より大きな比較的高い階調値を有する領域を高階調値領域とする。すなわち、撮影画像ＰＡを低階調値領域と高階調値領域とに区分し、その区分結果として、二値化画像である画像ＰＤを得る。
【００８６】
そして、ステップＳＰ２０４において、差分画像ＰＣ（より詳細には二値化画像ＰＣ１）と撮影画像ＰＡ（より詳細には二値化画像ＰＤ）とを用いて、撮影シーンを次の４つの領域Ａ１，Ａ２，Ａ３，Ａ４に区分し、ステップＳＰ２０５において、その区分結果を用いて撮影シーンから近景領域を抽出する。
【００８７】
ここで、４つの領域Ａ１，Ａ２，Ａ３，Ａ４とは、図９に示すように、それぞれ、
領域Ａ１：差分画像ＰＣにおいて低階調値を有しかつ撮影画像ＰＡにおいて高階調値を有する領域、
領域Ａ２：差分画像ＰＣにおいて低階調値を有しかつ撮影画像ＰＡにおいて低階調値を有する領域、
領域Ａ３：差分画像ＰＣにおいて高階調値を有しかつ撮影画像ＰＡにおいて高階調値を有する領域、
領域Ａ４：差分画像ＰＣにおいて高階調値を有しかつ撮影画像ＰＡにおいて低階調値を有する領域、である。
【００８８】
言い換えれば、
領域Ａ１は、差分画像ＰＣの低階調値領域と撮影画像ＰＡの高階調値領域との重複領域であり、
領域Ａ２は、差分画像ＰＣの低階調値領域と撮影画像ＰＡの低階調値領域との重複領域であり、
領域Ａ３は、差分画像ＰＣの高階調値領域と撮影画像ＰＡの高階調値領域との重複領域であり、
領域Ａ４は、差分画像ＰＣの高階調値領域と撮影画像ＰＡの低階調値領域との重複領域である、とも表現することができる。
【００８９】
また、次の表１は、各領域Ａ１，Ａ２，Ａ３，Ａ４に区分する際の条件をまとめて示したものである。
【００９０】
【表１】
【００９１】
ここにおいて、これら４つの領域Ａ１，Ａ２，Ａ３，Ａ４は次述する理由からそれぞれ、次の性質を有する領域であるとして判断される。すなわち、まず、領域Ａ１は、近景領域と判定でき、領域Ａ３，Ａ４は、遠景領域として判定できる。また、領域Ａ２は、近景領域、遠景領域のどちらとも判定できない。次の表２は、各領域Ａ１，Ａ２，Ａ３，Ａ４に関する判定結果をまとめたものである。
【００９２】
【表２】
【００９３】
まず、領域Ａ１は、撮影画像ＰＡにおいて高階調値を有しているので、被写体が黒色ないし濃色ではないことが判明している。これに加えて、領域Ａ１は、差分画像ＰＣにおいて低階調値を有しているので、撮影画像ＰＡ，ＰＢの両方において適正な露光量で撮影された近景領域であると判定できる。したがって、領域抽出部１０４は、この領域Ａ１を、第１の近景候補領域として決定する。
【００９４】
つぎに、領域Ａ３，Ａ４は、差分画像ＰＣにおいて高階調値を有しているので、遠景領域として判定できる。
【００９５】
特に、領域Ａ４は、撮影画像ＰＡにおいて低階調値を有する領域でもあるので、フラッシュ光が届きにくい被写体に関する領域、すなわち遠景領域であると明らかに判定できる。
【００９６】
なお、領域Ａ３は、差分画像ＰＣにおいて高階調値を有しかつ撮影画像ＰＡにおいて高階調値を有する領域である。この領域Ａ３に区分される被写体としては、フラッシュ光が届かなくても所定程度の明るさを有する被写体であり、たとえば、蛍光灯Ｂ３（図７参照）などの発光体が該当する。蛍光灯などの発光体は明るいので、フラッシュ発光を伴う撮影画像ＰＡにおいても高階調値を有する。ただし、撮影画像ＰＡの撮影時には、撮影用レンズ３の絞りを相当程度絞っているので、撮影画像ＰＡにおいては撮影画像ＰＢに比べてその輝度が相当程度低下して撮影される。したがって、撮影画像ＰＡ，ＰＢの差分画像ＰＣにおいては、所定の閾値ＴＨ１よりも大きな値、すなわち高階調値となる。このような領域Ａ３は、差分画像ＰＣにおいて高階調値を有しているので、遠景領域として判定することができる。
【００９７】
このように、領域抽出部１０４は、領域Ａ３，Ａ４を、遠景領域として決定する。
【００９８】
また、領域Ａ２は、人物の黒髪Ｂ２（図７参照）や遠景の黒色物体Ｂ１についての黒色領域である。これらの黒髪Ｂ２、物体Ｂ１に関する黒色領域は、撮影画像ＰＡ，ＰＢの両方の画像において同様の低階調値となるので、差分画像ＰＣにおいても低階調値となる。また、黒髪Ｂ２や物体Ｂ１は、撮影画像ＰＡにおいても低階調値を有する領域として表現される。
【００９９】
このように、この領域Ａ２は、人物の一部である黒髪Ｂ２と、遠景（ないし背景）として認識されるべき物体Ｂ１との両方を含む領域であるため、差分画像ＰＣの二値化結果と撮影画像ＰＡの二値化結果とを用いただけでは、近景領域であるか遠景領域であるかを判定できない。
【０１００】
そこで、この第２実施形態においては、領域Ａ２のうち領域Ａ１に隣接する領域を第２の近景候補領域として決定する。
【０１０１】
具体的には、領域Ａ１の境界線に沿って、その隣接領域が領域Ａ２であるか否かを判定する。そして、その隣接領域が領域Ａ２であるときには、その領域Ａ２を第２の近景候補領域として判定する。一方、このような検出動作において検出されなかった領域Ａ２（すなわち領域Ａ１に隣接していない領域Ａ２）は、遠景領域として判定する。このようにして、領域Ａ２のうち、第１の近景候補領域（すなわち領域Ａ１）に隣接する領域を第２の近景候補領域として決定する。
【０１０２】
そして、第１の近景候補領域と第２の近景候補領域との両方に相当する領域を近景被写体領域として決定する。言い換えれば、第１の近景候補領域と第２の近景候補領域とを統合した領域を近景被写体領域として決定するとも表現することができる。
【０１０３】
以上のように、撮影画像ＰＡを二値化して高階調値領域と低階調値領域とに区分した結果をも用いて近景被写体領域を抽出することによって、遠景被写体として黒色の物体が存在する場合でも、画像内において当該黒色物体が近景被写体から分離して撮影されているときには、良好に近景領域抽出を行うことが可能である。
【０１０４】
＜Ｃ．第３実施形態＞
ところで、上記の第２実施形態においては、遠景被写体として黒色の被写体が近景被写体に隣接する場合には、近景領域を良好に抽出できない事態が生じ得る。
【０１０５】
図１０は、そのような一例を示す概念図であり、所定のシーンを撮影した２枚の撮影画像ＰＡ，ＰＢと両撮影画像ＰＡ，ＰＢの差分画像ＰＣの二値化画像ＰＣ１とを表す図である。撮影画像ＰＡ，ＰＢは、それぞれ、フラッシュ光の有無や絞り量の調整度合い等に関して、上記実施形態と同様の撮影条件で撮影された画像を表す。
【０１０６】
このシーンにおいては、中央に人物の被写体が写っており、この人物は黒髪である。人物はデジタルカメラ１から最も近い位置に存在している。また、人物の向かって右側には、黒色の物体Ｂ４が写っている。この黒色の物体Ｂ４は、人物よりも後方に配置されており、画面内において人物に隣接した状態で撮影されている。
【０１０７】
遠景被写体として認識すべき黒色の物体Ｂ４は、近景被写体である人物に画面内で隣接した状態となっているため、このようなシーンを第２実施形態に係る近景領域抽出手法を用いて撮影した場合には、この物体Ｂ４をも近景領域として誤って抽出してしまう結果となる。このように、近景被写体に関する領域のみを近景領域として良好に抽出することが困難な事態が存在する。
【０１０８】
この第３実施形態においては、このような場合においても良好に近景領域を抽出することが可能な技術について説明する。
【０１０９】
第３実施形態に係るデジタルカメラは、第２実施形態に係るデジタルカメラと同様の構成を有しており、かつ、同様の動作を行う。以下では、相違点を中心に説明する。
【０１１０】
この第３実施形態においても、第１実施形態と同様の撮影動作（図４，図５参照）が行われ、撮影画像ＰＡ，ＰＢが撮影される。具体的には、近景被写体抽出モードにおいて、シャッターボタン７が押下されると、図５のステップＳＰ１０からステップＳＰ２０に至るまでの処理が行われる。
【０１１１】
図１１は、第３実施形態に係る近景領域抽出動作の詳細を表すフローチャートである。第３実施形態においては、図５のステップＳＰ２１における領域抽出処理として、図６に示される第１実施形態についての処理に代えて、図１１に示される処理を実行する。以下の近景領域の抽出処理は、領域抽出部１０４によって行われる。
【０１１２】
また、図１２は、第３実施形態に係る近景領域抽出処理を表す概念図である。図１２には、撮影画像ＰＡ，ＰＢ（図１０）に基づいて生成される差分画像ＰＣの二値化画像ＰＣ１と、撮影画像ＰＡに基づいて生成される二値化画像ＰＤとが示されている。なお、図１２の画像ＰＣ１，ＰＤにおいては、低階調値は黒色で示されており、高階調値は白色で示されている。
【０１１３】
この第３実施形態においては、差分画像ＰＣの二値化画像ＰＣ１に加えて、撮影画像ＰＡに基づく二値化画像ＰＤの情報をも用いることによって近景領域を抽出する点で、第１実施形態と相違する。ただし、この点については第２実施形態と同様である。
【０１１４】
さらに、この第３実施形態においては、二値化する前の多階調値を有する差分画像ＰＣの各画素の階調値にも基づいて近景領域の抽出処理を行う点で、第２実施形態と相違する。
【０１１５】
図１１におけるステップＳＰ３０１，ＳＰ３０２，ＳＰ３０３，ＳＰ３０４は、第２実施形態（図８）のステップＳＰ２０１，ＳＰ２０２，ＳＰ２０３，ＳＰ２０４と同一の処理である。このうち、ステップＳＰ３０３においては、フラッシュ発光を用いて撮影した撮影画像ＰＡを所定の閾値ＴＨ２を用いて二値化した画像ＰＤを生成する処理を行う。また、ステップＳＰ３０４においては、画像ＰＣ１と画像ＰＤとを用いて、撮影シーンを次の４つの領域Ａ１，Ａ２，Ａ３，Ａ４に区分する。図１３は、この区分結果を示す図である。なお、このステップＳＰ３０４までの処理は、上記の第２実施形態と同一の処理である。
【０１１６】
上述したように、４つの領域Ａ１，Ａ２，Ａ３，Ａ４のうち、領域Ａ１は、近景領域と判定できるので、この領域Ａ１は第１の近景候補領域に該当する領域として決定される。そして、領域Ａ３，Ａ４は、遠景領域として判定できるので、この領域Ａ３，Ａ４は遠景領域として決定される。
【０１１７】
これに対して、領域Ａ２は、人物の黒髪Ｂ２や遠景の黒色物体Ｂ４（図１２参照）についての黒色領域であり、上記と同様の理由により、近景領域であるか遠景領域であるかを判定できない。
【０１１８】
そこで、この第３実施形態においては、次のステップＳＰ３０５において、多階調の差分画像ＰＣを用いて、領域Ａ２内の各画素が近景領域内のものであるか遠景領域のものであるかを判定する。
【０１１９】
具体的には、次の２つの手法Ｍ１，Ｍ２を採用することが可能である。
【０１２０】
まず、最初の手法Ｍ１は、領域Ａ２のうち、差分画像ＰＣにおいて比較的低い階調値を有する領域を第２の近景候補領域として決定する手法である。
【０１２１】
図１４は、その各画素の階調値を二値化する前の差分画像ＰＣを示す概念図である。二値化前の差分画像ＰＣにおける各画素は、多段階（たとえば２５６段階）の階調値を有している。
【０１２２】
ここで、領域Ａ１は、両撮影画像ＰＡ，ＰＢの対応画素の階調値の差分が小さく、差分画像ＰＣの階調値は小さな値となる領域である。たとえば、その差分値（詳細には、差分画像ＰＣにおける領域Ａ１の各画素の階調値）はゼロから２０程度の値となる。
【０１２３】
また、領域Ａ２のうち人間の頭髪部分Ｂ２に相当する領域Ａ２１は、領域Ａ１と同様の差分値を有している。なぜなら、領域Ａ２１は、近景被写体である人物の頭髪部分Ｂ２に相当する領域であるので、撮影画像ＰＡにおいても撮影画像ＰＢにおいても適切な露光量で撮影されることになるからである。このように、差分画像ＰＣにおける領域Ａ２１の各画素の値は、０（ゼロ）〜２０程度の値となる。
【０１２４】
さらに、領域Ａ２のうち後方の黒色物体Ｂ４に相当する領域Ａ２２は、差分画像ＰＣにおいて、領域Ａ１よりも高い階調値を有している。なぜなら、領域Ａ２２は、遠景被写体である黒色物体Ｂ４に相当する領域であるので、撮影画像ＰＢにおいては比較的適切な露光量で撮影される一方で、撮影画像ＰＡにおいては領域Ａ２１に比べると若干露光量不足の状態で撮影されることになるからである。この場合、差分画像ＰＣにおける領域Ａ２１の各画素の値は、たとえば、２０〜４０程度の値となる。
【０１２５】
そこで、両領域Ａ２１，Ａ２２を互いに区別するため、差分画像ＰＣの領域Ａ２内の各画素の階調値を所定の閾値ＴＨ３（＜ＴＨ１）で二値化する。この閾値ＴＨ３は、差分画像ＰＣを二値化して画像ＰＣ１を得る際に用いた閾値ＴＨ１よりも小さな値である。たとえば、差分画像ＰＣが０〜２５５までの２５６段階の階調値を取り得る場合には、この閾値ＴＨ３としては２０（ＴＨ３＝２０）などを採用することができる。
【０１２６】
閾値ＴＨ３を用いた二値化の結果に応じて領域Ａ２を、閾値ＴＨ３より小さな値を有する画素の集合として規定される低階調値領域と、閾値ＴＨ３以上の値を有する画素の集合として規定される高階調値領域とに区分する。この結果、領域Ａ２１は前者の領域として決定され、領域Ａ２２は後者の領域として決定される。すなわち、領域Ａ２は、領域Ａ２１と領域Ａ２２とにクラスタリングされるのである。図１５においては、領域Ａ２が領域Ａ２１と領域Ａ２２とに区分された状態が概念的に示されている。
【０１２７】
そして、領域Ａ２のうち、低階調値領域（たとえば領域Ａ２１）を第２の近景候補領域として決定し、高階調値領域（たとえば領域Ａ２２）を遠景領域として決定する。
【０１２８】
以上のような手法Ｍ１によって、領域Ａ２のうち、差分画像ＰＣにおいて所定の閾値ＴＨ３よりも小さな階調値を有する領域を第２の近景候補領域として決定することが可能である。
【０１２９】
次に、多階調の差分画像ＰＣを用いて、領域Ａ２内の各画素が近景領域内のものであるか遠景領域のものであるかを判定する別の手法Ｍ２について説明する。
【０１３０】
この手法Ｍ２は、差分画像における領域Ａ２内の注目画素であって当該注目画素の隣接画素との画素値相互間の差分絶対値が所定値以下となる注目画素によって構成される領域であって、かつ、第１の近景候補領域に隣接する領域を、第２の近景候補領域として決定する手法である。この手法Ｍ２によれば、近景被写体における照明状態が画面内において徐々に変化する場合でも、より正確に近景領域を抽出することが可能になる。
【０１３１】
詳細には、次のような手順で行う。まず、差分画像における領域Ａ２内の画素のうち、領域Ａ１の境界線に沿う画素を注目画素として選択する。つぎに、その注目画素に対して領域Ａ１側に隣接する画素と当該注目画素との画素値相互間の差分絶対値が所定値以下となるかを判定する。そして、その判定結果として当該差分絶対値が所定値以下となる注目画素を第２の近景候補領域内の画素として認定する。
【０１３２】
たとえば、図１６に示すように、領域Ａ２内の画素であって領域Ａ１に隣接する注目画素Ｅ１を選択した場合には、その注目画素Ｅ１と領域Ａ１側の隣接画素Ｅ１１との差分絶対値を求める。そして、この絶対値が所定値（たとえば５）以下であるなどの所定の条件を満たすことによって、隣接画素との変化が微小であると判断することができる場合には、この注目画素Ｅ１は領域Ａ１に連続した領域として（言い換えれば同一被写体であるとして）捉えるものとする。
【０１３３】
さらに、このような注目画素に関する選択動作と判定動作とを、領域Ａ１から離れる方向へ向けて順次に繰り返していくことによって、上記の条件を満たす注目画素によって構成される領域を形成することができる。図１６においては、このような動作によって、人間の顔面に相当する領域Ａ１に隣接する領域Ａ２１が抽出された結果が示されている。この領域Ａ２１には、領域Ａ１側の隣接画素との差分絶対値が所定値以下であるという条件を満たす画素Ｅ１，Ｅ２，Ｅ３などが含まれている。
【０１３４】
一方、領域Ａ２２内の境界線上の注目画素は、隣接する領域Ａ１あるいは領域Ａ２１の画素との差分絶対値が所定値よりも大きくなる。たとえば、注目画素Ｅ５は、領域Ａ１側の隣接画素Ｅ１５との差分絶対値が所定値よりも大きくなるので、上記の条件を満たさないことになる。また、注目画素Ｅ４は、領域Ａ１側（領域Ａ２側）の隣接画素Ｅ３と差分絶対値が所定値よりも大きくなるので、上記の条件を満たさないことになる。
【０１３５】
このように、注目画素Ｅ４，Ｅ５などを含む、領域Ａ２２内の境界線上の複数の注目画素は、上記の条件を満たさない。
【０１３６】
したがって、領域Ａ１に隣接する領域Ａ２のうち、上記の条件を満たす注目画素の集合領域である領域Ａ２１のみを、第２の近景候補領域として決定することができる。
【０１３７】
以上の手法Ｍ２を用いれば、差分画像における領域Ａ２内の注目画素であって当該注目画素の隣接画素との画素値相互間の差分絶対値が所定値以下となる注目画素によって構成される領域であって、かつ、第１の近景候補領域に隣接する領域を第２の近景候補領域として決定することができる。したがって、領域Ａ１に隣接する領域Ａ２の中から近景領域を良好に抽出することができる。特に、手法Ｍ２によれば、レンズの周辺光量落ちや、近景被写体に対しての照明が若干傾斜を持って変化することなどに起因して、差分画像ＰＣにおける階調値が連続的に変化する場合においても、近景領域を良好に抽出することが可能である。
【０１３８】
その後、ステップＳＰ３０６において、第１の近景候補領域（ここでは領域Ａ１）と第２の近景候補領域（ここでは領域Ａ２１）との両方に相当する領域を近景被写体領域として決定する。言い換えれば、第１の近景候補領域と第２の近景候補領域とを統合した領域を近景被写体領域として決定する。図１７においては、領域Ａ１と領域Ａ２１とを統合した領域が一体として示されている。そして、この統合領域に該当する領域を近景領域として撮影画像ＰＡあるいは撮影画像ＰＢから抽出し、青一色の背景画像と合成する（ステップＳＰ２２（図５））。なお、図１８は、合成後の画像を示す図である。
【０１３９】
以上のように、二値化する前の多階調値を有する差分画像ＰＣをも用いて近景領域を決定する処理を行うことによって、遠景被写体として黒色の物体が近景被写体に隣接して撮影されているときにも、近景領域を良好に抽出することが可能である。
【０１４０】
＜Ｄ．第４実施形態＞
上記の第１実施形態から第３実施形態までにおいては、撮像装置としてのデジタルカメラ１において、画像処理をも行う場合について説明した。この第４実施形態においては、上記と同様の画像処理を、撮像機能を切り離した画像処理装置において行う場合について説明する。
【０１４１】
図１９は、この第４実施形態における画像処理装置を含む画像処理システム４００の概念的構成を表す図である。この画像処理システム４００は、顧客から証明写真に関する注文を２枚の撮影画像ＰＡ，ＰＢとともにネットワークＮを介して受け付け、当該注文に応じて上記各実施形態と同様の画像処理を行い、その処理結果としての証明写真に関する画像（より詳細には画像データ）を顧客側へと返信するサービスを行うことができる。
【０１４２】
図１９に示すように、このシステム４００は、証明写真に関する注文を顧客からネットワークＮを介して受け付け、所定の画像処理を行うサーバコンピュータ（以下、単に「サーバ」とも称する）４１０を備えている。このサーバ４１０は、本発明に係る画像処理装置に相当する。
【０１４３】
また、このシステム４００においては、顧客側端末４４０がネットワークを介してこのサーバ４１０に対して接続される。言い換えれば、顧客は、顧客側端末４４０によってネットワークに接続可能である。この顧客側端末４４０としては、各家庭やオフィスなどに設置されたパーソナルコンピュータ、携帯可能なモバイルコンピュータ、および通信機能を有するデジタルカメラなどが存在し、これらの顧客側端末４４０は、ダイアルアップ接続などを通じてネットワークに接続することが可能である。そして、このネットワークを介して、サーバ４１０に対してアクセスを行うことなどにより、上記のサービスを享受することができる。
【０１４４】
ここで、「ネットワーク」とは、データ伝送を行う通信回線網であり、具体的には、インターネット、ＬＡＮ、ＷＡＮ、ＣＡＴＶ、ＩＣＮ（Inter-Community Network）などの、電気通信回線（光通信回線を含む）により構成される各種の通信回線網である。ネットワークに対する接続形態は、専用回線などを利用した常時接続であってもよいし、アナログ回線あるいはデジタル回線（ＩＳＤＮ）などの電話回線を利用したダイアルアップ接続などの一時的な接続のいずれであってもよい。また、その伝送方式は、無線方式および有線方式のいずれであってもよい。
【０１４５】
つぎに、サーバ４１０について詳細に説明する。
【０１４６】
サーバ４１０は、図１９に示すように、ハードウエア的には、ＣＰＵ４１１と、ＲＡＭ（および／またはＲＯＭ）などの半導体メモリにより構成される主記憶部４１２と、ハードディスクドライブ（ＨＤＤ）などの補助記憶部４１３と、メディアドライブ４１４とを備えるコンピュータシステム（以下、単に「コンピュータ」とも称する）として構成される。メディアドライブ４１４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスクなどの可搬性の記録媒体４０９からその中に記録されている情報を読み出す。
【０１４７】
このコンピュータは、記録媒体４０９に記録されたソフトウエアプログラム（以下、単に「プログラム」とも称する）を読み込み、そのプログラムをＣＰＵ４１１等を用いて実行することによって、上記実施形態で詳述した各種の画像処理動作を実現する画像処理装置４１０として機能する。なお、各機能を有するプログラムは、記録媒体４０９を介して供給（ないし配給）される場合に限定されず、ネットワークを介して、このコンピュータに対して供給（ないし配給）されてもよい。このように、画像処理装置としてのサーバ４１０は、コンピュータにおいてソフト的に構築される装置である。
【０１４８】
また、図２０に示すように、サーバ４１０は、画像取得部４１５、抽出部４１６、合成部４１７、および画像返信部４１８を有している。各処理部４１５，４１６，４１７，４１８は、コンピュータにおいて所定のプログラムを実行することにより機能的に実現される処理部であり、それぞれ、以下のような機能を有している。
【０１４９】
画像取得部４１５は、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された撮影画像ＰＡと、フラッシュ発光を用いずに画像全体の露光量が適切となるように撮影された撮影画像ＰＢとを取得する。具体的には、デジタルカメラなどの撮像装置によって撮像された撮影画像ＰＡ，ＰＢが、顧客側端末４４０からサーバ４１０へとｆｔｐ（file transfer protocol）などの各種プロトコルを用いて送信され、サーバ４１０の画像取得部４１５がこの撮影画像ＰＡ，ＰＢを受信することにより、両撮影画像ＰＡ，ＰＢを取得する。
【０１５０】
また、抽出部４１６は、撮影画像ＰＡと撮影画像ＰＢとの差分画像ＰＣを求め、当該差分画像ＰＣに基づいて、撮影画像ＰＡまたは撮影画像ＰＢの中から近景被写体領域を抽出する。この抽出部４１６は、上記の第１実施形態〜第３実施形態と同様の近景被写体領域の抽出処理を行うことが可能である。
【０１５１】
さらに、合成部４１７は、抽出部４１６によって抽出された近景被写体領域を背景画像と合成することが可能である。この処理も上記の第１実施形態〜第３実施形態と同様である。
【０１５２】
また、画像返信部４１８は、抽出部４１６および合成部４１７によって生成された証明写真を顧客側端末４４０に対して返信する。
【０１５３】
以上のような各処理部が各機能を発揮することによって、顧客は、サーバ４１０による画像処理の結果としての処理後画像を受け取ること、すなわち、証明写真等に関する画像を取得することができる。
【０１５４】
なお、この第４実施形態においては、処理結果として処理後画像を顧客に返信する場合を例示したが、本発明はこれに限定されず、たとえば、処理後画像に基づいて証明写真をプリント出力して生成し、そのプリント出力結果を顧客の指定する住所等に配送するようにしても良い。
【０１５５】
また、上記実施形態においては、サーバ側へ一旦、画像を送信する場合を例示したが、本発明はこれに限定されず、顧客側端末４４０自体において、上記と同様のプログラムを実行することによって、同様の画像処理を行うようにしても良い。
【０１５６】
＜Ｅ．第５実施形態＞
上記各実施形態においては、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように調整された撮影画像ＰＡが適切に撮影されることを前提としていた。しかしながら、撮影時の状況によっては、この撮影画像ＰＡを適切に撮影することが不可能な場合も存在する。この第５実施形態においては、撮影画像ＰＡの撮影に先立って、撮影画像ＰＡを適切に撮影することができるか否かを判別する態様を例示する。
【０１５７】
＜Ｅ１．構成＞
この第５実施形態に係るデジタルカメラ１Ｅは、上記第１実施形態〜第３実施形態に係るデジタルカメラ１と同様の構成を有している。以下では、相違点を中心に説明する。
【０１５８】
図２１は、デジタルカメラ１Ｅの背面図であり、図２２は、デジタルカメラ１Ｅの機能ブロック図である。
【０１５９】
図２１に示すように、このデジタルカメラ１Ｅは、他の実施形態に係るデジタルカメラ１と同様の構成要素に加えて、表示部１２をさらに備えている。この表示部１２は、液晶ディスプレイ（ＬＣＤ）などで構成されており、デジタルカメラ１の背面に設けられている。また、表示部１２は、ライブビュー画像などを表示するとともに、上述した近景領域の抽出が可能であるか否かなどの判別結果等に関する各種の情報をも表示する。
【０１６０】
また、図２２の機能ブロック図に示されるように、このデジタルカメラ１Ｅは、判別部１０８をもさらに備えている。この判別部１０８は、撮影時の状況において、領域抽出部１０４による近景被写体領域の抽出（上述）が可能か否かを判別する機能を有している。以下に説明する判別機能は、主に判別部１０８によって実現される。
【０１６１】
＜Ｅ２．判別原理について＞
つぎに、この判別機能の原理等について説明する。ここでは、（ａ）遠景被写体の露出量が不適切となるように撮影画像ＰＡを撮影すること（すなわち、遠景被写体を露光量不足で撮影画像ＰＡを撮影すること）ができるか否か、および（ｂ）近景被写体の露光量が適切となるように撮影画像ＰＡを撮影することができるか否かを調べることによって、撮影画像ＰＡを適切に撮影することができるか否か、を調べる場合について説明する。これによって、領域抽出部１０４による近景被写体領域の抽出（上述）が可能か否かを判別するのである。
【０１６２】
まず最初に、上記（ａ）の「遠景被写体」の露光量に関する判別について説明する。
【０１６３】
たとえば、撮影環境の明るさが大きすぎる場合（すなわち明るすぎる場合）には、最も絞りを絞った状態であっても遠景被写体の輝度値が高くなりすぎてしまうことがある。この場合、遠景被写体の露出量が不適切となるように撮影することができない。そこで、撮影時の環境下において、近景領域を抽出することが可能であるか否かを判定するのである。これにより、不必要な撮影動作を行わないようにすることができる。
【０１６４】
ここでは、撮影時の環境下において遠景被写体について実現可能な露光量の最小値Ｘmin（後述）が、遠景被写体についての不適切な露光量としての最大値Ｘｓ（後述）よりも大きい場合に、領域抽出部１０４による近景被写体領域の抽出が不可能であるとして判別する場合について例示する。
【０１６５】
一般に、撮影された像の露光量Ｘと絞り量Ｆとの関係は、次の数５で示される。
【０１６６】
【数５】
【０１６７】
すなわち、露光量Ｘと絞り量Ｆの２乗とは、反比例の関係にある。
【０１６８】
ここで、露光量Ｘとしては、各画素の画素値の値を用いることができる。より詳細には、露光量Ｘは、近景被写体が存在しない領域（たとえば画面の４隅の所定領域）内の複数の画素の階調値の平均値として求められる。また、その時点での絞り量Ｆはデジタルカメラ１において設定されている値を取得することができる。このようにして、その時点における絞り量Ｆと露光量Ｘとを取得することができる。ここでは、これらの取得された絞り量Ｆと露光量Ｘとの値をそれぞれ、Ｆｇ，Ｘｇとする。
【０１６９】
また、デジタルカメラ１において最も絞った状態（すなわちデジタルカメラ１で設定可能な絞り量の最大値Ｆmaxに絞り値Ｆが設定された状態）で撮影したときの露光量Ｘは、実現可能な露光量のうち最も小さな値Ｘminとなる。すなわち、値Ｘminは、その撮影時の環境下においてデジタルカメラ１で実現可能な露光量の最小値である。
【０１７０】
各値Ｆｇ，Ｘｇ，Ｆmax，Ｘminを上記の数５を用いて関連づけると次の数６が導出される。したがって、この数６に基づいて、値Ｘminを算出することができる。
【０１７１】
【数６】
【０１７２】
一方、遠景被写体が不適切な露光量で撮影されるための露光量の設定値Ｘｓが存在する。この設定値Ｘｓは、露光量Ｘがそれよりも大きな値となるときには遠景被写体が適切な露光量となってしまう値である。すなわち、値Ｘｓは、遠景被写体についての不適切な露光量としての最大値（言い換えれば、露光状態が不適切となる露光量の最大許容値）である。上記の近景被写体抽出動作を良好に行うためには、露光量Ｘはこの値Ｘｓ以下でなくてはならない。
【０１７３】
この値Ｘｓは、あらかじめ所定の値に設定される。各画素が０〜２５５までの２５６段階の階調値を取り得る場合には、たとえば６０程度を値Ｘｓとして定めておくことができる。
【０１７４】
そして、上記の２つの値、すなわち、値Ｘminと値Ｘｓとを比較する。
【０１７５】
まず、値Ｘminが値Ｘｓよりも大きい場合、言い換えれば、その撮影時の環境下において遠景被写体について実現可能な露光量の最小値Ｘminが、遠景被写体についての不適切な露光量としての最大値Ｘｓよりも大きい場合には、遠景被写体を不適切な露光量で撮影することができないことが判る。なぜなら、この撮影時の環境下で実現可能な最小値Ｘminが値Ｘｓよりも大きい場合には、近景領域を良好に抽出するためには露光量が値Ｘｓ以下でなくてはならないにもかかわらず、そのような露光量を実現することが出来ないからである。
【０１７６】
このとき、判別部１０８は、領域抽出部１０４による近景被写体領域の抽出が不可能であるとして判別する。そして、表示部１２は、近景被写体領域の抽出が不可能である旨、言い換えれば、近景領域抽出動作を伴う撮影が不可能である旨を表示する。具体的には、「撮影不可」あるいは「明るすぎるので、被写体抽出ができません」などの文字が表示部１２において表示される。これによって、デジタルカメラ１の操作者に対して判別結果に関する情報を提供することができる。
【０１７７】
また、値Ｘminが値Ｘｓ以下であるときには、遠景被写体を不適切な露光量で撮影することが可能であることが判る。このときには、次の判定動作に移行する。
【０１７８】
つぎに、上記（ｂ）の「近景被写体」の露光量に関する判別について説明する。
【０１７９】
ここでは、遠景被写体を不適切な露光量で撮影することができる絞り値の最小値Ｆｓ（後述）が、近景被写体用絞り値Ｆｎよりも大きい場合に、領域抽出部１０４による近景被写体領域の抽出が不可能であるとして判別する場合を例示する。
【０１８０】
上述したように、フラッシュのガイドナンバーＧ、被写体までの距離Ｌ、および適切な絞り量Ｆの間には数１に示される関係が存在する。そして、近景被写体についての適切な絞り量Ｆｎは、上記の数２に示される値となる。また、数４に示すように、近景被写体の露光量を適切にするため、撮影時の絞り量Ｆｂは、好ましくは値Ｆｎ以下である。言い換えれば、測距センサー１１によって測定された近景被写体までの距離Ｌｎとフラッシュ発光の強度Ｇとに応じて決定される近景被写体用絞り値Ｆｎは、近景被写体を適切な露光量で撮影することができる絞り値のうちの最大値（最大許容値）であるとも表現することができる。
【０１８１】
また、上記の露光量Ｘｓを実現する絞り量Ｆｓを求める。この値Ｆｓは、遠景被写体を不適切な露光量で撮影することができる絞り値のうち、最も小さな値（最小値）である。各値Ｆｇ，Ｘｇ，Ｆｓ，Ｘｓを上記の数５を用いて関連づけると次の数７が導出されるので、この数７にしたがって、値Ｆｓを求めることができる。
【０１８２】
【数７】
【０１８３】
そして、値Ｆｎと値Ｆｓとを比較する。
【０１８４】
まず、値Ｆｓが値Ｆｎ以下である場合には、撮影時の絞り値Ｆｂを値Ｆｓ≦Ｆｂ≦Ｆｎとなるような任意の値として定めることによって、近景被写体を適切な露光量としつつ、かつ、遠景被写体を不適切な露光量とする撮影画像ＰＡを撮影することが可能である。
【０１８５】
一方、値Ｆｓが値Ｆｎより大きい場合、言い換えれば、遠景被写体を不適切な露光量で撮影することができる絞り値の最小値Ｆｓが、近景被写体を適切な露光量で撮影することができる最大値である値Ｆｎよりも大きい場合には、近景被写体を適切な露光量としつつ、かつ、遠景被写体を不適切な露光量とする撮影画像ＰＡを撮影することが不可能であることが判る。なぜなら、撮影時の絞り量Ｆｂを値Ｆｓ以下とすると遠景被写体が露光オーバーとなり、撮影時の絞り量Ｆｂを値Ｆｎより大きくすると近景被写体が露光量不足となるからである。この場合、判別部１０８は、領域抽出部１０４による近景被写体領域の抽出が不可能であるとして判別する。
【０１８６】
ただし、この場合には、近景被写体をデジタルカメラ１側に近づけることによって、この絞り量Ｆｓで近景被写体を適切な露光量で撮影することが可能になる。そこで、絞りを値Ｆｓ（遠景被写体の露光量を不適切にすることができる絞り値の最小値）に設定して撮影するときに、近景被写体の露光量を適切にすることが可能な近景被写体までの距離の許容最大値Ｌopt（後述）を算出し、そのような距離Ｌoptにまで近景被写体をデジタルカメラ１側に近づけるべき旨を指示する。具体的には、「５０ｃｍ手前に来て下さい」などの文字を表示部１２に表示する。このように、接近すべき距離ΔＬ（後述）を表示部１２に表示することなどによって、操作者などに対して接近すべき距離を知らせ、さらにこの近景被写体（ここでは人物）にデジタルカメラ１側に移動してもらうことによって、近景被写体が許容最大値Ｌoptよりも手前の位置（デジタルカメラ１側の位置）に存在することとなれば、近景領域の抽出を伴う撮影処理が可能になる。たとえば、デジタルカメラ１と近景被写体との距離が値Ｌoptを有する状態においては、撮影時の絞り量Ｆｂを値Ｆｓとすることによって、近景被写体を適切な露光量とすることができる。このことは、近景被写体までの距離Ｌｎを小さくすることによって、値Ｆｎの値自体をＦｓに等しくなるまで大きくすることに相当する。
【０１８７】
そのため、上記の距離Ｌoptを求める。すなわち、この距離Ｌoptは、Ｆｓ＝Ｇ／Ｌoptの関係を満たす値であるので、次の数８で表現される値である。
【０１８８】
【数８】
【０１８９】
そして、接近すべき距離ΔＬを次の数９により求める。
【０１９０】
【数９】
【０１９１】
ここで、値Ｌｎは、（移動前の）近景被写体までの距離であり、測距センサー１１によって取得される値である。また、値Ｌoptは、上記の数８によって求められる値である。
【０１９２】
以上のように、測距センサー１１によって測定された現在の近景被写体までの距離Ｌｎと数８に基づいて算出された距離Ｌoptとの差ΔＬを算出する。この値ΔＬは、近景被写体が現在位置から移動すべき距離である。
【０１９３】
数９により得られた距離ΔＬだけ近景被写体がデジタルカメラ１側に接近し、たとえば、近景被写体とデジタルカメラ１との距離ＬがＬoptに等しくなれば、その距離Ｌ（＝Ｌopt）に対応する最適な絞り値Ｆｎ（＝Ｆopt）が値Ｆｓに等しくなる。すなわち、絞り値Ｆoptで撮影することによって、近景被写体の露光量が適切となるように撮影することが可能になる。また、このとき、絞り値Ｆは、遠景被写体を不適切な露光量で撮影することができる絞り値の最小値Ｆｓに等しくなるので、遠景被写体の露光量が不適切になるようにも撮影することができる。すなわち、この撮影時の状況において、デジタルカメラ１は、遠景被写体を不適切な露出状態で撮影でき、かつ、近景被写体を適切な露光状態で撮影できることが確認される。
【０１９４】
＜Ｅ３．動作＞
つぎに、上記の判別原理を適用した詳細な動作について説明する。この第５実施形態に係る動作は、たとえば、上述した第１実施形態と同様の動作である。ここでは、相違点を中心に説明する。
【０１９５】
図２３は、近景領域抽出モードにおける動作を表すフローチャートである。この図２３のフローチャートは、図５のフローチャートと比較して、ステップＳＰ１０とステップＳＰ１１との間にステップＳＰ１０１〜ＳＰ１０４を有する点で相違する。
【０１９６】
まず、撮影画像ＰＡに関する撮影動作が行われる。
【０１９７】
そのため、ステップＳＰ１０においては、測光素子８および測距センサー１１の出力を読み出し、ステップＳＰ１０１においては、撮影用レンズ３の絞りの絞り量Ｆｇを仮設定する。
【０１９８】
次のステップＳＰ１０２において、判別部１０８は、遠景被写体を不適切な露光量で撮影することが可能か否かを判別する。具体的には、上述したように、ステップＳＰ１０１で仮設定された絞り量Ｆｇに対応する露出量Ｘｇを求め、数５の関係式を用いて、その撮影時の状況においてデジタルカメラ１で実現可能な露光量の最小値Ｘminを求める。そして、この値Ｘminと予め求められた値Ｘｓとを比較する。
【０１９９】
値Ｘminが値Ｘｓよりも大きい場合には、遠景被写体を不適切な露光量で撮影することができないものとして判別する。この場合には、ステップＳＰ１０３に進み、表示部１２（図２１）に「撮影不可」の表示等を行う。これによって、デジタルカメラ１の操作者に対してその判定結果に関する情報が提供される。したがって、操作者は、不要な撮影を行わずに済む。なお、デジタルカメラ１は、この表示を行った後、再び待機状態に戻る。
【０２００】
一方、値Ｘminが値Ｘｓ以下である場合には、遠景被写体を不適切な露光量で撮影することが可能であることが判る。このときには、次の判定動作（ステップＳＰ１０４）に移行する。
【０２０１】
次のステップＳＰ１０４においては、判別部１０８は、近景被写体を適切な露光量で撮影することができるか否かを判別する。具体的には、上述したように、遠景被写体を不適切な露光量で撮影することができる絞り値のうち最も小さな値Ｆｓを数７を用いて求め、数２から得られた値Ｆｎとこの値Ｆｓとを比較する。
【０２０２】
そして、値Ｆｓが値Ｆｎ以下である場合には、次のステップＳＰ１１に進み、撮影時の絞り値Ｆｂを値Ｆｓ≦Ｆｂ≦Ｆｎを満たす任意の値（たとえばＦｂ＝Ｆｎ）として定める。これによって、近景被写体を適切な露光量としつつ、かつ、遠景被写体を不適切な露光量とする撮影画像ＰＡを撮影することが可能である。
【０２０３】
一方、値Ｆｓが値Ｆｎより大きい場合には、近景被写体を適切な露光量としつつ、かつ、遠景被写体を不適切な露光量とする撮影画像ＰＡを撮影することが不可能であることが判る。
【０２０４】
そこで、この場合には、ステップＳＰ１０５に進み、近景被写体（たとえば人物）が移動すべき距離（移動量）ΔＬを表示部１２に表示する。この表示を行った後、デジタルカメラ１は再び待機状態に戻る。
【０２０５】
そして、表示部１２のこの表示内容を見たデジタルカメラ１の操作者は、近景被写体である人物に対してデジタルカメラ１側に接近するように指示し、これに応じて、近景被写体がデジタルカメラ１側に接近する。
【０２０６】
近景被写体が距離ΔＬ以上接近した後、再び上記と同様の動作を行うと、今度は、ステップＳＰ１０２，ＳＰ１０４において、遠景被写体を不適切な露出状態で撮影でき、かつ、近景被写体を適切な露光状態で撮影できることが確認される。なぜなら、デジタルカメラ１から近景被写体までの距離Ｌｎを小さくすることによって、値Ｆｎ自体も大きくなり、値Ｆｎが値Ｆｓよりも大きくなる（言い換えれば、値Ｆｓが値Ｆｎ以下となる）からである。そして、次のステップＳＰ１１において、撮影用レンズ３の絞りの絞り量Ｆｂを適切な値に設定する。たとえば、絞り量ＦｂをＦｎとして設定する。
【０２０７】
次のステップＳＰ１２以降の動作は、上記第１実施形態などで説明した動作と同様の動作である。ステップＳＰ１２〜ＳＰ１６までの動作を行うことによって、撮影画像ＰＡに関する撮影動作が行われる。
【０２０８】
その後、撮影画像ＰＢに関する撮影動作（ステップＳＰ１７〜ＳＰ２０）が行われ、上記第１実施形態〜第３実施形態において詳細に説明したような近景領域抽出動作（ステップＳＰ２１）を行い、抽出された近景領域を合成部１０６によって背景画像と合成し（ステップＳＰ２２）、その合成画像をメモリーカード１０５に記憶する（ステップＳＰ２３）などの動作が行われる。これにより、抽出された近景領域と背景画像とを合成した画像を生成することができる。より詳細には、証明写真として好適な画像となるように合成された画像を生成することができる。
【０２０９】
以上のように、この第５実施形態のデジタルカメラ１Ｅによれば、撮影時の状況において近景被写体領域の抽出が可能か否かを判別する判別部１０８をさらに備えているので、その撮影時の状況において近景被写体領域の抽出が不可能な場合に無駄な撮影を行わないなどの対策をとることが可能になる。
【０２１０】
＜Ｆ．その他の変形例など＞
上記各実施形態においては、抽出した近景被写体領域に対して組み合わせる背景画像として、青色一色の画像を用いる場合について説明したが、これに限定されず、他の色を用いてもよい。また、背景画像は、均一色に限定されず、例えばユーザーが選択した任意の画像を用いても良い。
【０２１１】
また、上記第３実施形態においては、画像の一部の領域Ａ２について上記手法によるクラスタリングを行ったが、これに限定されず、上記のクラスタリング手法以外の手法、例えば、Ｋ平均法、ＩＳＯ−ＤＡＴＡ法等のクラスタリング手法を用いてもよい。
【０２１２】
さらに、上記各実施形態においては、あらかじめ定められた閾値を用いて画像の二値化を行う場合を例示しているが、これに限定されず、その複数の画素の階調値に関する度数分布（端的に言えば、画像の輝度値ヒストグラム）等を作成し、その度数分布における双峰性を用いてもよい。具体的には、その２つの山の間の谷底部分の度数を閾値として用いることができる。
【０２１３】
また、各画素の集合として領域を求める際においては、確率的弛緩法などの局所的な矛盾性を解消する手法を用いても良い。これによれば、ノイズ等の影響を軽減することができる。
【０２１４】
さらに、上記各実施形態においては、輝度値を用いて近景領域の抽出を行ったが、輝度値ではなく彩度などを用いて近景領域抽出を行ってもよい。この場合においても、遠景被写体における露出量は、２枚の撮影画像ＰＡ，ＰＢ相互間においてはフラッシュの有無に応じて異なる彩度を有することになる。したがって、上記における輝度に代えて、２枚の撮影画像ＰＡ，ＰＢ相互間における彩度の相違に基づいて上記と同様の処理を行うことによっても、良好に近景領域を抽出することができる。これは、遠景被写体の輝度が低下するとその遠景領域が無彩色に近づく性質を利用するものである。すなわち、輝度が低いことと彩度が低いこととを対応させるものである。
【０２１５】
また、上記第５実施形態においては、判別部１０８による判別結果を表示部１２に表示する場合を例示したが、これに限定されず、その判別結果を音声などによって操作者等に知らせるようにしてもよい。
【０２１６】
【発明の効果】
以上のように、請求項１ないし請求項１４に記載の発明によれば、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように撮影された第２の撮影画像との差分画像を求め、当該差分画像に基づいて、第１の撮影画像または第２の撮影画像の中から近景被写体領域を抽出するので、近景被写体領域を良好に抽出することができる。
【０２１９】
特に、請求項４に記載の発明によれば、第１の撮影画像は、フラッシュ発光の強度と近景被写体までの距離とに応じて決定される近景被写体用絞り値に等しい絞り値を用いて撮影されるので、第１の撮影画像を撮影する際の絞り値が最適化され、より良好に近景領域を抽出することができる。
【０２２０】
また、請求項５に記載の発明によれば、抽出された近景被写体領域が合成手段によって背景画像と合成されるので、証明写真等の合成画像を容易に作成することができる。
【０２２１】
さらに、請求項６ないし請求項１１に記載の発明によれば、抽出手段による近景被写体領域の抽出が可能か否かを判別する判別手段をさらに備えているので、その撮影時の状況において近景被写体領域の抽出が不可能な場合に無駄な撮影を行わないなどの対策をとることが可能になる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置としてのデジタルカメラを示す斜視図である。
【図２】デジタルカメラの機能ブロック図である。
【図３】第１実施形態に係る近景領域抽出処理を表す概念図である。
【図４】デジタルカメラにおける動作を表すフローチャートである。
【図５】近景領域抽出モードにおける動作を表すフローチャートである。
【図６】第１実施形態に係る近景領域抽出動作の詳細を表すフローチャートである。
【図７】第２実施形態に係る近景領域抽出処理を表す概念図である。
【図８】第２実施形態に係る近景領域抽出動作の詳細を表すフローチャートである。
【図９】第２実施形態に係る近景領域抽出処理を表す概念図である。
【図１０】第３実施形態に係る近景領域抽出処理を表す概念図である。
【図１１】第３実施形態に係る近景領域抽出動作の詳細を表すフローチャートである。
【図１２】第３実施形態に係る近景領域抽出処理を表す概念図である。
【図１３】４つの領域への区分結果を示す図である。
【図１４】二値化する前の差分画像ＰＣを示す概念図である。
【図１５】領域Ａ２を領域Ａ２１と領域Ａ２２とに区分した状態を示す概念図である。
【図１６】領域Ａ１に隣接する領域Ａ２１が抽出された状態を示す図である。
【図１７】領域Ａ１と領域Ａ２１とが統合された領域を示す図である。
【図１８】合成後の画像を示す図である。
【図１９】第４実施形態に係る画像処理装置を含む画像処理システム４００の概念的構成を表す図である。
【図２０】センターサーバの機能ブロック図である。
【図２１】第５実施形態に係るデジタルカメラ１Ｅの背面図である。
【図２２】デジタルカメラ１Ｅの機能ブロック図である。
【図２３】第５実施形態の近景領域抽出モードにおける動作を表すフローチャートである。
【符号の説明】
１，１Ｅ デジタルカメラ（撮像装置）
２ ＣＣＤ
３ 撮影用レンズ
７ シャッターボタン
８ 測光素子
９ フラッシュ
１１ 測距センサー
４００ 画像処理システム
４０９ 記録媒体
４１０ サーバ（画像処理装置）
Ｂ１ 黒色物体
Ｂ２ 頭髪部分
Ｂ３ 蛍光灯
Ｂ４ 黒色物体
ＰＡ （フラッシュ発光を伴う）撮影画像
ＰＢ （フラッシュ発光を伴わない）撮影画像
ＰＣ 差分画像
ＰＣ１ （差分画像ＰＣの）二値化画像
ＰＤ （撮影画像ＰＡの）二値化画像
ＰＲ１ 合成画像
【発明の属する技術分野】
本発明は、デジタルカメラなどの撮像装置によって撮像された画像を処理する画像処理技術に関し、より詳細には、２枚の撮影画像に基づいて近景被写体領域を抽出する画像処理技術に関する。
【０００２】
【従来の技術】
デジタルカメラなどの撮像装置によって、奥行き方向の位置が互いに異なる複数の被写体を撮影するとき、その撮影画像の中から、全被写体のうち撮像装置から比較的近い距離にある被写体に関する領域（以下、「近景被写体領域」とも称する）を抽出することが要請されることがある。
【０００３】
このような要請に応えるための従来技術としては、特開平１１−１３４５０５号公報に記載される技術が存在する。この従来技術においては、照明点灯時のＣＣＤカメラによる撮影画像と照明消灯時のＣＣＤカメラによる撮影画像との相違に基づいて、撮像装置から近い位置に載置された観察対象物に関する撮像領域を抽出する。
【０００４】
【発明が解決しようとする課題】
しかしながら、この従来技術においては、背景となる被写体についての照明の変化が無いことを前提としている。したがって、照明の有無や外光の変化等により、背景被写体の照明状態が変化したときには、近景領域を適切に抽出することが困難であるという問題を有している。
【０００５】
そこで、本発明は前記問題点に鑑み、近景領域を良好に抽出することが可能な画像処理技術を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明は、奥行き方向の位置が互いに異なる複数の被写体を撮影する撮像装置であって、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように調整された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように調整された第２の撮影画像とを撮影する撮影手段と、前記第１の撮影画像と前記第２の撮影画像との差分画像を求め、当該差分画像に基づいて、前記第１の撮影画像または前記第２の撮影画像の中から近景被写体領域を抽出する抽出手段と、を備え、前記抽出手段は、前記差分画像を二値化して高階調値領域と低階調値領域とに区分し、前記第１の撮影画像を二値化して高階調値領域と低階調値領域とに区分し、前記差分画像の低階調値領域と前記第１の撮影画像の高階調値領域との重複領域である第１領域を第１の近景候補領域として決定し、前記差分画像の低階調値領域と前記第１の撮影画像の低階調値領域との重複領域である第２領域のうち、前記第１の近景候補領域に隣接する領域を第２の近景候補領域として決定し、前記第１の近景候補領域と前記第２の近景候補領域との両方に相当する領域を前記近景被写体領域として決定することを特徴とする。
【００１１】
請求項２の発明は、請求項１の発明に係る撮像装置において、前記第１の撮影画像は、最も絞った状態の絞り値を用いて撮影されることを特徴とする。
【００１２】
請求項３の発明は、請求項１の発明に係る撮像装置において、前記被写体までの距離を測定する測定手段、をさらに備え、前記第１の撮影画像は、フラッシュ発光の強度と近景被写体までの距離とに応じて決定される近景被写体用絞り値以下であって、フラッシュ発光の強度と遠景被写体までの距離とに応じて決定される遠景被写体用絞り値よりも大きな値を有する絞り値を用いて撮影されることを特徴とする。
【００１３】
請求項４の発明は、請求項３の発明に係る撮像装置において、前記第１の撮影画像は、フラッシュ発光の強度と近景被写体までの距離とに応じて決定される近景被写体用絞り値に等しい絞り値を用いて撮影されることを特徴とする。
【００１４】
請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係る撮像装置において、前記抽出された近景被写体領域を背景画像と合成する合成手段、をさらに備えることを特徴とする。
【００１５】
請求項６の発明は、請求項１の発明に係る撮像装置において、撮影時の状況において前記抽出手段による近景被写体領域の抽出が可能か否かを判別する判別手段、をさらに備え、前記判別手段は、前記第１の撮影画像における遠景被写体を不適切な露光量で撮影することができないと判定される場合には前記近景被写体領域の抽出が不可能であると判別することを特徴とする。
請求項７の発明は、請求項１の発明に係る撮像装置において、撮影時の状況において前記抽出手段による近景被写体領域の抽出が可能か否かを判別する判別手段、をさらに備え、前記判別手段は、前記第１の撮影画像における近景被写体を適切な露光量で撮影することができないと判定される場合には前記近景被写体領域の抽出が不可能であると判別することを特徴とする。
【００１６】
請求項８の発明は、請求項６または請求項７の発明に係る撮像装置において、前記判別手段によって前記近景被写体領域の抽出が不可能であると判別されたときに、前記近景被写体領域の抽出が不可能である旨を表示する表示手段、をさらに備えることを特徴とする。
【００１９】
請求項９の発明は、請求項６ないし請求項８のいずれかの発明に係る撮像装置において、前記被写体までの距離を測定する測定手段、をさらに備え、前記判別手段は、遠景被写体を不適切な露光量で撮影することができる絞り値の最小値が、前記測定手段によって測定された近景被写体までの距離とフラッシュ発光の強度とに応じて決定される近景被写体用絞り値よりも大きい場合に、前記抽出手段による近景被写体領域の抽出が不可能であるとして判別することを特徴とする。
【００２０】
請求項１０の発明は、請求項９の発明に係る撮像装置において、前記判別手段は、遠景被写体の露光量を不適切にすることができる絞り値の最小値に絞りを設定して撮影するときに、近景被写体の露光量を適切にすることが可能な近景被写体までの距離の許容最大値を算出することを特徴とする。
【００２１】
請求項１１の発明は、請求項１０の発明に係る撮像装置において、前記判別手段は、前記算出された近景被写体までの距離の許容最大値と前記測定手段によって測定された近景被写体までの距離との差を、前記近景被写体が移動すべき距離として算出することを特徴とする。
【００２２】
請求項１２の発明は、奥行き方向の位置が互いに異なる複数の被写体に関して撮影された画像を処理する画像処理装置であって、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように撮影された第２の撮影画像とを取得する画像取得手段と、前記第１の撮影画像と前記第２の撮影画像との差分画像を求め、当該差分画像に基づいて、前記第１の撮影画像または前記第２の撮影画像の中から近景被写体領域を抽出する抽出手段と、を備え、前記抽出手段は、前記差分画像を二値化して高階調値領域と低階調値領域とに区分し、前記第１の撮影画像を二値化して高階調値領域と低階調値領域とに区分し、前記差分画像の低階調値領域と前記第１の撮影画像の高階調値領域との重複領域である第１領域を第１の近景候補領域として決定し、前記差分画像の低階調値領域と前記第１の撮影画像の低階調値領域との重複領域である第２領域のうち、前記第１の近景候補領域に隣接する領域を第２の近景候補領域として決定し、前記第１の近景候補領域と前記第２の近景候補領域との両方に相当する領域を前記近景被写体領域として決定することを特徴とする。
【００２３】
請求項１３の発明は、コンピュータを、奥行き方向の位置が互いに異なる複数の被写体に関して撮影された画像を処理する画像処理装置であって、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように撮影された第２の撮影画像とを取得する画像取得手段と、前記第１の撮影画像と前記第２の撮影画像との差分画像を求め、当該差分画像に基づいて、前記第１の撮影画像または前記第２の撮影画像の中から近景被写体領域を抽出する抽出手段であって、前記差分画像を二値化して高階調値領域と低階調値領域とに区分し、前記第１の撮影画像を二値化して高階調値領域と低階調値領域とに区分し、前記差分画像の低階調値領域と前記第１の撮影画像の高階調値領域との重複領域である第１領域を第１の近景候補領域として決定し、前記差分画像の低階調値領域と前記第１の撮影画像の低階調値領域との重複領域である第２領域のうち、前記第１の近景候補領域に隣接する領域を第２の近景候補領域として決定し、前記第１の近景候補領域と前記第２の近景候補領域との両方に相当する領域を前記近景被写体領域として決定する抽出手段と、を備える画像処理装置として機能させるプログラムであることを特徴とする。
【００２４】
請求項１４の発明は、コンピュータを、奥行き方向の位置が互いに異なる複数の被写体に関して撮影された画像を処理する画像処理装置であって、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように撮影された第２の撮影画像とを取得する画像取得手段と、前記第１の撮影画像と前記第２の撮影画像との差分画像を求め、当該差分画像に基づいて、前記第１の撮影画像または前記第２の撮影画像の中から近景被写体領域を抽出する抽出手段であって、前記差分画像を二値化して高階調値領域と低階調値領域とに区分し、前記第１の撮影画像を二値化して高階調値領域と低階調値領域とに区分し、前記差分画像の低階調値領域と前記第１の撮影画像の高階調値領域との重複領域である第１領域を第１の近景候補領域として決定し、前記差分画像の低階調値領域と前記第１の撮影画像の低階調値領域との重複領域である第２領域のうち、前記第１の近景候補領域に隣接する領域を第２の近景候補領域として決定し、前記第１の近景候補領域と前記第２の近景候補領域との両方に相当する領域を前記近景被写体領域として決定する抽出手段と、を備える画像処理装置として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００２５】
【発明の実施の形態】
＜Ａ．第１実施形態＞
＜Ａ１．概要＞
図１は、本発明に係る撮像装置としてのデジタルカメラ１を示す斜視図である。図１に示すように、このデジタルカメラ１は、内蔵の撮影用ＣＣＤ２、撮影用レンズ３、ファインダー４、カード取り出しボタン５、カード取り出し口６、シャッターボタン７、測光素子８、フラッシュ９、撮影モード切り替えスイッチ１０、測距センサー１１などを備える。
【００２６】
撮影用レンズ３から入射した光は、撮影用ＣＣＤ２において結像され、多段階の階調値を有するデジタル画像に変換される。デジタルカメラ１の操作者は、ファインダー４から見える光景を参考にしながら、シャッターボタン７を押下することによって、所望の光景を撮影することができる。撮影時において、測光素子８は、環境光の明るさ等を測定する測光手段として機能し、測距センサー１１は、被写体までの距離を測定する測定手段として機能する。また、フラッシュ９は、必要に応じて被写体を照射するための強制光を放出する。
【００２７】
また、撮影モード切り替えスイッチ１０は、通常撮影モードと近景被写体抽出モードとを切り替えることができる。また、カード取り出し口６に対して、メモリーカード１０５（後述）等が着脱自在に装填される。カード取り出しボタン５は、装填されたメモリーカード１０５などを取り出す際に用いられる。
【００２８】
図２は、デジタルカメラ１の機能ブロック図である。図２に示すように、デジタルカメラ１は、Ａ／Ｄ（アナログ／デジタル）変換部１０１、γ変換等処理部１０２、メモリー１０３、領域抽出部１０４、メモリーカード１０５、合成部１０６、および絞り量決定部１０７をさらに備える。
【００２９】
ここにおいて、Ａ／Ｄ変換部１０１は、ＣＣＤ２における光電変換の結果として出力されたアナログ信号をデジタル信号に変換する処理部であり、γ変換等処理部１０２は、γ変換およびアパーチャコントロールなどの通常の画像処理を行う処理部である。このような処理が施された撮影画像は、メモリー１０３に格納される。また、領域抽出部１０４は、後述するように、２枚の撮影画像ＰＡ，ＰＢの差分画像ＰＣに基づいて、近景領域を抽出する処理部であり、合成部１０６は、抽出された近景被写体領域（以下、単に「近景領域」とも称する）を背景画像に対して合成する処理部である。メモリーカード１０５には、抽出された近景領域に関する画像（より詳細には画像データ）や、合成部１０６で得られた合成後の画像などが格納される。また、絞り量決定部１０７は、撮影用レンズ３の絞り量を調節する処理部である。
【００３０】
上述したように、このデジタルカメラ１は、撮影モード切り替えスイッチ１０を切り替えることにより、通常の撮影モードと近景被写体抽出モードとを切り替えることが可能である。ここでは、近景被写体抽出モードについて説明する。
【００３１】
この近景被写体抽出モードにおいては、デジタルカメラ１は、次の２枚の画像を撮影する。具体的には、これら２枚の撮影画像は、（１）フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように調整された撮影画像ＰＡと、（２）フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように調整された撮影画像ＰＢ、である（図３参照）。なお、撮影画像ＰＡは、フラッシュ発光を用いた撮影画像であって、近景被写体の露光量が遠景被写体の露光量に対して相対的に適切となるように調整された撮影画像であるとも表現することができる。
【００３２】
図３は、これらの２枚の撮影画像ＰＡ，ＰＢ、およびこれらの撮影画像ＰＡ，ＰＢを用いた近景領域抽出処理を表す概念図である。図３に示すように、これらの２枚の撮影画像ＰＡ，ＰＢは、いずれも、同一の撮影対象についての撮影画像である。そして、この撮影対象は、奥行き方向の位置が互いに異なる複数の被写体である。たとえば、最も手前側の位置に人物を配置し、それよりも奥側の位置にその他の背景被写体を配置した状態で、これら２枚の撮影画像の撮影を行う。そして、以下に説明する詳細動作を行うことにより、最も手前側に配置された人物に関する領域を、撮影画像中から近景領域として抽出することができる。これによれば、デジタルカメラ１の操作者は、通常のスナップ写真を撮影する際の操作と同様の操作で、近景領域として抽出された人物に関する証明写真を作成することが可能になる。すなわち、簡易に証明写真を作成することができる。
【００３３】
この撮影画像ＰＡは、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように調整された画像である。具体的には、自動的にフラッシュ９を発光させ、撮影用レンズ３の絞りを最も絞った状態で撮影した画像である。
【００３４】
一方、撮影画像ＰＢは、フラッシュ発光を用いずに画像全体の露光量が適切となるように調整された画像である。具体的には、フラッシュ９を発光させることなく、画像全体の露光量が最適となるように撮影用レンズ３の絞りを調整して撮影した画像である。
【００３５】
近景被写体に関しては、これら２枚の撮影画像ＰＡ，ＰＢの両方において、適正な露光量となっている。すなわち、近景領域は適正な露光量で撮像されている。
【００３６】
これに対して、遠景被写体に関しては、撮影画像ＰＢでは適正な露光量で撮影されているものの、撮影画像ＰＡでは露光量不足の状態で撮影されている。なぜならば、遠景被写体に対しては、近景被写体に比べてフラッシュ光の到達量が少ないからである。このように、撮影用レンズ３の絞りを絞った状態で撮影すると、撮影画像ＰＡにおける遠景被写体は、近景被写体に比べて露光量不足となるのである。ここで、「遠景被写体」とは、近景被写体以外の被写体を意味し、「遠景領域」とは、近景領域以外の領域を意味するものとする。
【００３７】
このような撮影の結果、撮影画像ＰＡおよび撮影画像ＰＢの両方の近景領域と撮影画像ＰＢの遠景領域とにおいては、ほぼ適正な露光量となるのに対して、撮影画像ＰＡの遠景領域においてのみ露光量不足となっている。そして、この露光量不足の領域においては、露光量が適正な領域に対して比較的低い輝度を有する画像（すなわち暗い画像）になる。この実施形態においては、このような性質を利用して近景領域を抽出する。
【００３８】
そのため、具体的には、２枚の撮影画像ＰＡ，ＰＢに基づいて、両撮影画像ＰＡ，ＰＢの各画素の差分値（より詳細には差分絶対値）を各画素の階調値とする差分画像ＰＣ（図３参照）を求める。そして、領域抽出部１０４は、この差分画像ＰＣに基づいて、近景領域を決定して抽出する。
【００３９】
より詳細には、露光量が適正な領域については撮影画像ＰＡおよび撮影画像ＰＢの両方がほぼ同一の輝度を有する（したがってほぼ同一の階調値を有する）ため、差分画像ＰＣの階調値は比較的低い値を有する。理想的には、差分画像ＰＣにおいて露光量が適正な領域の画素の階調値はゼロである。一方、撮影画像ＰＡにおいて露光量が不十分な領域においては、両撮影画像ＰＡ，ＰＢの輝度の差が大きくなり両撮影画像ＰＡ，ＰＢの対応画素の階調値の差分絶対値が大きくなるため、差分画像ＰＣの階調値は比較的高い値となる。このように、差分画像ＰＣにおいては、露光量の適不適に応じた差異が生じ、その差異は、デジタルカメラ１から被写体までの距離が大きくなるにつれて大きな値となる。
【００４０】
したがって、この差分画像ＰＣにおいて比較的低い階調値を有する領域を近景領域として決定することができる。具体的には、差分画像ＰＣを所定の閾値ＴＨ１で二値化して低階調値領域と高階調値領域とに区分し、そのうちの低階調値領域を近景領域として決定すればよい。
【００４１】
なお、フラッシュ発光を伴う撮影画像ＰＡの遠景被写体について、露光量不足の状態を顕著に生成するため、本撮影は屋内等で行うことが好ましい。
【００４２】
＜Ａ２．詳細動作＞
図４および図５は、詳細動作を示すフローチャートである。図４は、デジタルカメラ１における動作を表すフローチャートであり、図５は、近景領域抽出モードにおける動作を表すフローチャートである。
【００４３】
ステップＳＰ１において、シャッターボタン７が押下されると、ステップＳＰ２に移行し、近景領域抽出モードであるか通常撮影モードであるかが確認される。通常撮影モードに設定されている場合には、ステップＳＰ３〜ステップＳＰ８までの処理が行われる。ただし、以下では、近景領域抽出モードに設定されている場合を想定し、図５を参照しながら近景領域抽出モードの詳細動作について説明する。
【００４４】
まず、撮影画像ＰＡに関する撮影動作が行われる。
【００４５】
そのため、ステップＳＰ１０においては、測光素子８および測距センサー１１の出力を読み出し、ステップＳＰ１１においては、撮影用レンズ３の絞りの絞り量を設定する。ここでは、撮影用レンズ３の絞りを最も絞った状態に設定する。この絞りの状態は、Ｆナンバー形式で表現すれば、最も大きなＦナンバーとなるような状態に設定すればよい。なお、後述するように、測距センサー１１の測距結果等を利用して、最適な露光量となるように絞り量を調節するようにしても良い。
【００４６】
次のステップＳＰ１２においては、撮影用レンズ３の繰り出し量、およびＣＣＤ２の積分時間（シャッタースピードＳＳに相当）が設定される。
【００４７】
そして、ステップＳＰ１３において、フラッシュを発光させて撮像が開始され、上記ステップＳＰ１２で設定された所定の積分時間にわたって、撮影用レンズ３を通ってきた光線がＣＣＤ２内の各画素に結像されて蓄積される（ステップＳＰ１４）。ＣＣＤ２における光電変換によって電気信号として出力された信号は、Ａ／Ｄ変換部１０１を経て、所定の階調値として出力される。また、ステップＳＰ１５において、γ変換等処理部１０２は、各画素の階調値に対して、γ変換、アパーチャコントロールなどの通常の処理を施し、その後、得られた画像はメモリー１０３に一時的に記憶される（ステップＳＰ１６）。このようにして撮影画像ＰＡに関する撮影動作が行われる。
【００４８】
次に、撮影画像ＰＢに関する撮影動作が行われる。そのため、ステップＳＰ１７においては、画像全体にわたって適切な露光量となるように、ＣＣＤの積分時間（シャッタースピードＳＳに相当）および絞り量が設定される。この際、ステップＳＰ１０において読み出された測光素子８の出力値等を用いて、適切な絞り量等が設定される。この絞り値により撮影された撮影画像ＰＢの露光量は、画像全体にわたって適切な値となる。
【００４９】
そして、今度の撮影画像ＰＢは、フラッシュを発光させることなく撮影される。所定の期間にわたってＣＣＤ２に結像された画像信号は、Ａ／Ｄ変換部１０１を経て、所定の階調値として出力される。また、各画素の階調値に対して、γ変換、アパーチャコントロールなどの通常の処理が施され（ステップＳＰ１９）、得られた画像はメモリー１０３に一時的に記憶される（ステップＳＰ２０）。このようにして撮影画像ＰＢに関する撮影動作が行われる。
【００５０】
そして、ステップＳＰ２１において、上述した近景領域抽出動作が行われる。図６は、この第１実施形態に係る領域抽出動作（ステップＳＰ２１）の詳細を表すフローチャートである。なお、以下の近景領域の抽出処理は、領域抽出部１０４によって行われる。
【００５１】
図６に示すように、領域抽出部１０４は、まず、ステップＳＰ１０１において、２枚の撮影画像ＰＡ，ＰＢから差分画像ＰＣを作成し、ステップＳＰ１０２において、差分画像ＰＣを所定の閾値ＴＨ１を用いて二値化する。たとえば、差分画像ＰＣが０〜２５５までの２５６段階の階調値を取り得る場合、この閾値ＴＨ１として４０（ＴＨ１＝４０）などを採用することができる。そして、閾値ＴＨ１以下の比較的低い階調値を有する領域を低階調値領域とし、閾値ＴＨ１より大きな比較的高い階調値を有する領域を高階調値領域とする。すなわち、差分画像ＰＣを低階調値領域と高階調値領域とに区分する。図３の黒色領域は低階調値領域を表しており、それ以外の領域は高階調値領域を表している。
【００５２】
そして、ステップＳＰ１０３においては、差分画像ＰＣ（図３）の低階調値領域を近景領域として判定する。このように、撮影画像ＰＡと撮影画像ＰＢとの差分画像ＰＣを求めた後、その差分画像ＰＣの低階調値領域を近景領域として求める。
【００５３】
再び、図５を参照する。次のステップＳＰ２２において、抽出された近景領域を合成部１０６によって背景画像と合成する。具体的には、ステップＳＰ２１において抽出された近景領域に関する画像を、特定の単一色（たとえば青色一色）で構成される背景画像と合成した合成画像ＰＲ１（図３参照）を生成する。これにより、証明写真として好適な画像となるように合成された画像を生成することができる。このように、証明写真等を容易に作成することができる。
【００５４】
さらにステップＳＰ２３において、この合成画像がメモリーカード１０５に記憶される。
【００５５】
その後、ステップＳＰ１に戻り、次にシャッターが押されるまで待機する。すなわち、次の撮影動作に備えて待機する。
【００５６】
以上のように、この実施形態のデジタルカメラ１によれば、近景領域を良好に抽出することができる。
【００５７】
＜Ａ３．絞り量の調節＞
上述した絞り量決定部１０７は、撮影画像ＰＡおよび撮影画像ＰＢの撮影時の絞り量を調節する処理部である。この絞り量決定部１０７は、上記のように、撮影画像ＰＡを撮影する際において、撮影用レンズ３の絞り量を最も絞った状態の絞り値に設定するようにしても良いが、以下のような手法を用いてさらに最適化された絞り値に設定するようにしても良い。
【００５８】
具体的には、以下に説明するように、フラッシュ発光の強度と近景被写体までの距離とに応じて決定される近景被写体用絞り値Ｆｎ以下であって、フラッシュ発光の強度と遠景被写体までの距離とに応じて決定される遠景被写体用絞り値Ｆｆよりも大きな値を有する絞り値を用いて、撮影画像ＰＡを撮影することが好ましい。また、撮影画像ＰＡは、フラッシュ発光の強度と近景被写体までの距離とに応じて決定される近景被写体用絞り値Ｆｎに等しい絞り値を用いて撮影されることがさらに好ましい。
【００５９】
ここにおいて、フラッシュ発光の強度は、フラッシュのガイドナンバーＧとして得ることができる。また、被写体までの距離Ｌは、測距センサー１１によって測距することができる。さらに、フラッシュのガイドナンバーＧ、被写体までの距離Ｌ、および適切な絞り量Ｆの間には次のような関係があることが知られている。
【００６０】
【数１】
すなわち、被写体までの距離Ｌが大きいときには、絞りを開放する（すなわちＦを小さくする）ことによって絞り量が適切な値に調整され、逆に、被写体までの距離Ｌが小さいときには、絞りをさらに絞る（すなわちＦを大きくする）ことによって絞り量が適切な値に調整される。
【００６２】
したがって、近景被写体までの距離をＬｎ、遠景被写体までの距離をＬｆ（＞Ｌｎ）とすると、近景被写体および遠景被写体のそれぞれの被写体についての適切な絞り量Ｆｎ，Ｆｆは、以下の数２、数３で決定される。なお、両者の間には、Ｆｆ＜Ｆｎ、なる関係が存在する。
【００６３】
【数２】
【数３】
近景被写体用絞り値Ｆｎは、フラッシュ発光の強度を表す指標Ｇと近景被写体までの距離Ｌｎとに応じて決定される値であり、遠景被写体用絞り値Ｆｆは、フラッシュ発光の強度を表す指標Ｇと遠景被写体までの距離Ｌｆとに応じて決定される値である。なお、近景被写体までの距離Ｌｎおよび遠景被写体までの距離Ｌｆは、測距センサー１１によって得ることができる。具体的には、画像内の異なる数点（たとえば中央および４隅近傍の合計５点）についての距離情報を得ておくことによって、奥行き距離が異なる複数の被写体についての距離を得ることが可能である。
【００６６】
ここで、撮影時に絞りをＦｆ相当の絞り量よりもさらに開放する（すなわち、絞り量ＦをＦｆよりも小さな値にする）と、遠景被写体に対しても十分な露光量になってしまう。上記実施形態においては、撮影画像ＰＡの遠景被写体に対して露光量不足の状態を生成することが望まれるため、撮影用レンズ３の絞りは、値Ｆｆに相当する絞り量よりもさらに絞ることが必要である。すなわち、撮影画像ＰＡの撮影時の絞り量Ｆｂは値Ｆｆよりも大きいこと（Ｆｂ＞Ｆｆ）が必要である。
【００６７】
一方、撮影用レンズ３の絞りを、Ｆｎ相当の絞り量よりもさらに絞ってしまう（すなわち、絞り量ＦをＦｎよりも大きな値にする）と、近景被写体に対する露光量は、最適な状態よりは若干不足する状態となってしまう。上記実施形態においては、撮影画像ＰＡの近景被写体に対して露光量がより適切となるように調整されることが望ましいので、撮影画像ＰＡの撮影時の絞り量Ｆｂは値Ｆｎ以下であること（Ｆｂ≦Ｆｎ）が好ましい。
【００６８】
したがって、撮影画像ＰＡの撮影時における適切な絞り量Ｆｂは、次の数４を満たすことが好ましい。
【００６９】
【数４】
このように、絞り量決定部１０７は、撮影用レンズ３の絞りを、上記の数４を満たす絞り量Ｆｂに調整することが好ましい。
【００７１】
また、撮影画像ＰＡは、この数４を満たす絞り量のうち、近景被写体用絞り値Ｆｎに等しい絞り値（Ｆｂ＝Ｆｎ）を用いて撮影されることがさらに好ましい。なぜなら、近景被写体に対して露光量が最も適切に調整される一方で、遠景被写体に対して露光量不足が最も顕著な状態の画像を得ることができるからである。
【００７２】
このように、絞り量決定部１０７は、撮影用レンズ３の絞りを、絞り量Ｆｎに等しい値となるように調整することがさらに好ましい。
【００７３】
以上のようにして、撮影画像ＰＡの撮影時における絞りを、より最適化された状態に設定することができる。
【００７４】
＜Ｂ．第２実施形態＞
ところで、上記の第１実施形態においては、近景被写体以外の被写体として黒色の被写体が存在する場合には、近景領域を良好に抽出できない事態が生じ得る。
【００７５】
図７は、そのような一例を示す概念図であり、所定のシーンを撮影した２枚の撮影画像ＰＡ，ＰＢと両撮影画像ＰＡ，ＰＢの差分画像ＰＣの二値化画像ＰＣ１とを表す図である。撮影画像ＰＡ，ＰＢは、それぞれ、フラッシュ光の有無や絞り量の調整度合い等に関して、上記実施形態と同様の撮影条件で撮影された画像を表す。
【００７６】
このシーンにおいては、中央に人物の被写体が写っており、この人物は黒髪である。人物はデジタルカメラ１から最も近い位置に存在している。また、人物に向かって右側には、黒色の物体Ｂ１が写っている。この黒色の物体Ｂ１は、人物よりもさらに後方に配置されている。
【００７７】
このようなシーンを撮影した場合、黒色の物体Ｂ１に関しては、露光量の過不足に拘わらず、撮影画像ＰＡ，ＰＢの両画像においていずれも同程度の低階調値の領域となってしまうため、差分画像ＰＣにおいても低階調値領域として認識される。そのため、この黒色の物体Ｂ１もが近景領域として誤って抽出されてしまう結果となる。
【００７８】
このように、第１実施形態に係る近景領域抽出手法を用いる場合においては、抽出すべき近景被写体（ここでは人物）以外の被写体（すなわち遠景被写体）として黒色あるいは黒色に近い濃い色の被写体を含めた画像を撮影するとき（たとえば、人物の背景に黒色物体が存在するとき）には、近景被写体に関する領域のみを近景領域として良好に抽出することが困難な事態が存在する。
【００７９】
この第２実施形態においては、このような場合においても良好に近景領域を抽出することが可能な技術について説明する。
【００８０】
第２実施形態に係るデジタルカメラは、第１実施形態に係るデジタルカメラと同様の構成を有しており、かつ、同様の動作を行う。以下では、相違点を中心に説明する。
【００８１】
この第２実施形態においても、第１実施形態と同様の撮影動作（図４，図５参照）が行われ、撮影画像ＰＡ，ＰＢが撮影される。具体的には、近景被写体抽出モードにおいて、シャッタボタンが押下されると、図５のステップＳＰ１０からステップＳＰ２０に至るまでの処理が行われる。
【００８２】
図８は、第２実施形態に係る近景領域抽出動作（ステップＳＰ２１）の詳細を表すフローチャートである。第２実施形態においては、図５のステップＳＰ２１における領域抽出処理として、図６に示される第１実施形態についての処理に代えて、図８に示される処理を実行する。なお、以下の近景領域の抽出処理は、領域抽出部１０４によって行われる。
【００８３】
また、図９は、第２実施形態に係る近景領域抽出処理を表す概念図である。図９には、撮影画像ＰＡ，ＰＢ（図７）に基づいて生成される差分画像ＰＣの二値化画像ＰＣ１と、撮影画像ＰＡに基づいて生成される画像ＰＤとが示されている。なお、図９の画像ＰＣ１および画像ＰＤにおいては、低階調値は黒色で示されており、高階調値は白色で示されている。
【００８４】
この第２実施形態においては、差分画像ＰＣの二値化画像ＰＣ１に加えて、撮影画像ＰＡに基づく画像ＰＤの情報をも用いることによって近景領域を抽出する点で第１実施形態と相違する。
【００８５】
図８におけるステップＳＰ２０１，ＳＰ２０２は、ステップＳＰ１０１，ＳＰ１０２と同一の処理である。その後、ステップＳＰ２０３においては、フラッシュ発光を用いて撮影した撮影画像ＰＡを所定の閾値ＴＨ２を用いて二値化した画像ＰＤを生成する処理を行う。たとえば、撮影画像ＰＡが０〜２５５までの２５６段階の階調値を取り得る場合、この閾値ＴＨ２として１２５（ＴＨ２＝１２５）などを採用することができる。そして、閾値ＴＨ２以下の比較的低い階調値を有する領域を低階調値領域とし、閾値ＴＨ２より大きな比較的高い階調値を有する領域を高階調値領域とする。すなわち、撮影画像ＰＡを低階調値領域と高階調値領域とに区分し、その区分結果として、二値化画像である画像ＰＤを得る。
【００８６】
そして、ステップＳＰ２０４において、差分画像ＰＣ（より詳細には二値化画像ＰＣ１）と撮影画像ＰＡ（より詳細には二値化画像ＰＤ）とを用いて、撮影シーンを次の４つの領域Ａ１，Ａ２，Ａ３，Ａ４に区分し、ステップＳＰ２０５において、その区分結果を用いて撮影シーンから近景領域を抽出する。
【００８７】
ここで、４つの領域Ａ１，Ａ２，Ａ３，Ａ４とは、図９に示すように、それぞれ、
領域Ａ１：差分画像ＰＣにおいて低階調値を有しかつ撮影画像ＰＡにおいて高階調値を有する領域、
領域Ａ２：差分画像ＰＣにおいて低階調値を有しかつ撮影画像ＰＡにおいて低階調値を有する領域、
領域Ａ３：差分画像ＰＣにおいて高階調値を有しかつ撮影画像ＰＡにおいて高階調値を有する領域、
領域Ａ４：差分画像ＰＣにおいて高階調値を有しかつ撮影画像ＰＡにおいて低階調値を有する領域、である。
【００８８】
言い換えれば、
領域Ａ１は、差分画像ＰＣの低階調値領域と撮影画像ＰＡの高階調値領域との重複領域であり、
領域Ａ２は、差分画像ＰＣの低階調値領域と撮影画像ＰＡの低階調値領域との重複領域であり、
領域Ａ３は、差分画像ＰＣの高階調値領域と撮影画像ＰＡの高階調値領域との重複領域であり、
領域Ａ４は、差分画像ＰＣの高階調値領域と撮影画像ＰＡの低階調値領域との重複領域である、とも表現することができる。
【００８９】
また、次の表１は、各領域Ａ１，Ａ２，Ａ３，Ａ４に区分する際の条件をまとめて示したものである。
【００９０】
【表１】
ここにおいて、これら４つの領域Ａ１，Ａ２，Ａ３，Ａ４は次述する理由からそれぞれ、次の性質を有する領域であるとして判断される。すなわち、まず、領域Ａ１は、近景領域と判定でき、領域Ａ３，Ａ４は、遠景領域として判定できる。また、領域Ａ２は、近景領域、遠景領域のどちらとも判定できない。次の表２は、各領域Ａ１，Ａ２，Ａ３，Ａ４に関する判定結果をまとめたものである。
【００９２】
【表２】
まず、領域Ａ１は、撮影画像ＰＡにおいて高階調値を有しているので、被写体が黒色ないし濃色ではないことが判明している。これに加えて、領域Ａ１は、差分画像ＰＣにおいて低階調値を有しているので、撮影画像ＰＡ，ＰＢの両方において適正な露光量で撮影された近景領域であると判定できる。したがって、領域抽出部１０４は、この領域Ａ１を、第１の近景候補領域として決定する。
【００９４】
つぎに、領域Ａ３，Ａ４は、差分画像ＰＣにおいて高階調値を有しているので、遠景領域として判定できる。
【００９５】
特に、領域Ａ４は、撮影画像ＰＡにおいて低階調値を有する領域でもあるので、フラッシュ光が届きにくい被写体に関する領域、すなわち遠景領域であると明らかに判定できる。
【００９６】
なお、領域Ａ３は、差分画像ＰＣにおいて高階調値を有しかつ撮影画像ＰＡにおいて高階調値を有する領域である。この領域Ａ３に区分される被写体としては、フラッシュ光が届かなくても所定程度の明るさを有する被写体であり、たとえば、蛍光灯Ｂ３（図７参照）などの発光体が該当する。蛍光灯などの発光体は明るいので、フラッシュ発光を伴う撮影画像ＰＡにおいても高階調値を有する。ただし、撮影画像ＰＡの撮影時には、撮影用レンズ３の絞りを相当程度絞っているので、撮影画像ＰＡにおいては撮影画像ＰＢに比べてその輝度が相当程度低下して撮影される。したがって、撮影画像ＰＡ，ＰＢの差分画像ＰＣにおいては、所定の閾値ＴＨ１よりも大きな値、すなわち高階調値となる。このような領域Ａ３は、差分画像ＰＣにおいて高階調値を有しているので、遠景領域として判定することができる。
【００９７】
このように、領域抽出部１０４は、領域Ａ３，Ａ４を、遠景領域として決定する。
【００９８】
また、領域Ａ２は、人物の黒髪Ｂ２（図７参照）や遠景の黒色物体Ｂ１についての黒色領域である。これらの黒髪Ｂ２、物体Ｂ１に関する黒色領域は、撮影画像ＰＡ，ＰＢの両方の画像において同様の低階調値となるので、差分画像ＰＣにおいても低階調値となる。また、黒髪Ｂ２や物体Ｂ１は、撮影画像ＰＡにおいても低階調値を有する領域として表現される。
【００９９】
このように、この領域Ａ２は、人物の一部である黒髪Ｂ２と、遠景（ないし背景）として認識されるべき物体Ｂ１との両方を含む領域であるため、差分画像ＰＣの二値化結果と撮影画像ＰＡの二値化結果とを用いただけでは、近景領域であるか遠景領域であるかを判定できない。
【０１００】
そこで、この第２実施形態においては、領域Ａ２のうち領域Ａ１に隣接する領域を第２の近景候補領域として決定する。
【０１０１】
具体的には、領域Ａ１の境界線に沿って、その隣接領域が領域Ａ２であるか否かを判定する。そして、その隣接領域が領域Ａ２であるときには、その領域Ａ２を第２の近景候補領域として判定する。一方、このような検出動作において検出されなかった領域Ａ２（すなわち領域Ａ１に隣接していない領域Ａ２）は、遠景領域として判定する。このようにして、領域Ａ２のうち、第１の近景候補領域（すなわち領域Ａ１）に隣接する領域を第２の近景候補領域として決定する。
【０１０２】
そして、第１の近景候補領域と第２の近景候補領域との両方に相当する領域を近景被写体領域として決定する。言い換えれば、第１の近景候補領域と第２の近景候補領域とを統合した領域を近景被写体領域として決定するとも表現することができる。
【０１０３】
以上のように、撮影画像ＰＡを二値化して高階調値領域と低階調値領域とに区分した結果をも用いて近景被写体領域を抽出することによって、遠景被写体として黒色の物体が存在する場合でも、画像内において当該黒色物体が近景被写体から分離して撮影されているときには、良好に近景領域抽出を行うことが可能である。
【０１０４】
＜Ｃ．第３実施形態＞
ところで、上記の第２実施形態においては、遠景被写体として黒色の被写体が近景被写体に隣接する場合には、近景領域を良好に抽出できない事態が生じ得る。
【０１０５】
図１０は、そのような一例を示す概念図であり、所定のシーンを撮影した２枚の撮影画像ＰＡ，ＰＢと両撮影画像ＰＡ，ＰＢの差分画像ＰＣの二値化画像ＰＣ１とを表す図である。撮影画像ＰＡ，ＰＢは、それぞれ、フラッシュ光の有無や絞り量の調整度合い等に関して、上記実施形態と同様の撮影条件で撮影された画像を表す。
【０１０６】
このシーンにおいては、中央に人物の被写体が写っており、この人物は黒髪である。人物はデジタルカメラ１から最も近い位置に存在している。また、人物の向かって右側には、黒色の物体Ｂ４が写っている。この黒色の物体Ｂ４は、人物よりも後方に配置されており、画面内において人物に隣接した状態で撮影されている。
【０１０７】
遠景被写体として認識すべき黒色の物体Ｂ４は、近景被写体である人物に画面内で隣接した状態となっているため、このようなシーンを第２実施形態に係る近景領域抽出手法を用いて撮影した場合には、この物体Ｂ４をも近景領域として誤って抽出してしまう結果となる。このように、近景被写体に関する領域のみを近景領域として良好に抽出することが困難な事態が存在する。
【０１０８】
この第３実施形態においては、このような場合においても良好に近景領域を抽出することが可能な技術について説明する。
【０１０９】
第３実施形態に係るデジタルカメラは、第２実施形態に係るデジタルカメラと同様の構成を有しており、かつ、同様の動作を行う。以下では、相違点を中心に説明する。
【０１１０】
この第３実施形態においても、第１実施形態と同様の撮影動作（図４，図５参照）が行われ、撮影画像ＰＡ，ＰＢが撮影される。具体的には、近景被写体抽出モードにおいて、シャッターボタン７が押下されると、図５のステップＳＰ１０からステップＳＰ２０に至るまでの処理が行われる。
【０１１１】
図１１は、第３実施形態に係る近景領域抽出動作の詳細を表すフローチャートである。第３実施形態においては、図５のステップＳＰ２１における領域抽出処理として、図６に示される第１実施形態についての処理に代えて、図１１に示される処理を実行する。以下の近景領域の抽出処理は、領域抽出部１０４によって行われる。
【０１１２】
また、図１２は、第３実施形態に係る近景領域抽出処理を表す概念図である。図１２には、撮影画像ＰＡ，ＰＢ（図１０）に基づいて生成される差分画像ＰＣの二値化画像ＰＣ１と、撮影画像ＰＡに基づいて生成される二値化画像ＰＤとが示されている。なお、図１２の画像ＰＣ１，ＰＤにおいては、低階調値は黒色で示されており、高階調値は白色で示されている。
【０１１３】
この第３実施形態においては、差分画像ＰＣの二値化画像ＰＣ１に加えて、撮影画像ＰＡに基づく二値化画像ＰＤの情報をも用いることによって近景領域を抽出する点で、第１実施形態と相違する。ただし、この点については第２実施形態と同様である。
【０１１４】
さらに、この第３実施形態においては、二値化する前の多階調値を有する差分画像ＰＣの各画素の階調値にも基づいて近景領域の抽出処理を行う点で、第２実施形態と相違する。
【０１１５】
図１１におけるステップＳＰ３０１，ＳＰ３０２，ＳＰ３０３，ＳＰ３０４は、第２実施形態（図８）のステップＳＰ２０１，ＳＰ２０２，ＳＰ２０３，ＳＰ２０４と同一の処理である。このうち、ステップＳＰ３０３においては、フラッシュ発光を用いて撮影した撮影画像ＰＡを所定の閾値ＴＨ２を用いて二値化した画像ＰＤを生成する処理を行う。また、ステップＳＰ３０４においては、画像ＰＣ１と画像ＰＤとを用いて、撮影シーンを次の４つの領域Ａ１，Ａ２，Ａ３，Ａ４に区分する。図１３は、この区分結果を示す図である。なお、このステップＳＰ３０４までの処理は、上記の第２実施形態と同一の処理である。
【０１１６】
上述したように、４つの領域Ａ１，Ａ２，Ａ３，Ａ４のうち、領域Ａ１は、近景領域と判定できるので、この領域Ａ１は第１の近景候補領域に該当する領域として決定される。そして、領域Ａ３，Ａ４は、遠景領域として判定できるので、この領域Ａ３，Ａ４は遠景領域として決定される。
【０１１７】
これに対して、領域Ａ２は、人物の黒髪Ｂ２や遠景の黒色物体Ｂ４（図１２参照）についての黒色領域であり、上記と同様の理由により、近景領域であるか遠景領域であるかを判定できない。
【０１１８】
そこで、この第３実施形態においては、次のステップＳＰ３０５において、多階調の差分画像ＰＣを用いて、領域Ａ２内の各画素が近景領域内のものであるか遠景領域のものであるかを判定する。
【０１１９】
具体的には、次の２つの手法Ｍ１，Ｍ２を採用することが可能である。
【０１２０】
まず、最初の手法Ｍ１は、領域Ａ２のうち、差分画像ＰＣにおいて比較的低い階調値を有する領域を第２の近景候補領域として決定する手法である。
【０１２１】
図１４は、その各画素の階調値を二値化する前の差分画像ＰＣを示す概念図である。二値化前の差分画像ＰＣにおける各画素は、多段階（たとえば２５６段階）の階調値を有している。
【０１２２】
ここで、領域Ａ１は、両撮影画像ＰＡ，ＰＢの対応画素の階調値の差分が小さく、差分画像ＰＣの階調値は小さな値となる領域である。たとえば、その差分値（詳細には、差分画像ＰＣにおける領域Ａ１の各画素の階調値）はゼロから２０程度の値となる。
【０１２３】
また、領域Ａ２のうち人間の頭髪部分Ｂ２に相当する領域Ａ２１は、領域Ａ１と同様の差分値を有している。なぜなら、領域Ａ２１は、近景被写体である人物の頭髪部分Ｂ２に相当する領域であるので、撮影画像ＰＡにおいても撮影画像ＰＢにおいても適切な露光量で撮影されることになるからである。このように、差分画像ＰＣにおける領域Ａ２１の各画素の値は、０（ゼロ）〜２０程度の値となる。
【０１２４】
さらに、領域Ａ２のうち後方の黒色物体Ｂ４に相当する領域Ａ２２は、差分画像ＰＣにおいて、領域Ａ１よりも高い階調値を有している。なぜなら、領域Ａ２２は、遠景被写体である黒色物体Ｂ４に相当する領域であるので、撮影画像ＰＢにおいては比較的適切な露光量で撮影される一方で、撮影画像ＰＡにおいては領域Ａ２１に比べると若干露光量不足の状態で撮影されることになるからである。この場合、差分画像ＰＣにおける領域Ａ２１の各画素の値は、たとえば、２０〜４０程度の値となる。
【０１２５】
そこで、両領域Ａ２１，Ａ２２を互いに区別するため、差分画像ＰＣの領域Ａ２内の各画素の階調値を所定の閾値ＴＨ３（＜ＴＨ１）で二値化する。この閾値ＴＨ３は、差分画像ＰＣを二値化して画像ＰＣ１を得る際に用いた閾値ＴＨ１よりも小さな値である。たとえば、差分画像ＰＣが０〜２５５までの２５６段階の階調値を取り得る場合には、この閾値ＴＨ３としては２０（ＴＨ３＝２０）などを採用することができる。
【０１２６】
閾値ＴＨ３を用いた二値化の結果に応じて領域Ａ２を、閾値ＴＨ３より小さな値を有する画素の集合として規定される低階調値領域と、閾値ＴＨ３以上の値を有する画素の集合として規定される高階調値領域とに区分する。この結果、領域Ａ２１は前者の領域として決定され、領域Ａ２２は後者の領域として決定される。すなわち、領域Ａ２は、領域Ａ２１と領域Ａ２２とにクラスタリングされるのである。図１５においては、領域Ａ２が領域Ａ２１と領域Ａ２２とに区分された状態が概念的に示されている。
【０１２７】
そして、領域Ａ２のうち、低階調値領域（たとえば領域Ａ２１）を第２の近景候補領域として決定し、高階調値領域（たとえば領域Ａ２２）を遠景領域として決定する。
【０１２８】
以上のような手法Ｍ１によって、領域Ａ２のうち、差分画像ＰＣにおいて所定の閾値ＴＨ３よりも小さな階調値を有する領域を第２の近景候補領域として決定することが可能である。
【０１２９】
次に、多階調の差分画像ＰＣを用いて、領域Ａ２内の各画素が近景領域内のものであるか遠景領域のものであるかを判定する別の手法Ｍ２について説明する。
【０１３０】
この手法Ｍ２は、差分画像における領域Ａ２内の注目画素であって当該注目画素の隣接画素との画素値相互間の差分絶対値が所定値以下となる注目画素によって構成される領域であって、かつ、第１の近景候補領域に隣接する領域を、第２の近景候補領域として決定する手法である。この手法Ｍ２によれば、近景被写体における照明状態が画面内において徐々に変化する場合でも、より正確に近景領域を抽出することが可能になる。
【０１３１】
詳細には、次のような手順で行う。まず、差分画像における領域Ａ２内の画素のうち、領域Ａ１の境界線に沿う画素を注目画素として選択する。つぎに、その注目画素に対して領域Ａ１側に隣接する画素と当該注目画素との画素値相互間の差分絶対値が所定値以下となるかを判定する。そして、その判定結果として当該差分絶対値が所定値以下となる注目画素を第２の近景候補領域内の画素として認定する。
【０１３２】
たとえば、図１６に示すように、領域Ａ２内の画素であって領域Ａ１に隣接する注目画素Ｅ１を選択した場合には、その注目画素Ｅ１と領域Ａ１側の隣接画素Ｅ１１との差分絶対値を求める。そして、この絶対値が所定値（たとえば５）以下であるなどの所定の条件を満たすことによって、隣接画素との変化が微小であると判断することができる場合には、この注目画素Ｅ１は領域Ａ１に連続した領域として（言い換えれば同一被写体であるとして）捉えるものとする。
【０１３３】
さらに、このような注目画素に関する選択動作と判定動作とを、領域Ａ１から離れる方向へ向けて順次に繰り返していくことによって、上記の条件を満たす注目画素によって構成される領域を形成することができる。図１６においては、このような動作によって、人間の顔面に相当する領域Ａ１に隣接する領域Ａ２１が抽出された結果が示されている。この領域Ａ２１には、領域Ａ１側の隣接画素との差分絶対値が所定値以下であるという条件を満たす画素Ｅ１，Ｅ２，Ｅ３などが含まれている。
【０１３４】
一方、領域Ａ２２内の境界線上の注目画素は、隣接する領域Ａ１あるいは領域Ａ２１の画素との差分絶対値が所定値よりも大きくなる。たとえば、注目画素Ｅ５は、領域Ａ１側の隣接画素Ｅ１５との差分絶対値が所定値よりも大きくなるので、上記の条件を満たさないことになる。また、注目画素Ｅ４は、領域Ａ１側（領域Ａ２側）の隣接画素Ｅ３と差分絶対値が所定値よりも大きくなるので、上記の条件を満たさないことになる。
【０１３５】
このように、注目画素Ｅ４，Ｅ５などを含む、領域Ａ２２内の境界線上の複数の注目画素は、上記の条件を満たさない。
【０１３６】
したがって、領域Ａ１に隣接する領域Ａ２のうち、上記の条件を満たす注目画素の集合領域である領域Ａ２１のみを、第２の近景候補領域として決定することができる。
【０１３７】
以上の手法Ｍ２を用いれば、差分画像における領域Ａ２内の注目画素であって当該注目画素の隣接画素との画素値相互間の差分絶対値が所定値以下となる注目画素によって構成される領域であって、かつ、第１の近景候補領域に隣接する領域を第２の近景候補領域として決定することができる。したがって、領域Ａ１に隣接する領域Ａ２の中から近景領域を良好に抽出することができる。特に、手法Ｍ２によれば、レンズの周辺光量落ちや、近景被写体に対しての照明が若干傾斜を持って変化することなどに起因して、差分画像ＰＣにおける階調値が連続的に変化する場合においても、近景領域を良好に抽出することが可能である。
【０１３８】
その後、ステップＳＰ３０６において、第１の近景候補領域（ここでは領域Ａ１）と第２の近景候補領域（ここでは領域Ａ２１）との両方に相当する領域を近景被写体領域として決定する。言い換えれば、第１の近景候補領域と第２の近景候補領域とを統合した領域を近景被写体領域として決定する。図１７においては、領域Ａ１と領域Ａ２１とを統合した領域が一体として示されている。そして、この統合領域に該当する領域を近景領域として撮影画像ＰＡあるいは撮影画像ＰＢから抽出し、青一色の背景画像と合成する（ステップＳＰ２２（図５））。なお、図１８は、合成後の画像を示す図である。
【０１３９】
以上のように、二値化する前の多階調値を有する差分画像ＰＣをも用いて近景領域を決定する処理を行うことによって、遠景被写体として黒色の物体が近景被写体に隣接して撮影されているときにも、近景領域を良好に抽出することが可能である。
【０１４０】
＜Ｄ．第４実施形態＞
上記の第１実施形態から第３実施形態までにおいては、撮像装置としてのデジタルカメラ１において、画像処理をも行う場合について説明した。この第４実施形態においては、上記と同様の画像処理を、撮像機能を切り離した画像処理装置において行う場合について説明する。
【０１４１】
図１９は、この第４実施形態における画像処理装置を含む画像処理システム４００の概念的構成を表す図である。この画像処理システム４００は、顧客から証明写真に関する注文を２枚の撮影画像ＰＡ，ＰＢとともにネットワークＮを介して受け付け、当該注文に応じて上記各実施形態と同様の画像処理を行い、その処理結果としての証明写真に関する画像（より詳細には画像データ）を顧客側へと返信するサービスを行うことができる。
【０１４２】
図１９に示すように、このシステム４００は、証明写真に関する注文を顧客からネットワークＮを介して受け付け、所定の画像処理を行うサーバコンピュータ（以下、単に「サーバ」とも称する）４１０を備えている。このサーバ４１０は、本発明に係る画像処理装置に相当する。
【０１４３】
また、このシステム４００においては、顧客側端末４４０がネットワークを介してこのサーバ４１０に対して接続される。言い換えれば、顧客は、顧客側端末４４０によってネットワークに接続可能である。この顧客側端末４４０としては、各家庭やオフィスなどに設置されたパーソナルコンピュータ、携帯可能なモバイルコンピュータ、および通信機能を有するデジタルカメラなどが存在し、これらの顧客側端末４４０は、ダイアルアップ接続などを通じてネットワークに接続することが可能である。そして、このネットワークを介して、サーバ４１０に対してアクセスを行うことなどにより、上記のサービスを享受することができる。
【０１４４】
ここで、「ネットワーク」とは、データ伝送を行う通信回線網であり、具体的には、インターネット、ＬＡＮ、ＷＡＮ、ＣＡＴＶ、ＩＣＮ（Inter-Community Network）などの、電気通信回線（光通信回線を含む）により構成される各種の通信回線網である。ネットワークに対する接続形態は、専用回線などを利用した常時接続であってもよいし、アナログ回線あるいはデジタル回線（ＩＳＤＮ）などの電話回線を利用したダイアルアップ接続などの一時的な接続のいずれであってもよい。また、その伝送方式は、無線方式および有線方式のいずれであってもよい。
【０１４５】
つぎに、サーバ４１０について詳細に説明する。
【０１４６】
サーバ４１０は、図１９に示すように、ハードウエア的には、ＣＰＵ４１１と、ＲＡＭ（および／またはＲＯＭ）などの半導体メモリにより構成される主記憶部４１２と、ハードディスクドライブ（ＨＤＤ）などの補助記憶部４１３と、メディアドライブ４１４とを備えるコンピュータシステム（以下、単に「コンピュータ」とも称する）として構成される。メディアドライブ４１４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスクなどの可搬性の記録媒体４０９からその中に記録されている情報を読み出す。
【０１４７】
このコンピュータは、記録媒体４０９に記録されたソフトウエアプログラム（以下、単に「プログラム」とも称する）を読み込み、そのプログラムをＣＰＵ４１１等を用いて実行することによって、上記実施形態で詳述した各種の画像処理動作を実現する画像処理装置４１０として機能する。なお、各機能を有するプログラムは、記録媒体４０９を介して供給（ないし配給）される場合に限定されず、ネットワークを介して、このコンピュータに対して供給（ないし配給）されてもよい。このように、画像処理装置としてのサーバ４１０は、コンピュータにおいてソフト的に構築される装置である。
【０１４８】
また、図２０に示すように、サーバ４１０は、画像取得部４１５、抽出部４１６、合成部４１７、および画像返信部４１８を有している。各処理部４１５，４１６，４１７，４１８は、コンピュータにおいて所定のプログラムを実行することにより機能的に実現される処理部であり、それぞれ、以下のような機能を有している。
【０１４９】
画像取得部４１５は、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された撮影画像ＰＡと、フラッシュ発光を用いずに画像全体の露光量が適切となるように撮影された撮影画像ＰＢとを取得する。具体的には、デジタルカメラなどの撮像装置によって撮像された撮影画像ＰＡ，ＰＢが、顧客側端末４４０からサーバ４１０へとｆｔｐ（file transfer protocol）などの各種プロトコルを用いて送信され、サーバ４１０の画像取得部４１５がこの撮影画像ＰＡ，ＰＢを受信することにより、両撮影画像ＰＡ，ＰＢを取得する。
【０１５０】
また、抽出部４１６は、撮影画像ＰＡと撮影画像ＰＢとの差分画像ＰＣを求め、当該差分画像ＰＣに基づいて、撮影画像ＰＡまたは撮影画像ＰＢの中から近景被写体領域を抽出する。この抽出部４１６は、上記の第１実施形態〜第３実施形態と同様の近景被写体領域の抽出処理を行うことが可能である。
【０１５１】
さらに、合成部４１７は、抽出部４１６によって抽出された近景被写体領域を背景画像と合成することが可能である。この処理も上記の第１実施形態〜第３実施形態と同様である。
【０１５２】
また、画像返信部４１８は、抽出部４１６および合成部４１７によって生成された証明写真を顧客側端末４４０に対して返信する。
【０１５３】
以上のような各処理部が各機能を発揮することによって、顧客は、サーバ４１０による画像処理の結果としての処理後画像を受け取ること、すなわち、証明写真等に関する画像を取得することができる。
【０１５４】
なお、この第４実施形態においては、処理結果として処理後画像を顧客に返信する場合を例示したが、本発明はこれに限定されず、たとえば、処理後画像に基づいて証明写真をプリント出力して生成し、そのプリント出力結果を顧客の指定する住所等に配送するようにしても良い。
【０１５５】
また、上記実施形態においては、サーバ側へ一旦、画像を送信する場合を例示したが、本発明はこれに限定されず、顧客側端末４４０自体において、上記と同様のプログラムを実行することによって、同様の画像処理を行うようにしても良い。
【０１５６】
＜Ｅ．第５実施形態＞
上記各実施形態においては、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように調整された撮影画像ＰＡが適切に撮影されることを前提としていた。しかしながら、撮影時の状況によっては、この撮影画像ＰＡを適切に撮影することが不可能な場合も存在する。この第５実施形態においては、撮影画像ＰＡの撮影に先立って、撮影画像ＰＡを適切に撮影することができるか否かを判別する態様を例示する。
【０１５７】
＜Ｅ１．構成＞
この第５実施形態に係るデジタルカメラ１Ｅは、上記第１実施形態〜第３実施形態に係るデジタルカメラ１と同様の構成を有している。以下では、相違点を中心に説明する。
【０１５８】
図２１は、デジタルカメラ１Ｅの背面図であり、図２２は、デジタルカメラ１Ｅの機能ブロック図である。
【０１５９】
図２１に示すように、このデジタルカメラ１Ｅは、他の実施形態に係るデジタルカメラ１と同様の構成要素に加えて、表示部１２をさらに備えている。この表示部１２は、液晶ディスプレイ（ＬＣＤ）などで構成されており、デジタルカメラ１の背面に設けられている。また、表示部１２は、ライブビュー画像などを表示するとともに、上述した近景領域の抽出が可能であるか否かなどの判別結果等に関する各種の情報をも表示する。
【０１６０】
また、図２２の機能ブロック図に示されるように、このデジタルカメラ１Ｅは、判別部１０８をもさらに備えている。この判別部１０８は、撮影時の状況において、領域抽出部１０４による近景被写体領域の抽出（上述）が可能か否かを判別する機能を有している。以下に説明する判別機能は、主に判別部１０８によって実現される。
【０１６１】
＜Ｅ２．判別原理について＞
つぎに、この判別機能の原理等について説明する。ここでは、（ａ）遠景被写体の露出量が不適切となるように撮影画像ＰＡを撮影すること（すなわち、遠景被写体を露光量不足で撮影画像ＰＡを撮影すること）ができるか否か、および（ｂ）近景被写体の露光量が適切となるように撮影画像ＰＡを撮影することができるか否かを調べることによって、撮影画像ＰＡを適切に撮影することができるか否か、を調べる場合について説明する。これによって、領域抽出部１０４による近景被写体領域の抽出（上述）が可能か否かを判別するのである。
【０１６２】
まず最初に、上記（ａ）の「遠景被写体」の露光量に関する判別について説明する。
【０１６３】
たとえば、撮影環境の明るさが大きすぎる場合（すなわち明るすぎる場合）には、最も絞りを絞った状態であっても遠景被写体の輝度値が高くなりすぎてしまうことがある。この場合、遠景被写体の露出量が不適切となるように撮影することができない。そこで、撮影時の環境下において、近景領域を抽出することが可能であるか否かを判定するのである。これにより、不必要な撮影動作を行わないようにすることができる。
【０１６４】
ここでは、撮影時の環境下において遠景被写体について実現可能な露光量の最小値Ｘmin（後述）が、遠景被写体についての不適切な露光量としての最大値Ｘｓ（後述）よりも大きい場合に、領域抽出部１０４による近景被写体領域の抽出が不可能であるとして判別する場合について例示する。
【０１６５】
一般に、撮影された像の露光量Ｘと絞り量Ｆとの関係は、次の数５で示される。
【０１６６】
【数５】
すなわち、露光量Ｘと絞り量Ｆの２乗とは、反比例の関係にある。
【０１６８】
ここで、露光量Ｘとしては、各画素の画素値の値を用いることができる。より詳細には、露光量Ｘは、近景被写体が存在しない領域（たとえば画面の４隅の所定領域）内の複数の画素の階調値の平均値として求められる。また、その時点での絞り量Ｆはデジタルカメラ１において設定されている値を取得することができる。このようにして、その時点における絞り量Ｆと露光量Ｘとを取得することができる。ここでは、これらの取得された絞り量Ｆと露光量Ｘとの値をそれぞれ、Ｆｇ，Ｘｇとする。
【０１６９】
また、デジタルカメラ１において最も絞った状態（すなわちデジタルカメラ１で設定可能な絞り量の最大値Ｆmaxに絞り値Ｆが設定された状態）で撮影したときの露光量Ｘは、実現可能な露光量のうち最も小さな値Ｘminとなる。すなわち、値Ｘminは、その撮影時の環境下においてデジタルカメラ１で実現可能な露光量の最小値である。
【０１７０】
各値Ｆｇ，Ｘｇ，Ｆmax，Ｘminを上記の数５を用いて関連づけると次の数６が導出される。したがって、この数６に基づいて、値Ｘminを算出することができる。
【０１７１】
【数６】
一方、遠景被写体が不適切な露光量で撮影されるための露光量の設定値Ｘｓが存在する。この設定値Ｘｓは、露光量Ｘがそれよりも大きな値となるときには遠景被写体が適切な露光量となってしまう値である。すなわち、値Ｘｓは、遠景被写体についての不適切な露光量としての最大値（言い換えれば、露光状態が不適切となる露光量の最大許容値）である。上記の近景被写体抽出動作を良好に行うためには、露光量Ｘはこの値Ｘｓ以下でなくてはならない。
【０１７３】
この値Ｘｓは、あらかじめ所定の値に設定される。各画素が０〜２５５までの２５６段階の階調値を取り得る場合には、たとえば６０程度を値Ｘｓとして定めておくことができる。
【０１７４】
そして、上記の２つの値、すなわち、値Ｘminと値Ｘｓとを比較する。
【０１７５】
まず、値Ｘminが値Ｘｓよりも大きい場合、言い換えれば、その撮影時の環境下において遠景被写体について実現可能な露光量の最小値Ｘminが、遠景被写体についての不適切な露光量としての最大値Ｘｓよりも大きい場合には、遠景被写体を不適切な露光量で撮影することができないことが判る。なぜなら、この撮影時の環境下で実現可能な最小値Ｘminが値Ｘｓよりも大きい場合には、近景領域を良好に抽出するためには露光量が値Ｘｓ以下でなくてはならないにもかかわらず、そのような露光量を実現することが出来ないからである。
【０１７６】
このとき、判別部１０８は、領域抽出部１０４による近景被写体領域の抽出が不可能であるとして判別する。そして、表示部１２は、近景被写体領域の抽出が不可能である旨、言い換えれば、近景領域抽出動作を伴う撮影が不可能である旨を表示する。具体的には、「撮影不可」あるいは「明るすぎるので、被写体抽出ができません」などの文字が表示部１２において表示される。これによって、デジタルカメラ１の操作者に対して判別結果に関する情報を提供することができる。
【０１７７】
また、値Ｘminが値Ｘｓ以下であるときには、遠景被写体を不適切な露光量で撮影することが可能であることが判る。このときには、次の判定動作に移行する。
【０１７８】
つぎに、上記（ｂ）の「近景被写体」の露光量に関する判別について説明する。
【０１７９】
ここでは、遠景被写体を不適切な露光量で撮影することができる絞り値の最小値Ｆｓ（後述）が、近景被写体用絞り値Ｆｎよりも大きい場合に、領域抽出部１０４による近景被写体領域の抽出が不可能であるとして判別する場合を例示する。
【０１８０】
上述したように、フラッシュのガイドナンバーＧ、被写体までの距離Ｌ、および適切な絞り量Ｆの間には数１に示される関係が存在する。そして、近景被写体についての適切な絞り量Ｆｎは、上記の数２に示される値となる。また、数４に示すように、近景被写体の露光量を適切にするため、撮影時の絞り量Ｆｂは、好ましくは値Ｆｎ以下である。言い換えれば、測距センサー１１によって測定された近景被写体までの距離Ｌｎとフラッシュ発光の強度Ｇとに応じて決定される近景被写体用絞り値Ｆｎは、近景被写体を適切な露光量で撮影することができる絞り値のうちの最大値（最大許容値）であるとも表現することができる。
【０１８１】
また、上記の露光量Ｘｓを実現する絞り量Ｆｓを求める。この値Ｆｓは、遠景被写体を不適切な露光量で撮影することができる絞り値のうち、最も小さな値（最小値）である。各値Ｆｇ，Ｘｇ，Ｆｓ，Ｘｓを上記の数５を用いて関連づけると次の数７が導出されるので、この数７にしたがって、値Ｆｓを求めることができる。
【０１８２】
【数７】
そして、値Ｆｎと値Ｆｓとを比較する。
【０１８４】
まず、値Ｆｓが値Ｆｎ以下である場合には、撮影時の絞り値Ｆｂを値Ｆｓ≦Ｆｂ≦Ｆｎとなるような任意の値として定めることによって、近景被写体を適切な露光量としつつ、かつ、遠景被写体を不適切な露光量とする撮影画像ＰＡを撮影することが可能である。
【０１８５】
一方、値Ｆｓが値Ｆｎより大きい場合、言い換えれば、遠景被写体を不適切な露光量で撮影することができる絞り値の最小値Ｆｓが、近景被写体を適切な露光量で撮影することができる最大値である値Ｆｎよりも大きい場合には、近景被写体を適切な露光量としつつ、かつ、遠景被写体を不適切な露光量とする撮影画像ＰＡを撮影することが不可能であることが判る。なぜなら、撮影時の絞り量Ｆｂを値Ｆｓ以下とすると遠景被写体が露光オーバーとなり、撮影時の絞り量Ｆｂを値Ｆｎより大きくすると近景被写体が露光量不足となるからである。この場合、判別部１０８は、領域抽出部１０４による近景被写体領域の抽出が不可能であるとして判別する。
【０１８６】
ただし、この場合には、近景被写体をデジタルカメラ１側に近づけることによって、この絞り量Ｆｓで近景被写体を適切な露光量で撮影することが可能になる。そこで、絞りを値Ｆｓ（遠景被写体の露光量を不適切にすることができる絞り値の最小値）に設定して撮影するときに、近景被写体の露光量を適切にすることが可能な近景被写体までの距離の許容最大値Ｌopt（後述）を算出し、そのような距離Ｌoptにまで近景被写体をデジタルカメラ１側に近づけるべき旨を指示する。具体的には、「５０ｃｍ手前に来て下さい」などの文字を表示部１２に表示する。このように、接近すべき距離ΔＬ（後述）を表示部１２に表示することなどによって、操作者などに対して接近すべき距離を知らせ、さらにこの近景被写体（ここでは人物）にデジタルカメラ１側に移動してもらうことによって、近景被写体が許容最大値Ｌoptよりも手前の位置（デジタルカメラ１側の位置）に存在することとなれば、近景領域の抽出を伴う撮影処理が可能になる。たとえば、デジタルカメラ１と近景被写体との距離が値Ｌoptを有する状態においては、撮影時の絞り量Ｆｂを値Ｆｓとすることによって、近景被写体を適切な露光量とすることができる。このことは、近景被写体までの距離Ｌｎを小さくすることによって、値Ｆｎの値自体をＦｓに等しくなるまで大きくすることに相当する。
【０１８７】
そのため、上記の距離Ｌoptを求める。すなわち、この距離Ｌoptは、Ｆｓ＝Ｇ／Ｌoptの関係を満たす値であるので、次の数８で表現される値である。
【０１８８】
【数８】
そして、接近すべき距離ΔＬを次の数９により求める。
【０１９０】
【数９】
ここで、値Ｌｎは、（移動前の）近景被写体までの距離であり、測距センサー１１によって取得される値である。また、値Ｌoptは、上記の数８によって求められる値である。
【０１９２】
以上のように、測距センサー１１によって測定された現在の近景被写体までの距離Ｌｎと数８に基づいて算出された距離Ｌoptとの差ΔＬを算出する。この値ΔＬは、近景被写体が現在位置から移動すべき距離である。
【０１９３】
数９により得られた距離ΔＬだけ近景被写体がデジタルカメラ１側に接近し、たとえば、近景被写体とデジタルカメラ１との距離ＬがＬoptに等しくなれば、その距離Ｌ（＝Ｌopt）に対応する最適な絞り値Ｆｎ（＝Ｆopt）が値Ｆｓに等しくなる。すなわち、絞り値Ｆoptで撮影することによって、近景被写体の露光量が適切となるように撮影することが可能になる。また、このとき、絞り値Ｆは、遠景被写体を不適切な露光量で撮影することができる絞り値の最小値Ｆｓに等しくなるので、遠景被写体の露光量が不適切になるようにも撮影することができる。すなわち、この撮影時の状況において、デジタルカメラ１は、遠景被写体を不適切な露出状態で撮影でき、かつ、近景被写体を適切な露光状態で撮影できることが確認される。
【０１９４】
＜Ｅ３．動作＞
つぎに、上記の判別原理を適用した詳細な動作について説明する。この第５実施形態に係る動作は、たとえば、上述した第１実施形態と同様の動作である。ここでは、相違点を中心に説明する。
【０１９５】
図２３は、近景領域抽出モードにおける動作を表すフローチャートである。この図２３のフローチャートは、図５のフローチャートと比較して、ステップＳＰ１０とステップＳＰ１１との間にステップＳＰ１０１〜ＳＰ１０４を有する点で相違する。
【０１９６】
まず、撮影画像ＰＡに関する撮影動作が行われる。
【０１９７】
そのため、ステップＳＰ１０においては、測光素子８および測距センサー１１の出力を読み出し、ステップＳＰ１０１においては、撮影用レンズ３の絞りの絞り量Ｆｇを仮設定する。
【０１９８】
次のステップＳＰ１０２において、判別部１０８は、遠景被写体を不適切な露光量で撮影することが可能か否かを判別する。具体的には、上述したように、ステップＳＰ１０１で仮設定された絞り量Ｆｇに対応する露出量Ｘｇを求め、数５の関係式を用いて、その撮影時の状況においてデジタルカメラ１で実現可能な露光量の最小値Ｘminを求める。そして、この値Ｘminと予め求められた値Ｘｓとを比較する。
【０１９９】
値Ｘminが値Ｘｓよりも大きい場合には、遠景被写体を不適切な露光量で撮影することができないものとして判別する。この場合には、ステップＳＰ１０３に進み、表示部１２（図２１）に「撮影不可」の表示等を行う。これによって、デジタルカメラ１の操作者に対してその判定結果に関する情報が提供される。したがって、操作者は、不要な撮影を行わずに済む。なお、デジタルカメラ１は、この表示を行った後、再び待機状態に戻る。
【０２００】
一方、値Ｘminが値Ｘｓ以下である場合には、遠景被写体を不適切な露光量で撮影することが可能であることが判る。このときには、次の判定動作（ステップＳＰ１０４）に移行する。
【０２０１】
次のステップＳＰ１０４においては、判別部１０８は、近景被写体を適切な露光量で撮影することができるか否かを判別する。具体的には、上述したように、遠景被写体を不適切な露光量で撮影することができる絞り値のうち最も小さな値Ｆｓを数７を用いて求め、数２から得られた値Ｆｎとこの値Ｆｓとを比較する。
【０２０２】
そして、値Ｆｓが値Ｆｎ以下である場合には、次のステップＳＰ１１に進み、撮影時の絞り値Ｆｂを値Ｆｓ≦Ｆｂ≦Ｆｎを満たす任意の値（たとえばＦｂ＝Ｆｎ）として定める。これによって、近景被写体を適切な露光量としつつ、かつ、遠景被写体を不適切な露光量とする撮影画像ＰＡを撮影することが可能である。
【０２０３】
一方、値Ｆｓが値Ｆｎより大きい場合には、近景被写体を適切な露光量としつつ、かつ、遠景被写体を不適切な露光量とする撮影画像ＰＡを撮影することが不可能であることが判る。
【０２０４】
そこで、この場合には、ステップＳＰ１０５に進み、近景被写体（たとえば人物）が移動すべき距離（移動量）ΔＬを表示部１２に表示する。この表示を行った後、デジタルカメラ１は再び待機状態に戻る。
【０２０５】
そして、表示部１２のこの表示内容を見たデジタルカメラ１の操作者は、近景被写体である人物に対してデジタルカメラ１側に接近するように指示し、これに応じて、近景被写体がデジタルカメラ１側に接近する。
【０２０６】
近景被写体が距離ΔＬ以上接近した後、再び上記と同様の動作を行うと、今度は、ステップＳＰ１０２，ＳＰ１０４において、遠景被写体を不適切な露出状態で撮影でき、かつ、近景被写体を適切な露光状態で撮影できることが確認される。なぜなら、デジタルカメラ１から近景被写体までの距離Ｌｎを小さくすることによって、値Ｆｎ自体も大きくなり、値Ｆｎが値Ｆｓよりも大きくなる（言い換えれば、値Ｆｓが値Ｆｎ以下となる）からである。そして、次のステップＳＰ１１において、撮影用レンズ３の絞りの絞り量Ｆｂを適切な値に設定する。たとえば、絞り量ＦｂをＦｎとして設定する。
【０２０７】
次のステップＳＰ１２以降の動作は、上記第１実施形態などで説明した動作と同様の動作である。ステップＳＰ１２〜ＳＰ１６までの動作を行うことによって、撮影画像ＰＡに関する撮影動作が行われる。
【０２０８】
その後、撮影画像ＰＢに関する撮影動作（ステップＳＰ１７〜ＳＰ２０）が行われ、上記第１実施形態〜第３実施形態において詳細に説明したような近景領域抽出動作（ステップＳＰ２１）を行い、抽出された近景領域を合成部１０６によって背景画像と合成し（ステップＳＰ２２）、その合成画像をメモリーカード１０５に記憶する（ステップＳＰ２３）などの動作が行われる。これにより、抽出された近景領域と背景画像とを合成した画像を生成することができる。より詳細には、証明写真として好適な画像となるように合成された画像を生成することができる。
【０２０９】
以上のように、この第５実施形態のデジタルカメラ１Ｅによれば、撮影時の状況において近景被写体領域の抽出が可能か否かを判別する判別部１０８をさらに備えているので、その撮影時の状況において近景被写体領域の抽出が不可能な場合に無駄な撮影を行わないなどの対策をとることが可能になる。
【０２１０】
＜Ｆ．その他の変形例など＞
上記各実施形態においては、抽出した近景被写体領域に対して組み合わせる背景画像として、青色一色の画像を用いる場合について説明したが、これに限定されず、他の色を用いてもよい。また、背景画像は、均一色に限定されず、例えばユーザーが選択した任意の画像を用いても良い。
【０２１１】
また、上記第３実施形態においては、画像の一部の領域Ａ２について上記手法によるクラスタリングを行ったが、これに限定されず、上記のクラスタリング手法以外の手法、例えば、Ｋ平均法、ＩＳＯ−ＤＡＴＡ法等のクラスタリング手法を用いてもよい。
【０２１２】
さらに、上記各実施形態においては、あらかじめ定められた閾値を用いて画像の二値化を行う場合を例示しているが、これに限定されず、その複数の画素の階調値に関する度数分布（端的に言えば、画像の輝度値ヒストグラム）等を作成し、その度数分布における双峰性を用いてもよい。具体的には、その２つの山の間の谷底部分の度数を閾値として用いることができる。
【０２１３】
また、各画素の集合として領域を求める際においては、確率的弛緩法などの局所的な矛盾性を解消する手法を用いても良い。これによれば、ノイズ等の影響を軽減することができる。
【０２１４】
さらに、上記各実施形態においては、輝度値を用いて近景領域の抽出を行ったが、輝度値ではなく彩度などを用いて近景領域抽出を行ってもよい。この場合においても、遠景被写体における露出量は、２枚の撮影画像ＰＡ，ＰＢ相互間においてはフラッシュの有無に応じて異なる彩度を有することになる。したがって、上記における輝度に代えて、２枚の撮影画像ＰＡ，ＰＢ相互間における彩度の相違に基づいて上記と同様の処理を行うことによっても、良好に近景領域を抽出することができる。これは、遠景被写体の輝度が低下するとその遠景領域が無彩色に近づく性質を利用するものである。すなわち、輝度が低いことと彩度が低いこととを対応させるものである。
【０２１５】
また、上記第５実施形態においては、判別部１０８による判別結果を表示部１２に表示する場合を例示したが、これに限定されず、その判別結果を音声などによって操作者等に知らせるようにしてもよい。
【０２１６】
【発明の効果】
以上のように、請求項１ないし請求項１４に記載の発明によれば、フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように撮影された第２の撮影画像との差分画像を求め、当該差分画像に基づいて、第１の撮影画像または第２の撮影画像の中から近景被写体領域を抽出するので、近景被写体領域を良好に抽出することができる。
【０２１９】
特に、請求項４に記載の発明によれば、第１の撮影画像は、フラッシュ発光の強度と近景被写体までの距離とに応じて決定される近景被写体用絞り値に等しい絞り値を用いて撮影されるので、第１の撮影画像を撮影する際の絞り値が最適化され、より良好に近景領域を抽出することができる。
【０２２０】
また、請求項５に記載の発明によれば、抽出された近景被写体領域が合成手段によって背景画像と合成されるので、証明写真等の合成画像を容易に作成することができる。
【０２２１】
さらに、請求項６ないし請求項１１に記載の発明によれば、抽出手段による近景被写体領域の抽出が可能か否かを判別する判別手段をさらに備えているので、その撮影時の状況において近景被写体領域の抽出が不可能な場合に無駄な撮影を行わないなどの対策をとることが可能になる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置としてのデジタルカメラを示す斜視図である。
【図２】デジタルカメラの機能ブロック図である。
【図３】第１実施形態に係る近景領域抽出処理を表す概念図である。
【図４】デジタルカメラにおける動作を表すフローチャートである。
【図５】近景領域抽出モードにおける動作を表すフローチャートである。
【図６】第１実施形態に係る近景領域抽出動作の詳細を表すフローチャートである。
【図７】第２実施形態に係る近景領域抽出処理を表す概念図である。
【図８】第２実施形態に係る近景領域抽出動作の詳細を表すフローチャートである。
【図９】第２実施形態に係る近景領域抽出処理を表す概念図である。
【図１０】第３実施形態に係る近景領域抽出処理を表す概念図である。
【図１１】第３実施形態に係る近景領域抽出動作の詳細を表すフローチャートである。
【図１２】第３実施形態に係る近景領域抽出処理を表す概念図である。
【図１３】４つの領域への区分結果を示す図である。
【図１４】二値化する前の差分画像ＰＣを示す概念図である。
【図１５】領域Ａ２を領域Ａ２１と領域Ａ２２とに区分した状態を示す概念図である。
【図１６】領域Ａ１に隣接する領域Ａ２１が抽出された状態を示す図である。
【図１７】領域Ａ１と領域Ａ２１とが統合された領域を示す図である。
【図１８】合成後の画像を示す図である。
【図１９】第４実施形態に係る画像処理装置を含む画像処理システム４００の概念的構成を表す図である。
【図２０】センターサーバの機能ブロック図である。
【図２１】第５実施形態に係るデジタルカメラ１Ｅの背面図である。
【図２２】デジタルカメラ１Ｅの機能ブロック図である。
【図２３】第５実施形態の近景領域抽出モードにおける動作を表すフローチャートである。
【符号の説明】
１，１Ｅ デジタルカメラ（撮像装置）
２ ＣＣＤ
３ 撮影用レンズ
７ シャッターボタン
８ 測光素子
９ フラッシュ
１１ 測距センサー
４００ 画像処理システム
４０９ 記録媒体
４１０ サーバ（画像処理装置）
Ｂ１ 黒色物体
Ｂ２ 頭髪部分
Ｂ３ 蛍光灯
Ｂ４ 黒色物体
ＰＡ （フラッシュ発光を伴う）撮影画像
ＰＢ （フラッシュ発光を伴わない）撮影画像
ＰＣ 差分画像
ＰＣ１ （差分画像ＰＣの）二値化画像
ＰＤ （撮影画像ＰＡの）二値化画像
ＰＲ１ 合成画像
Claims (14)
- 奥行き方向の位置が互いに異なる複数の被写体を撮影する撮像装置であって、
フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように調整された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように調整された第２の撮影画像とを撮影する撮影手段と、
前記第１の撮影画像と前記第２の撮影画像との差分画像を求め、当該差分画像に基づいて、前記第１の撮影画像または前記第２の撮影画像の中から近景被写体領域を抽出する抽出手段と、
を備え、
前記抽出手段は、
前記差分画像を二値化して高階調値領域と低階調値領域とに区分し、
前記第１の撮影画像を二値化して高階調値領域と低階調値領域とに区分し、
前記差分画像の低階調値領域と前記第１の撮影画像の高階調値領域との重複領域である第１領域を第１の近景候補領域として決定し、
前記差分画像の低階調値領域と前記第１の撮影画像の低階調値領域との重複領域である第２領域のうち、前記第１の近景候補領域に隣接する領域を第２の近景候補領域として決定し、
前記第１の近景候補領域と前記第２の近景候補領域との両方に相当する領域を前記近景被写体領域として決定することを特徴とする撮像装置。 - 請求項１に記載の撮像装置において、
前記第１の撮影画像は、最も絞った状態の絞り値を用いて撮影されることを特徴とする撮像装置。 - 請求項１に記載の撮像装置において、
前記被写体までの距離を測定する測定手段、
をさらに備え、
前記第１の撮影画像は、フラッシュ発光の強度と近景被写体までの距離とに応じて決定される近景被写体用絞り値以下であって、フラッシュ発光の強度と遠景被写体までの距離とに応じて決定される遠景被写体用絞り値よりも大きな値を有する絞り値を用いて撮影されることを特徴とする撮像装置。 - 請求項３に記載の撮像装置において、
前記第１の撮影画像は、フラッシュ発光の強度と近景被写体までの距離とに応じて決定される近景被写体用絞り値に等しい絞り値を用いて撮影されることを特徴とする撮像装置。 - 請求項１ないし請求項４のいずれかに記載の撮像装置において、
前記抽出された近景被写体領域を背景画像と合成する合成手段、
をさらに備えることを特徴とする撮像装置。 - 請求項１に記載の撮像装置において、
撮影時の状況において前記抽出手段による近景被写体領域の抽出が可能か否かを判別する判別手段、
をさらに備え、
前記判別手段は、前記第１の撮影画像における遠景被写体を不適切な露光量で撮影することができないと判定される場合には前記近景被写体領域の抽出が不可能であると判別することを特徴とする撮像装置。 - 請求項１に記載の撮像装置において、
撮影時の状況において前記抽出手段による近景被写体領域の抽出が可能か否かを判別する判別手段、
をさらに備え、
前記判別手段は、前記第１の撮影画像における近景被写体を適切な露光量で撮影するこ とができないと判定される場合には前記近景被写体領域の抽出が不可能であると判別することを特徴とする撮像装置。 - 請求項６または請求項７に記載の撮像装置において、
前記判別手段によって前記近景被写体領域の抽出が不可能であると判別されたときに、前記近景被写体領域の抽出が不可能である旨を表示する表示手段、
をさらに備えることを特徴とする撮像装置。 - 請求項６ないし請求項８のいずれかに記載の撮像装置において、
前記被写体までの距離を測定する測定手段、
をさらに備え、
前記判別手段は、遠景被写体を不適切な露光量で撮影することができる絞り値の最小値が、前記測定手段によって測定された近景被写体までの距離とフラッシュ発光の強度とに応じて決定される近景被写体用絞り値よりも大きい場合に、前記抽出手段による近景被写体領域の抽出が不可能であるとして判別することを特徴とする撮像装置。 - 請求項９に記載の撮像装置において、
前記判別手段は、遠景被写体の露光量を不適切にすることができる絞り値の最小値に絞りを設定して撮影するときに、近景被写体の露光量を適切にすることが可能な近景被写体までの距離の許容最大値を算出することを特徴とする撮像装置。 - 請求項１０に記載の撮像装置において、
前記判別手段は、前記算出された近景被写体までの距離の許容最大値と前記測定手段によって測定された近景被写体までの距離との差を、前記近景被写体が移動すべき距離として算出することを特徴とする撮像装置。 - 奥行き方向の位置が互いに異なる複数の被写体に関して撮影された画像を処理する画像処理装置であって、
フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように撮影された第２の撮影画像とを取得する画像取得手段と、
前記第１の撮影画像と前記第２の撮影画像との差分画像を求め、当該差分画像に基づいて、前記第１の撮影画像または前記第２の撮影画像の中から近景被写体領域を抽出する抽出手段と、
を備え、
前記抽出手段は、
前記差分画像を二値化して高階調値領域と低階調値領域とに区分し、
前記第１の撮影画像を二値化して高階調値領域と低階調値領域とに区分し、
前記差分画像の低階調値領域と前記第１の撮影画像の高階調値領域との重複領域である第１領域を第１の近景候補領域として決定し、
前記差分画像の低階調値領域と前記第１の撮影画像の低階調値領域との重複領域である第２領域のうち、前記第１の近景候補領域に隣接する領域を第２の近景候補領域として決定し、
前記第１の近景候補領域と前記第２の近景候補領域との両方に相当する領域を前記近景被写体領域として決定することを特徴とする画像処理装置。 - コンピュータを、奥行き方向の位置が互いに異なる複数の被写体に関して撮影された画像を処理する画像処理装置であって、
フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように撮影された第２の撮影画像とを取得する画像取得手段と、
前記第１の撮影画像と前記第２の撮影画像との差分画像を求め、当該差分画像に基づいて、前記第１の撮影画像または前記第２の撮影画像の中から近景被写体領域を抽出する抽出手段であって、前記差分画像を二値化して高階調値領域と低階調値領域とに区分し、前 記第１の撮影画像を二値化して高階調値領域と低階調値領域とに区分し、前記差分画像の低階調値領域と前記第１の撮影画像の高階調値領域との重複領域である第１領域を第１の近景候補領域として決定し、前記差分画像の低階調値領域と前記第１の撮影画像の低階調値領域との重複領域である第２領域のうち、前記第１の近景候補領域に隣接する領域を第２の近景候補領域として決定し、前記第１の近景候補領域と前記第２の近景候補領域との両方に相当する領域を前記近景被写体領域として決定する抽出手段と、
を備える画像処理装置として機能させるプログラム。 - コンピュータを、奥行き方向の位置が互いに異なる複数の被写体に関して撮影された画像を処理する画像処理装置であって、
フラッシュ発光を用いた撮影画像であって全被写体のうち近景被写体のみの露光量が適切となるように撮影された第１の撮影画像と、フラッシュ発光を用いない撮影画像であって画像全体の露光量が適切となるように撮影された第２の撮影画像とを取得する画像取得手段と、
前記第１の撮影画像と前記第２の撮影画像との差分画像を求め、当該差分画像に基づいて、前記第１の撮影画像または前記第２の撮影画像の中から近景被写体領域を抽出する抽出手段であって、前記差分画像を二値化して高階調値領域と低階調値領域とに区分し、前記第１の撮影画像を二値化して高階調値領域と低階調値領域とに区分し、前記差分画像の低階調値領域と前記第１の撮影画像の高階調値領域との重複領域である第１領域を第１の近景候補領域として決定し、前記差分画像の低階調値領域と前記第１の撮影画像の低階調値領域との重複領域である第２領域のうち、前記第１の近景候補領域に隣接する領域を第２の近景候補領域として決定し、前記第１の近景候補領域と前記第２の近景候補領域との両方に相当する領域を前記近景被写体領域として決定する抽出手段と、
を備える画像処理装置として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001206355A JP3666421B2 (ja) | 2001-03-29 | 2001-07-06 | 撮像装置、画像処理装置、記録媒体、およびプログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001096159 | 2001-03-29 | ||
| JP2001-96159 | 2001-03-29 | ||
| JP2001206355A JP3666421B2 (ja) | 2001-03-29 | 2001-07-06 | 撮像装置、画像処理装置、記録媒体、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002358519A JP2002358519A (ja) | 2002-12-13 |
| JP3666421B2 true JP3666421B2 (ja) | 2005-06-29 |
Family
ID=26612564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001206355A Expired - Fee Related JP3666421B2 (ja) | 2001-03-29 | 2001-07-06 | 撮像装置、画像処理装置、記録媒体、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3666421B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60325536D1 (de) | 2002-09-20 | 2009-02-12 | Nippon Telegraph & Telephone | Vorrichtung zum Erzeugen eines pseudo-dreidimensionalen Bildes |
| JP6257200B2 (ja) * | 2013-07-22 | 2018-01-10 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 |
| CN111428779B (zh) * | 2020-03-20 | 2023-06-06 | 浙江大华技术股份有限公司 | 一种确定补光灯照射范围方法、装置、设备及存储介质 |
| CN113658037B (zh) * | 2021-08-24 | 2024-05-14 | 凌云光技术股份有限公司 | 一种深度图像到灰度图像的转换方法和装置 |
-
2001
- 2001-07-06 JP JP2001206355A patent/JP3666421B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002358519A (ja) | 2002-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7889890B2 (en) | Image capture apparatus and control method therefor | |
| JP4888191B2 (ja) | 撮像装置 | |
| RU2443068C2 (ru) | Устройство и способ формирования изображения и программа | |
| KR101155406B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체 | |
| CN101272505B (zh) | 摄像装置以及摄像方法 | |
| US8760561B2 (en) | Image capture for spectral profiling of objects in a scene | |
| JP2012119858A (ja) | 撮影装置、撮影方法、およびプログラム | |
| JP2000350123A (ja) | 画像選択装置、カメラ、画像選択方法及び記録媒体 | |
| JP4127521B2 (ja) | ディジタル・カメラおよびその制御方法 | |
| JP2007282118A (ja) | 電子カメラおよび画像処理装置 | |
| JP2004222231A (ja) | 画像処理装置および画像処理プログラム | |
| JP2021128791A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US20090290041A1 (en) | Image processing device and method, and computer readable recording medium containing program | |
| JP5223663B2 (ja) | 撮像装置 | |
| JP3666421B2 (ja) | 撮像装置、画像処理装置、記録媒体、およびプログラム | |
| US7209163B1 (en) | Image processing apparatus, image output apparatus, and camera | |
| US7570281B1 (en) | Image processing apparatus and method for detecting a main subject to be photographed | |
| JP2010187208A (ja) | 電子スチルカメラ | |
| JP2007005966A (ja) | 露出量算出システムならびにその制御方法およびその制御プログラム | |
| JP2006074498A (ja) | 画像処理装置及び撮像装置 | |
| JP3897087B2 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
| JP2004222233A (ja) | 画像処理装置および画像処理プログラム | |
| JP2007316892A (ja) | 自動トリミング方法および装置ならびにプログラム | |
| JP4611412B2 (ja) | カメラ及び画像入力方法 | |
| JP5181687B2 (ja) | 電子カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041026 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20041203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041222 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050328 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110415 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120415 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |