JP6672043B2 - 画像処理装置、撮像装置、画像処理方法、画像処理システムおよび画像処理プログラム - Google Patents

Description

本発明は、複数の画像を合成する画像処理装置等に関する。

ボケ像を積極的に利用した写真表現においては、ボケ像の形状が重要視される。一般に、円形に広がった形状のボケ像が自然であるとされ、ユーザに好まれている。しかし、口径食のある撮像光学系で撮影した場合には、ボケ像の形状が変形してしまうことが知られている。

特許文献１には、形状が変形したボケ像を整形した後、ボケ付加処理を行うことによって良好な形状のボケ像を得ることができることが記載されている。整形の具体的な方法としては、変形したボケ像が現れている領域の輝度値を、円形に分布した別の輝度値に置き換えることでボケ像の形状を整形することが記載されている。

特開２０１４−１５０４９８号公報

特許文献１に記載された手段によってボケ像の形状を整形する場合、独立した点光源等の口径食がない場合のボケ形状が円形状である被写体については適切に整形することができる。しかしながら、面光源等の口径食がない場合のボケ形状が円形状でない被写体については、正確な整形が行えないおそれがある。

本発明の目的は、ボケ像の形状の変化を低減した画像が得られる画像処理装置、撮像装置、画像処理方法、画像処理システムおよび画像処理プログラムを提供することである。

本発明の画像処理装置は、絞り値を異ならせて撮影された複数の画像を取得する取得手段と、前記取得手段で取得した複数の画像を像高毎に重みを付けて合成する合成手段とを有し、前記複数の画像は、第１の画像と、前記第１の画像よりも大きな絞り値で撮影された第２の画像を含み、前記第２の画像の前記重みが最大となる像高は、前記第１の画像の前記重みが最大となる像高よりも高いことを特徴とする。

また、本発明の撮像装置は、絞り値が可変である絞りを備える撮像手段と、前記撮像手段によって撮影された画像を処理する画像処理部とを有する撮像装置であって、前記撮像手段は、絞り値を異ならせて撮影された複数の画像を出力し、前記画像処理部は、前記複数の画像を取得する取得手段と、前記取得手段で取得した複数の画像のそれぞれについて像高毎に重みを決定する決定手段と、前記重みに基づいて前記複数の画像を合成する合成手段とを有し、前記複数の画像は、第１の画像と、前記第１の画像よりも大きな絞り値で撮影された第２の画像を含み、前記決定手段は、前記第２の画像の前記重みが最大となる像高が、前記第１の画像の前記重みが最大となる像高よりも高くなるように前記重みを決定することを特徴とする。

本発明によれば、ボケ像の形状の変化を低減した画像が得られる画像処理装置、撮像装置、画像処理方法、画像処理システムおよび画像処理プログラムを提供することができる。

撮像装置のブロック図である。 メリジオナル光線とサジタル光線の光路図である。 絞り位置におけるメリジオナル光線の最大光束幅とサジタル光線の最大光束幅を示した図である。 異なる絞り値で撮影された画像の例を示す図である。 実施例１における画像処理方法を示したフローチャートである。 像高毎の重みの例を示す図である。 図５に示す画像処理方法によって得られる合成画像の例を示す図である。 撮影方法を示したフローチャートである。 絞り値が最小のときの、Ｗｍ／Ｗｓの値と結像する像高ｈの関係を示す図である。 実施例２における画像処理方法を示したフローチャートである。 実施例３の画像処理システムのブロック図である。 実施例４の撮像システムのブロック図である。

以下、本発明の実施例について、図面を参照しながら説明する。各図において、同一の部位については同一の参照番号を付し、重複する説明は省略する。

［実施例１］
本実施例では、本発明の画像処理方法を実行する撮像装置１００について説明する。図１は撮像装置１００の要部を示したブロック図である。撮像装置は、コンパクトデジタルカメラでも良いし、一眼レフカメラ、ミラーレスカメラでもよい。

撮像装置１００は、撮像手段１５０と画像処理部（画像処理装置）１４０を有する。撮像手段１５０は、光学系１１０、撮像素子１２０、制御部１３０を有する。

光学系１１０は、複数のレンズと、絞り値（Ｆ値）が可変である絞り１１１を有する。制御部１３０は、光学系１１０の絞り１１１の絞り値やレンズの位置を制御する。

撮像素子１２０は、光学系１１０が形成した光学像を光電変換することでアナログの電気信号を生成する。撮像素子１２０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子である。

撮像素子１２０によって生成されたアナログ電気信号は、不図示のＡ／Ｄコンバータでデジタル信号となる。撮像装置１００はさらに記憶部１２１を有しており、Ａ／Ｄコンバータでデジタル信号となった画像データは記憶部１２１へ出力される。撮像手段１５０は、制御部１３０によって絞り１１１を制御することで、絞り値を異ならせて撮影された複数の画像を出力することができる。

画像処理部１４０は、撮像手段１５０によって出力された画像に対して、後述する画像処理方法を実行する。

画像処理部１４０が実行する画像処理方法の説明に先立ち、口径食によるボケ像の変形について、図２および図３を用いて説明する。

図２は、光学系１１０に入射した光の光路を示している。図２（ａ）〜（ｃ）の各図は、結像する像高の異なるメリジオナル光線（上段）およびサジタル光線（下段）の光路を示している。図２（ａ）は画面の中心部に結像する場合、図２（ｂ）は画面の中間部に結像する場合、図２（ｃ）は画面の周辺部に結像する場合を示している。すなわち、光束が結像する像高としては図２（ａ）に示す場合が最も低く、図２（ｃ）に示す場合が最も高い。

図３（ａ）〜（ｃ）の各図は、図２（ａ）〜（ｃ）の各図に示す光線について、絞り１１１の位置における光束の形状を示している。すなわち、図３（ａ）は図２（ａ）に示す光束の、絞り１１１の位置における形状を示しており、図３（ｂ）は図２（ｂ）に示す光束の、絞り１１１の位置における形状を示している。また、図３（ｃ）は図２（ｃ）に示す光束の、絞り１１１の位置における形状を示している。

図３（ａ）〜（ｃ）の各図における点線は、各像高に結像する光束の絞り１１１の位置におけるメリジオナル方向の幅Ｗｍ、実線はサジタル方向の幅Ｗｓを示している。ＷｓとＷｍの値が近いほど、絞り位置における光束の形状は円形に近づく。従って、絞り位置における光束の形状を示す指標としては、Ｗｍ／Ｗｓの値を用いることができる。

図２（ａ）のように画面の中心部に結像する場合、ＷｍとＷｓは略等しい。そのため、Ｗｍ／Ｗｓは略１となり、図３（ａ）に示すように絞り１１１の位置における光束の形状は略円形となる。

一方、図３（ｂ）や（ｃ）に示すように、結像する像高が高くなるに従って、ＷｍとＷｓは共に減少する。これは、光学系１１０を構成する各レンズの径によって光束幅が制限されるためである。すなわち、結像する像高が高くなると、口径食によって光束幅が減少する。

口径食による最大の光束幅の減少量はサジタル光線とメリジオナル光線で異なり、メリジオナル光線の方がより顕著である。従って、結像する像高が高くなるに従ってＷｍ／Ｗｓの値は１より小さくなる。そのため、絞り１１１の位置における光束の形状は、図３（ｂ）や（ｃ）に示すように、円形ではなくレモンのような形状となる。

図２（ａ）〜（ｃ）の各図では、物体からの光が光学系１１０によって撮像素子１２０に結像した場合を示しているが、ピントをずらした場合には絞り１１１の位置における光束の形状に略等しい形状のボケ像が生じることになる。すなわち、図３（ａ）〜（ｃ）の各図に示すように、像高が高くなるにつれてボケ像の形状は円形からレモン形へと変形していく。

このような口径食によるボケ像の形状の変化は、絞り値を小さくすることによって低減することができる。図４（ａ）、（ｂ）に、異なる絞り値において同一の被写体（同心円状に配置された点光源）をボケ像として撮影した画像の例を示す。

図４（ａ）に示す画像は、絞り１１１によってメリジオナル光線およびサジタル光線の光束幅が制限されないほどに小さな絞り値で撮影された画像である。図４（ａ）において、画面の中心部でのボケ像の形状は円形となっている。これは図３（ａ）に示したように、画面の中心部においてＷｍ／Ｗｓの値が１となっているためである。また、像高が中心部から周辺部に向かって高くなるに従って、ボケ像の形状は円形からレモン形へと変形している。これは、図３（ｂ）、（ｃ）の各図に示すように、像高が高くなるとＷｍ／Ｗｓの値が１より小さくなるためである。

一方、図４（ｂ）に示す画像は、絞り１１１を図３（ａ）〜（ｂ）の各図に一点鎖線で示した径まで絞りこんで撮影された画像である。絞り１１１の径を小さくすることによって絞り値を大きくすると、メリジオナル光線およびサジタル光線は絞り１１１によっても光束幅が制限される。

これにより、ボケ像の大きさは図４（ａ）の場合よりも小さくなるが、Ｗｍ／Ｗｓの値が略１となる像高の範囲は広くなる。すなわち、画面の中心部から中間部までは円形のボケ像が得られる。しかし、中心部から周辺部にかけては、レンズの径によって制限されるメリジオナル光束の光束幅が、絞り１１１の径よりも更に小さいため、Ｗｍ／Ｗｓの値は１より小さくなり、結果としてボケ像の形状はレモン形となる。この様子を示したものが図４（ｂ）である。

このように、撮影時の絞り値に依って、Ｗｍ／Ｗｓの値が１となる像高の範囲は異なる。すなわち、絞り値が大きいほどＷｍ／Ｗｓの値が１となる像高の範囲は広くなる。また、絞り値が大きいほどボケ像の大きさは小さくなる。従って、撮影時の絞り値を異ならせて同一の被写体を複数回撮影することで、ボケ像の変形が現れていない像高の範囲が異なる複数枚の画像を得ることができる。

そして、このようにして得た複数枚の画像のそれぞれに対して像高毎に重みを付けて合成することで、ボケ像の形状の変化を低減した画像を得ることができる。

本実施例では、ボケ像の形状の変化を低減した画像を得るために画像処理部１４０において画像処理を行う。画像処理部１４０で行われる画像処理方法について、図５のフローチャートを用いて説明する。なお、以下の説明においてフローチャートの各ステップ（工程）は、単に「Ｓ」と称する。

本実施例の画像処理方法では、絞り値を異ならせて撮影された複数の画像をＳ１０１で取得し、これらの画像を像高毎に重みを付けてＳ１０３で合成する。なお、本実施例では、Ｓ１０３における重みとしては、Ｓ１０２において決定された値を用いる。

図５に示すフローチャートは、絞り値を異ならせて撮影した複数の画像が記憶部１２１に記憶されている状態から開始される。

Ｓ１０１は取得ステップであり、絞り値を異ならせて同一の被写体を撮影した複数の画像を取得手段１４０ａによって記憶部１２１から取得する。Ｓ１０１において取得した複数の画像のうちの１枚を第１の画像とし、第１の画像よりも大きな絞り値で撮影された画像うちの１枚を第２の画像とする。

Ｓ１０２は決定ステップであり、Ｓ１０１で取得した各画像に対して、撮影時の絞り値に基づいて像高毎の重みを決定手段１４０ｂによって決定する。このとき、決定手段１４０ｂは第１の画像の重みが最大となる像高よりも第２の画像の重みが最大となる像高の方が高くなるように重みを決定する。

ここで、Ｓ１０１で３枚の画像を取得した場合を例にして、Ｓ１０２における重み付けについて図６を用いて説明する。

図６（ａ）は、Ｓ１０１で取得した３枚画像を表している。図６（ａ）に示した各画像は、同一の被写体（同心円状に配置された点光源）をボケ像として撮影したものであり、左から順に撮影時の絞り値が大きくなっている。このとき、図６（ａ）において最も左側に示した画像を第１の画像、中央に示した画像を第２の画像とする。各画像の中心を原点として直交座標（ｘ，ｙ）をとったときの各画像の輝度値を、撮影時の絞り値が小さい画像から順にＩ_１（ｘ，ｙ）、Ｉ_２（ｘ，ｙ）、Ｉ_３（ｘ，ｙ）とする。

図６（ｂ）は、図６（ａ）に示したそれぞれの画像について、Ｗｍ／Ｗｓの値が１となっている領域を示している。図６（ｂ）に示した白い領域ではＷｍ／Ｗｓの値が１となっており、黒い部分ではＷｍ／Ｗｓの値が１より小さな値となっている。これらの画像を用いてボケ像の形状の変化を低減した画像を得るには、各画像についてＷｍ／Ｗｓの値が略１である領域の重みを重くして合成すれば良い。

そのため、第１の画像の重みが最大となる像高よりも、第２の画像の重みが最大となる像高が高くなるように重みを決定する。また、図６（ａ）において最も右側に示した画像の重みが最大となる像高は、第２の画像の重みが最大となる像高よりも高くなるように重みを決定すれば良い。

本実施例においては、像高毎の重みとして図６（ｃ）に示すような重みを付ける。図６（ｃ）に示す各図の縦軸は、図６（ａ）に示す各図の輝度Ｉ_ｉ（ｘ，ｙ）に対する重みｇ_ｉ（ｘ，ｙ）である（ｉ＝１，２，３）。横軸はｙ＝０としたときのｘ軸をとっているが、ｇ_ｉ（ｘ，ｙ）の形状は像高の等しい位置において同様である。すなわち、ｇ_ｉ（ｘ，ｙ）は画像の中心から同心円状に分布している。

本実施例では、このような重み分布と絞り値の関係のデータを記憶部１２１に予め記憶している。Ｓ１０２では、Ｓ１０１で取得した各画像の撮影時の絞り値と記憶部１２１に記憶されたデータとを照らし合わせることにより、各画像に対して像高毎の重みを決定する。

Ｓ１０３は合成ステップであり、合成手段１４０ｃによって、各画像を像高毎に重みを付けて合成する。本実施例では、各画像に対する像高毎の重みとしてはＳ１０２において決定した重みを用いる。Ｓ１０３で生成する合成画像の輝度Ｉ_ｓ（ｘ，ｙ）は、次の式（１）により得ることができる。
Ｉ_ｓ（ｘ，ｙ）＝ｇ_１（ｘ，ｙ）Ｉ_１（ｘ，ｙ）＋ｇ_２（ｘ，ｙ）Ｉ_２（ｘ，ｙ）＋ｇ_３（ｘ，ｙ）Ｉ_３（ｘ，ｙ） （１）

このように合成して得た画像の模式図を図７に示す。図７に示すように、像高が高い領域においても円形のボケ像が得られている。従って、撮影時の絞り値の異なる複数の画像を像高毎に重みを付けて合成することによって、ボケ像の形状の変化を低減した画像を得ることができる。

なお、図５に示した画像処理方法は、コンピュータ（プロセッサ）に各ステップの機能を実現させるための画像処理プログラムとして具現化が可能である。すなわち、画像処理プログラム（ソフトウェア）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理によって実現される。

上述の説明では、Ｓ１０１で３枚の画像を取得した例について説明したが、Ｓ１０１で取得する画像は第１の画像と第２の画像のみでも良いし、４枚以上でも良い。４枚以上の画像を取得する場合、撮影時の絞り値が大きい画像ほど、重みが最大となる像高が高くなるように重みを付けることが好ましい。

また、絞り値を大きくした場合、ボケ像の形状が略円形である像高の範囲は広くなるが、ボケ像の大きさは小さくなる。そのため、合成画像における絞り値の大きな画像の輝度成分が合成画像における全像高に存在する場合、合成画像におけるボケ像の大きさは小さくなる傾向がある。ここで、各画像の輝度成分とは、Ｓ１０１で取得した複数の画像を撮影時の絞り値が小さい順に並べたときの順番をｉとしたとき、ｉ番目の画像の輝度Ｉ_ｉ（ｘ，ｙ）と、ｉ番目の画像の重みｇ_ｉ（ｘ，ｙ）の積で与えられる値である。

そのため、ボケ像の形状の変化を低減し、さらにボケ像の大きさが小さくなりすぎないようにするためには、各画像に対して特定の像高の範囲に対して０より大きな重みをつけることが好ましい。

また、合成画像の輝度Ｉ_ｓ（ｘ，ｙ）におけるＳ１０１で取得した各画像の輝度成分は、像高方向に連続的に変化していることが好ましい。ここで、像高方向とは、光軸上の点を中心とし、光軸に垂直な方向である。

そのため、ｉ番目の画像において０より大きな重みがつけられる像高の範囲（以下、像高範囲と称する）とｉ＋１番目の画像における像高範囲は互いに重なりあうようにすることが好ましい。すなわち、Ｓ１０１で取得した画像の枚数をＮ、ｉ番目の画像の像高範囲の下限をｈ_{ｉ，ｍｉｎ}、ｉ番目の画像における像高範囲の上限をｈ_{ｉ，ｍａｘ}としたとき、下記の条件式（２）を満たすことが好ましい。
ｈ_{ｉ，ｍａｘ}＞ｈ_{ｉ＋１，ｍｉｎ} （１≦ｉ≦Ｎ−１） （２）

Ｓ１０２において、式（２）を満たすように像高範囲に対して像高毎に重みを決定することで、合成画像の輝度Ｉ_ｓ（ｘ，ｙ）における各画像の輝度成分を、像高方向に連続的に変化させることができ、自然な合成画像を得ることができる。

画像処理部１４０において実行される上述した画像処理方法では、同一の被写体を絞り値を異ならせて撮影した複数の画像が記憶部１２１に記憶されている状態から開始される場合について説明した。次に、同一の被写体を絞り値を異ならせて撮影した複数の画像を得るための撮影方法について、図８のフローチャートを用いて説明する。図８のフローチャートでは、後述するＳ１１１からＳ１１４までの処理を、予め設定した撮影枚数（Ｎ枚）の画像を得るまで制御部１３０の制御の下で繰り返し実行することによって、絞り値を異ならせて撮影したＮ枚の画像を得る。

Ｓ１１１では、絞り値をｉ番目の設定値として、ｉ−１番目の絞り値よりも大きな値に設定する。ｉは繰り返し回数を示しており、ｉは１からＮまでの整数をとる。なお、ｉ＝１のときの絞り値は初期値をとる。初期値としては、開放絞り値を設定しても良いし、それよりも大きな値を設定しても良い。

前述の画像処理方法によってボケ像の形状の変化を低減する効果を大きくするためには、ｉ番目の絞り値を光学系１１０の光学特性に基づいて設定することが好ましい。

図９に、絞り値が１番目の設定値である場合の光学系１１０に入射した光束について、Ｗｍ／Ｗｓの値と結像する像高ｈの関係を示す。図９に示すように、結像する像高ｈが高くなるに従って、Ｗｍ／Ｗｓの値は小さくなる。また、一般にｈに対するＷｍ／Ｗｓの変化量は、ｈが大きくなるほどに大きくなる。すなわち、像高が高くなるほどにボケ像の形状は変化しやすくなる。

したがって、ｈに対するＷｍ／Ｗｓの変化量に応じて絞り値を設定することで、像高が高い領域においてもボケ像の形状の変化を低減できるように複数の画像を撮影することが好ましい。これによって、ボケ像の形状の変化を低減する効果をより大きくすることができる。

Ｗｍ／Ｗｓの変化量に応じた絞り値の設定について具体的に説明する。なお、以下の説明では絞り値をＦとしたとき、ｈなる像高に結像する光束のＷｍ／Ｗｓの値をＷ（ｈ，Ｆ）と表記する。

まず、１番目の絞り値をＦ_１、最大像高をｈ_ｍａｘとしたとき、以下の条件式（３）を満たすｈをｈ_ｉとして定める。
Ｗ（ｈ，Ｆ_１）＝Ｗ（０，Ｆ_１）−ｉ｛Ｗ（０，Ｆ_１）−Ｗ（ｈ_ｍａｘ，Ｆ_１）｝／（Ｎ＋１） （１≦ｉ≦Ｎ） （３）

すなわち、Ｗ（ｈ_ｉ，Ｆ_１）とＷ（ｈ_ｉ＋１，Ｆ_１）の差が一定となるようなｈ_ｉを定める。図９に示すｈ_１〜ｈ_３は、Ｎ＝３である場合のｈ_ｉ（ｉ＝１，２，３）である。その後、ｉ番目の絞り値Ｆ_ｉを、以下の条件式（４）を満たすように定める。
Ｗ（ｈ_ｉ，Ｆ_ｉ−１）＜Ｗ（ｈ_ｉ，Ｆ_ｉ）≦１ （２≦ｉ≦Ｎ） （４）

式（４）を満たすことは、ｈ_ｉなる像高におけるボケ像の形状の変化は、ｉ−１番目の画像よりもｉ番目の画像の方が小さいことを示す。

このようにＦ_ｉを設定することにより、像高が高い領域においてもボケ像の形状の変化を低減した画像を得ることができる。これによって、前述した画像処理方法によってボケ像の形状の変化を低減する効果をより大きくすることができる。

なお、Ｆ_ｉとしては上記に限らず、ユーザが設定した値を用いても良い。

Ｓ１１２では、画面の中心の露出量が一定となるように露出を設定する。露出量の調整は、露光時間の調整、センサ感度（ＩＳＯ感度）の調整、ＮＤフィルタの挿入によって行うことができる。Ｓ１１１において絞り値を変更すると各画像の明るさが変化してしまうが、Ｓ１１２において画面の中心の露出量を一定となるように調整することで、各画像の露出量のばらつきを低減することができる。また、このように露出量を調整して撮影することで、合成後の画像における周辺減光を低減した画像を得ることができる。

Ｓ１１３では、Ｓ１１１およびＳ１１２において設定された撮影条件のもとで撮影を行う。

Ｓ１１４では、Ｓ１１３で撮影した画像を出力し、記憶部１２１に記憶する。例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）のような写真用のメタデータを含む画像ファイル形式で出力することで、画像データと撮影条件に関するデータを１つのファイルで記憶することができる。

Ｓ１１１〜Ｓ１１４を、予め設定されたＮ枚の画像を得るまで繰り返すことで、撮影時の絞り値が異なる複数枚の画像を得ることができる。

なお、式（３）および（４）を用いてＦ_ｉを決定した場合、Ｓ１０２における各画像の像高毎の重みの決定は、ｉ番目の画像の重みが最大となる像高ｈ_ｉ，ｇが以下の条件式（５）を満足するように決定することが好ましい。
ｈ_ｉ−１＜ｈ_ｉ，ｇ＜ｈ_ｉ＋１ （２≦ｉ≦Ｎ−１） （５）

これによって、前述した画像処理方法によってボケ像の形状の変化を低減する効果をさらに大きくすることができる。なお、ｉ＝１の場合の重みが最大となる像高ｈ_１，ｇは、０≦ｈ_１，ｇ＜ｈ_２の範囲で定めれば良い。また、ｉ＝Ｎの場合の重みが最大となる像高ｈ_Ｎ，ｇはｈ_Ｎ−１＜ｈ_Ｎ，ｇ＜ｈ_ｍａｘの範囲で定めれば良い。

［実施例２］
上述した実施例１の撮影方法では、Ｓ１１２において撮影時の露出量を調節しているが、本実施例では撮影時のＩＳＯ感度および露光時間を固定した場合について説明する。すなわち、本実施例における撮影方法は、図８に示すフローチャートからＳ１１２をスキップしたものとなる。この場合、撮影時の露出量は絞り値にのみ依存することになり、絞り値が大きいほど露出量は小さい。

本実施例における画像処理方法を、図１０に示すフローチャートを用いて説明する。本フローチャートは、絞り値を異ならせて撮影した複数の画像が記憶部１２１に記憶されている状態から開始される。本実施例における記憶部１２１に記憶されている各画像の露出量は、絞り値に応じて異なっている。

本実施例における画像処理部は、取得手段、決定手段および合成手段の他に、合成に用いる各画像の輝度値を調整する調整手段を更に有する。また、本実施例における画像処理方法は、実施例１の場合と異なり各画像の露出量を調整するステップを更に有する。

Ｓ２０１では、前述した実施例１と同様にして、記憶部１２１に記憶されている複数の画像を取得する。

Ｓ２０２では、Ｓ２０１で取得した各画像の露出量を調整し、露出量の差による画像の明るさの差を補正する。具体的には、Ｓ２０１で取得した各画像の基準となる輝度値を取得し、それらが同じ値になるように、画像全体の輝度を定数倍する。各画像の基準となる輝度値としては、各画像の中心部の輝度値としても良いし、各画像の全体の輝度値を平均した値としても良い。また、Ｓ２０１で取得した各画像の撮影条件（絞り値、露光時間、ＩＳＯ感度）に基づいて各画像の輝度値を定数倍しても良い。

Ｓ２０３では、Ｓ２０２で補正した各画像に対して、前述した実施例１におけるＳ１０２と同様に撮影時の絞り値に基づいて像高毎の重みを決定する。

Ｓ２０４では、Ｓ２０２で補正した各画像に対して、前述した実施例１におけるＳ１０３と同様にＳ２０３で決定した重みを用いて各画像を合成する。

本実施例によれば、露光時間を固定して複数回の撮影を行ったとしても、各画像の露出量の差による画像の明るさの違いを補正することができる。そのため、絞り値を大きくした場合においても露光時間を短くすることができる。従って、図８に示した撮影方法を実行するために要する時間を短くすることができる。

［実施例３］
本実施例では、本発明の画像処理方法を画像処理システム３００に適用した例について説明する。本実施例の画像処理システム３００では、撮像装置３０１と画像処理装置３０２が個別に存在し、それらを接続することでボケ像の形状の変化を低減した画像を得る。図１１は本実施例の画像処理システム３００のブロック図である。

以下では、撮像装置３０１が実施例１で述べた撮影方法（図８）を行う場合について説明する。なお、撮像装置３０１が実施例２に述べたような撮影方法を行う場合には、撮像装置３０１または画像処理装置３０２において、各画像の露出量の違いによる画像の明るさを補正する処理を行うことが好ましい。

撮像装置３０１は、絞り値が可変である絞りを備える撮像手段を有する。撮像装置３０１は図５に示す撮影方法により、撮影時の絞り値が異なる複数の画像を撮影する。このようにして取得された複数の画像は、通信部３０３を介して画像処理装置３０２に入力される。画像処理装置３０２に入力された画像は、撮影時の絞り値に関する情報と共に記憶部３０４に記憶される。

画像処理部３０５は、記憶部３０４から合成に用いるための複数の画像を取得し、各画像に対して像高毎の重みを決定する。ただし、各画像の重みは、撮像装置３０１で決定して、画像と共に記憶部３０４に記憶させておいても良い。この場合、画像処理部３０５は記憶部３０４から合成に用いるための複数の画像と共に、各画像の像高毎の重みに関する情報を取得する。

次に画像処理部３０５は、各画像に対して決められた重みを用いて各画像を合成する。これによって、ボケ像の形状の変化を低減した画像を得ることができる。

合成後の画像は記憶部３０４に記憶される。通信部３０３を介して表示装置３０７、記憶媒体３０８、出力装置３０７の少なくとも１つに合成後の画像を出力しても良い。

ここで、表示装置３０７とは液晶ディスプレイやプロジェクタ等である。ユーザは、表示装置３０７を介して、処理途中の画像を確認しながら作業を行うことができる。また、記憶媒体３０８とは半導体メモリ、ハードディスク、ネットワーク上のサーバ等である。また、出力装置３０９とはプリンタなどである。

［実施例４］
本実施例では、本発明の画像処理方法を撮像システム４００に適用した例について説明する。本実施例の撮像システム４００では、撮像装置４０１に無線で接続されたサーバに、撮像装置４０１が画像を転送し、サーバ内で画像処理を行うことによってボケ像の形状の変化を低減した画像を得る。図１２は撮像システム４００のブロック図である。

サーバ４０３は、通信部４０４を有しており、ネットワーク４０２を介して撮像装置４０１に接続されている。撮像装置４０１において撮影が行われると、撮影によって得られた画像は、自動的に或いはユーザの操作によってサーバ４０３に入力される。

サーバ４０３に入力された画像は、撮影時の絞り値に関する情報と共にサーバ４０３の記憶部４０５に記憶される。サーバ４０３の画像処理部４０６は、記憶部４０５から合成に用いるための複数の画像を取得し、各画像に対して像高毎の重みを決定する。ただし、各画像の像高毎の重みは、撮像装置４０１で決定して、画像と共に記憶部４０５に記憶させておいても良い。この場合、画像処理部４０６は記憶部４０５から合成に用いるための複数の画像と共に、各画像の像高毎の重みに関する情報を取得する。

次に画像処理部４０６は、各画像に対して決められた重みを用いて各画像を合成する。これによって、ボケ像の形状の変化を低減した画像を得ることができる。

合成後の画像は記憶部４０５に記憶される。合成後の画像は、通信部４０４及びネットワーク４０２を介して撮像装置４０１に出力しても良い。

以上、本発明を実施するための実施例について説明したが、本発明はこれらの実施例に限定されるものではなく、その要旨の範囲内で様々な変形及び変更が可能である。

１４０ 画像処理部（画像処理装置）
１４０ａ 取得手段
１４０ｃ 合成手段

Claims (13)

1. 絞り値を異ならせて撮影された複数の画像を取得する取得手段と、
   前記取得手段で取得した複数の画像を像高毎に重みを付けて合成する合成手段とを有し、
   前記複数の画像は、第１の画像と、前記第１の画像よりも大きな絞り値で撮影された第２の画像とを含み、
   前記第２の画像の前記重みが最大となる像高は、前記第１の画像の前記重みが最大となる像高よりも高いことを特徴とする画像処理装置。
2. 前記複数の画像のそれぞれについて撮影時の絞り値に基づいて像高毎に重みを決定する決定手段を有し、
   前記決定手段は、撮影時の絞り値が大きい画像ほど、前記重みが最大となる像高が高くなるように前記重みを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記複数の画像と共に、前記複数の画像のそれぞれに対する像高毎の重みに関する情報を取得することを特徴とする請求項１に記載の画像処理装置。
4. 前記複数の画像の枚数をＮ、前記複数の画像を撮影時の絞り値が小さい順に並べたときの順番をｉとしたときのｉ番目の画像について、
   ０より大きな重みが付けられる像高の上限をｈ_{ｉ，ｍａｘ}、０より大きな重みが付けられる像高の下限をｈ_{ｉ，ｍｉｎ}としたとき、
   ｈ_{ｉ，ｍａｘ}＞ｈ_{ｉ＋１，ｍｉｎ} （１≦ｉ≦Ｎ−１）
   なる条件式を満たすことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記複数の画像のそれぞれについて、露光時間と、ＩＳＯ感度と、絞り値と、他の画像の輝度値と、の少なくとも１つに基づいて輝度値を調整する調整手段を更に有することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 絞り値が可変である絞りを備える撮像手段と、前記撮像手段によって撮影された画像を処理する画像処理部とを有する撮像装置であって、
   前記撮像手段は、絞り値を異ならせて撮影された複数の画像を出力し、
   前記画像処理部は、
   前記複数の画像を取得する取得手段と、
   前記取得手段で取得した複数の画像のそれぞれについて像高毎に重みを決定する決定手段と、
   前記重みに基づいて前記複数の画像を合成する合成手段とを有し、
   前記複数の画像は、第１の画像と、前記第１の画像よりも大きな絞り値で撮影された第２の画像とを含み、
   前記決定手段は、前記第２の画像の前記重みが最大となる像高が、前記第１の画像の前記重みが最大となる像高よりも高くなるように前記重みを決定することを特徴とする撮像装置。
7. 前記撮像装置は前記絞り値を制御する制御部を有しており、
   絞り値がＦであるときにｈなる像高に結像する光束の前記絞りの位置におけるメリジオナル方向の幅をサジタル方向の幅で除した値をＷ（ｈ，Ｆ）、前記複数の画像の枚数をＮ、前記複数の画像を撮影時の絞り値が小さい順に並べたときのｉ番目の絞り値をＦ_ｉ、最大像高をｈ_ｍａｘとし、
   Ｗ（ｈ，Ｆ_１）＝Ｗ（０，Ｆ_１）−ｉ｛Ｗ（０，Ｆ_１）−Ｗ（ｈ_ｍａｘ，Ｆ_１）｝／（Ｎ＋１） （１≦ｉ≦Ｎ）
   なる条件式を満たすｈをｈ_ｉとしたとき、
   前記制御部は、前記ｉ番目の絞り値が
   Ｗ（ｈ_ｉ，Ｆ_ｉ−１）＜Ｗ（ｈ_ｉ，Ｆ_ｉ）≦１ （２≦ｉ≦Ｎ）
   なる条件式を満たすように前記絞りを制御することを特徴とする請求項６に記載の撮像装置。
8. 前記ｉ番目の画像において、前記重みが最大となる像高をｈ_ｉ，ｇとするとき、
   ｈ_ｉ−１＜ｈ_ｉ，ｇ＜ｈ_ｉ＋１ （２≦ｉ≦Ｎ−１）
   なる条件式を満たすことを特徴とする請求項７に記載の撮像装置。
9. 前記撮像手段は、前記複数の画像のそれぞれの露出量が一定となるように露光時間とＩＳＯ感度のうち少なくとも一方を調整して撮影することを特徴とする請求項６乃至８のいずれか一項に記載の撮像装置。
10. 前記複数の画像のそれぞれについて、露光時間と、ＩＳＯ感度と、絞り値と、他の画像の輝度値の少なくとも１つに基づいて輝度値を調整する調整手段を有することを特徴とする請求項６乃至８のいずれか一項に記載の撮像装置。
11. 絞り値を異ならせて撮影された複数の画像を取得する取得ステップと、
    前記取得ステップで取得した複数の画像を像高毎に重みを付けて合成する合成ステップとを有し、
    前記複数の画像は、第１の画像と、前記第１の画像よりも大きな絞り値で撮影された第２の画像とを含み、
    前記第２の画像の前記重みが最大となる像高は、前記第１の画像の前記重みが最大となる像高よりも高いことを特徴とする画像処理方法。
12. 絞り値が可変である絞りを備え、絞り値を異ならせて撮影された複数の画像を出力する撮像手段と、
    前記複数の画像を取得する取得手段と、
    前記取得手段で取得した複数の画像のそれぞれについて像高毎に重みを決定する決定手段と、
    前記重みに基づいて前記複数の画像を合成する合成手段とを有し、
    前記複数の画像は、第１の画像と、前記第１の画像よりも大きな絞り値で撮影された第２の画像とを含み、
    前記決定手段は、前記第２の画像の前記重みが最大となる像高が、前記第１の画像の前記重みが最大となる像高よりも高くなるように重みを決定することを特徴とする画像処理システム。
13. 絞り値を異ならせて撮影された複数の画像を取得する取得ステップと、
    前記取得ステップで取得した複数の画像を像高毎に重みを付けて合成する合成ステップとをコンピュータに実行させる画像処理プログラムであって、
    前記複数の画像は、第１の画像と、前記第１の画像よりも大きな絞り値で撮影された第２の画像とを含み、
    前記第２の画像の前記重みが最大となる像高は、前記第１の画像の前記重みが最大となる像高よりも高いことを特徴とする画像処理プログラム。

Images