JP4934992B2 - 画像処理装置、電子カメラおよび画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、電子カメラおよび画像処理プログラムに関する。

従来より、電子カメラにより生成された画像において、デジタル画像処理技術を利用して構図を調整する方法が考えられている（例えば、特許文献１参照）。特許文献１の技術では、様々な構図のパターンを予めデータベースとして記録しておき、このデータベースに基づいて、画像を部分的に拡大または縮小して構図を調整している。
特許第３０３４２４４号

しかし、上述した技術では、様々な構図のパターンを有するデータベースを予め用意しなければならない。また、データベースのパターンに適合しない画像については、好ましい構図の調整が困難である。
本発明は、被写体に応じた好ましい構図の画像を得ることを目的とする。

本発明の画像処理装置は、処理対象の画像を取得する取得部と、前記画像を、該画像内に含まれる被写体ごとの複数の被写体領域に分割する分割部と、前記画像の撮像時の撮像条件と、前記画像の画像情報との少なくとも一方に基づいて、前記画像の所定の位置ごとに距離情報を抽出する抽出部と、前記分割部により分割した前記被写体領域ごとに、その被写体領域の画像を拡大または縮小する倍率を、前記抽出部により抽出した前記距離情報に応じて決定する決定部とを備える。

本発明の電子カメラは、被写体像を撮像して画像を生成する撮像部と、上述した何れかの画像処理装置とを備え、前記取得部は、前記撮像部から前記画像を取得する。

本発明の画像処理プログラムは、処理対象の画像を取得する取得ステップと、前記処理対象の画像を、該画像内に含まれる被写体ごとの複数の被写体領域に分割する分割ステップと、前記画像の撮像時の撮像条件と、前記画像情報との少なくとも一方に基づいて、前記画像の所定の位置ごとに距離情報を抽出する抽出ステップと、前記分割ステップにより分割した前記被写体領域ごとに、その被写体領域の画像を拡大または縮小する倍率を、前記抽出ステップにおいて抽出した前記距離情報に応じて決定する決定ステップとをコンピュータに実現させる。

本発明によれば、被写体に応じた好ましい構図の画像を得ることができる。

以下、図面を用いて実施形態について説明する。本実施形態では、電子カメラの一例として、コンパクトカメラを用いて説明を行う。なお、本実施形態の技術を一眼レフデジタルカメラ、動画撮影機能を備えた電子カメラなどに適用するようにしても良い。
図１は、本実施形態の電子カメラ１００の機能ブロック図である。図１に示すように、電子カメラ１００は、撮影レンズ１、撮影レンズ１を駆動する撮影レンズ駆動部２、画像を撮像する撮像部３、色補正、サイズ変更、圧縮および画像合成などを行う画像処理部４、画像を記録する記録部５、ユーザ操作を受け付ける操作部６、画像やメニュー画面などを表示するとともに、予備撮像時にスルー画を表示することによりビューファインダとしても使用可能な表示部７、コンピュータなどの外部機器と相互に接続可能な外部インタフェース部８、各部を制御するＣＰＵ９を備える。

撮像部３は、不図示のシャッタ、光電変換手段であるＣＣＤ、Ａ／Ｄ変換部などを備え、操作部６は、不図示の電源ボタンやレリーズボタンなどを備える。
撮像部３、画像処理部４、記録部５、外部インタフェース部８は、バスを介してＣＰＵ９と相互に接続される。また、ＣＰＵ９はバスを介して操作部６の状態を検知する。また、ＣＰＵ９の出力は、撮影レンズ駆動部２に接続されるとともに、バスを介して表示部７にも接続される。ＣＰＵ９は、内部にメモリ１０を備え、メモリ１０に各制御プログラムを予め記録している。

撮影時には、被写体からの光束は撮影レンズ１により撮像部３の不図示のＣＣＤの撮像面上に結像される。そして、撮像部３は、撮像した画像信号をＡ／Ｄ変換し、画像処理部４により画像処理が施された後に記録部５に記録される。また、ＣＰＵ９は、撮像部３の不図示のＣＣＤにより生成された画像に基づいて、焦点検出を行い、焦点検出の結果に基づいて、撮影レンズ駆動部２、撮影レンズ１を順に制御してＡＦ動作を行う。

図２に、構図の調整が有効な被写体の例を示す。図２に示すように、手前に主要被写体である人物Ａが存在し、その後方に背景の被写体である木Ｂが存在し、さらに後方に別の被写体である城Ｃが存在する。一般に、このような被写体の撮影において、主要被写体である人物Ａとともに写し込みたい背景の被写体が、遠方に存在する場合が多い。これは、図２に示す城Ｃや山脈などの背景の被写体が、主要被写体と離れた位置に存在し、かつ、近づくことができない場合が多いためである。このような場合、撮像により生成された画像において、背景の被写体が主要被写体に比べて小さくなるため、好ましい構図の画像を得ることができない。そこで、構図の調整が有効となる。以下に、撮影時に被写体に応じた適切な構図の調整を行う際の電子カメラ１００の動作について説明するが、この処理は、ユーザ操作に応じて実行するようにしても良いし、この処理を行う撮影モードを備えるようにしても良い。

電子カメラ１００の撮影時の動作について、図３に示すフローチャートを用いて説明する。図３のフローチャートでは、操作部６の不図示のレリーズボタンを介して撮影開始が指示された場合の動作について説明する。
ステップＳ１において、ＣＰＵ９は、各部を介して撮像を行う。なお、ＣＰＵ９は後述する距離情報の抽出のため、少なくとも２回撮像を行い、生成した画像をメモリ１０に一時記録する。

ステップＳ２において、ＣＰＵ９は、画像処理部４を介して、ステップＳ１の撮像により生成した画像を複数の領域に分割する。画像処理部４は、撮像により生成された複数の画像のうち１枚の画像（例えば、最初に撮像された画像）をメモリ１０から読み出し、各画素の色情報、コントラスト、ＡＦ情報などに基づいて、複数の領域に分割する。ここでは、図２に示す画像において、人物Ａ、木Ｂ、城Ｃ、それ以外の部分の４つの領域に分割されたものとして以降の説明を行う。

ステップＳ３において、ＣＰＵ９は、ステップＳ１の撮像により生成した画像の所定の位置（以下、「距離抽出点」と称する）における距離情報を抽出する。ＣＰＵ９は、撮像により生成された複数の画像のうち、連続して生成された２枚の画像をメモリ１０から読み出し、後述する方法で距離情報を抽出する。
図４を用いて、複数の被写体（被写体ａ、被写体ｂ）の距離情報の抽出について説明する。図４に示すように、被写体ａは、被写体ｂよりもＣＣＤ３ａの撮像面に近い位置に存在する。そして、ＣＣＤ３ａの撮像面から被写体ａまでの距離をＤａ、ＣＣＤ３ａから被写体ｂまでの距離をＤｂとする。撮影レンズ１（図１参照）によりＣＣＤ３ａの撮像面に結像される被写体の位置は、撮像時の振動（例えば、手ブレ）により移動する場合がある。図４に示すように、２回の連続した撮像の間に電子カメラ１００が位置１から位置２まで距離ｄだけ移動した場合、被写体ａおよび被写体ｂのＣＣＤ３ａの撮像面における結像位置は、それぞれｄａおよびｄｂだけ移動する。撮影レンズ１の瞳位置からＣＣＤ３ａの撮像面までの距離をＤｏとすると、以下の関係が成り立つ。

ｄａ＝ｄ×（Ｄｏ／Ｄａ）・・・（式１）
ｄｂ＝ｄ×（Ｄｏ／Ｄｂ）・・・（式２）
式１、式２に示すように、ＣＣＤ３ａから被写体までの距離Ｄａ、Ｄｂは、結像位置の移動距離ｄａ、ｄｂとそれぞれ反比例する。例えば、Ｄａ＝１ｍ、Ｄｂ＝１０ｍ、Ｄｏ＝４０ｍｍ、ｄ＝５ｍｍとすると、ｄａ＝５×（４０／（１×１０００））＝０．２ｍｍ、ｄｂ＝５×（４０／（１０×１０００））＝０.０２ｍｍとなる。

例えば、ＣＣＤ３ａの画素サイズを２.５μｍとすると、距離ｄａに対応する移動画素数は、０．２／（２．５／１０００）＝８０pixel、また、距離ｄｂに対応する移動画素数は、０．０２／（２．５／１０００）＝８pixelとして算出される。ＣＣＤ３ａの撮像面に結像された位置が撮像時の手ブレにより移動する距離は、被写体からＣＣＤ３ａの撮像面（デジタルカメラ１００）までの距離が近いほど大きい。この距離ｄａ、ｄｂは、連続して撮像された２枚の画像間で、被写体ａ、被写体ｂに対応する画素がそれぞれ移動した量（動きベクトル量）に等しい。したがって、ＣＰＵ９は、この動きベクトル量を算出して、式１および式２に代入することにより、ＣＣＤ３ａの撮像面から被写体ａまでの距離ＤａおよびＣＣＤ３ａの撮像面から被写体ｂまでの距離Ｄｂを算出する。

ＣＰＵ９は、予め定められた複数の距離抽出点において、距離を抽出する。なお、距離抽出点は、ＣＣＤ３ａ上の全画素に定めても良いし、数pixelごとに定めても良い。そして、ＣＰＵ９は、ステップＳ２で分割した領域ごとに、その領域に含まれる距離抽出点において抽出した距離の代表値を求める。例えば、人物Ａは、凹凸を有するため、人物Ａの領域に含まれる複数の距離抽出点では、抽出された距離にはばらつきがある。このばらつきを平均化するために、距離の代表値を求める。代表値は、その領域に含まれる距離抽出点において抽出した距離の平均値としても良いし、正規分布に基づいて決定しても良い。

上述した距離抽出および代表値の算出により、図５に示すように、ＣＣＤ３ａから人物Ａの領域までの距離の代表値がＤＡ、ＣＣＤ３ａから木Ｂの領域までの距離の代表値がＤＢ、ＣＣＤ３ａから城Ｃの領域までの距離の代表値がＤＣと算出されたものとして、以下の説明を行う。
ステップＳ４において、ＣＰＵ９は、ステップＳ３で抽出した距離情報に基づいて、ステップＳ２で分割した領域ごとに、その領域の画像を拡大または縮小する倍率を決定する。ＣＰＵ９は、まず、ステップＳ２で分割した領域のうち、主要被写体を含む領域を判別する。主要被写体は、ＡＦ情報などを基に判別することができる。本実施形態では、人物Ａの領域が主要被写体を含む領域と判別されたものとして、以下の説明を行う。

ＣＰＵ９は、主要被写体を含む領域を基準として、その他の領域について、その領域の画像を拡大または縮小する倍率を決定する。まず、主要被写体を含む領域以外の領域においてステップＳ３で算出した距離の代表値と、予め定められた閾値距離とを比較する。そして、距離の代表値が閾値距離よりも大きい領域については、その領域の距離の代表値を閾値距離に置き換える。すなわち、距離の代表値が閾値距離よりも大きい領域については、ステップＳ３で算出した代表値を採用せず、最も後方に存在する背景の一部分として以下の処理を行う。なお、閾値距離は、電子カメラ１００から十分遠い位置までの距離であり、ユーザ操作に応じて定めるようにしても良い。以下では、閾値距離をＤＬとして説明を行う。

ＣＰＵ９は、主要被写体を含む領域よりも距離の代表値が大きく、かつ、閾値距離よりも距離の代表値が小さい領域のそれぞれについて、次式を用いて拡大率ｒを算出する。本実施形態では、木Ｂの領域および城Ｃの領域のそれぞれについて、 拡大率ｒを算出する。

ただし、０＜ｒ＜１００。
式３において、Ｄｘは、その領域においてステップＳ３で算出した距離の代表値を示し、木Ｂの領域ではＤＢ、城Ｃの領域ではＤＣである。また、ＤＡは、主要被写体を含む領域においてステップＳ３で算出した距離の代表値である。
次に、ＣＰＵ９は、拡大率ｒを算出した領域ごとに、拡大または縮小する倍率Ｒを次式を用いて算出する。

式４において、ＤＬは、閾値距離であり、ＤＡは、主要被写体を含む領域においてステップＳ３で算出した距離の代表値である。また、ｒは、上述した拡大率である。
ＣＰＵ９は、領域ごとに拡大または縮小する倍率Ｒを算出すると、まず、主要被写体を含む領域が、他の領域と接しているか否かを判別する。そして、主要被写体を含む領域が、他の領域と接している場合には、主要被写体を含む領域と接している領域の倍率Ｒを１とする。すなわち、主要被写体を含む領域と接している領域に関しては、その領域の画像の拡大または縮小を禁止する。これは、後述する合成の際に、主要被写体を含む領域の近傍で、不自然な画像の欠落が発生するのを防ぐためである。

次に、ＣＰＵ９は、主要被写体を含む領域以外の領域のうち、互いに接している領域があるか否かを判別する。そして、互いに接している領域がある場合には、互いに接している領域のうち、距離の代表値が大きい方の領域の倍率Ｒを、距離の代表値が小さい方の領域の倍率Ｒに合わせる。すなわち、主要被写体を含む領域以外の領域のうち、互いに接している領域に関しては、双方の領域の画像を拡大または縮小する倍率を同じにする。これは、後述する合成の際に、領域の境目が不自然になるのを防ぐためである。なお、距離の代表値が大きい方の領域の倍率Ｒを、小さい方の領域の倍率Ｒに合わせた方がより自然な画像になる。

ステップＳ５において、ＣＰＵ９は、画像処理部４を介して、ステップＳ４で決定した倍率Ｒに基づいて、ステップＳ２で分割した領域ごとに、その領域の画像のサイズを変更する。画像処理部４は、ステップＳ２で読み出した画像から、ステップＳ４で倍率Ｒを決定した領域ごとに、その領域の画像を切り出し、ステップＳ４で決定した倍率Ｒで画像のサイズを変更する。サイズの変更については、公知技術と同様に行う。

ステップＳ６において、ＣＰＵ９は、画像処理部４を介して、ステップＳ５でサイズ変更した領域ごとの画像を合成して、合成画像を生成する。なお、合成処理においては、加算処理ではなく置き換え処理を行うのが好ましい。画像処理部４は、まず、ステップＳ２で読み出した画像から、ステップＳ４で倍率Ｒを決定した領域の画像と主要被写体を含む領域の画像とを除去し、除去後の画像を背景画像として、合成処理を行う。画像処理部４は、背景画像に対して、ステップＳ４で倍率Ｒを決定した領域のうち、距離の代表値が最も大きい領域の画像を合成する。本実施形態では、ステップＳ５でサイズ変更を行った後の城Ｃの領域の画像を、背景画像に対して合成する。次に、画像処理部４は、合成後の画像に対して、ステップＳ４で倍率Ｒを決定した領域のうち、距離の代表値が次に大きい領域の画像を合成する。本実施形態では、ステップＳ５でサイズ変更を行った後の木Ｂの領域の画像を、背景画像と城Ｃの領域の画像とを合成した画像に対して合成する。さらに、画像処理部４は、主要被写体を含む領域の画像を合成する。本実施形態では、人物Ａの領域の画像を、背景画像と城Ｃの領域の画像と木Ｂの領域の画像とを合成した画像に対して合成する。

なお、合成に際しては、各々の領域において、サイズ変更前と後で領域の中心が重なるように合成処理を行う。図６Ａに基の画像（図３ステップＳ１の撮像により生成された画像）を示し、図６Ｂに合成後の画像を示す。図６Ａにおける木Ｂの領域の中心ＰＢと図６Ｂにおける木Ｂの領域の中心ＰＢ’とが一致し、図６Ａにおける城Ｃの領域の中心ＰＣと図６Ｂにおける城Ｃの領域の中心ＰＣ’とが一致するように合成を行う。また、図６Ｂの破線Ｈ１で囲まれた領域のように、画像からはみ出る部分については、図６Ｃに示すように、除去すれば良い。また、図６Ｂの破線Ｈ２で囲まれた領域のように、合成の際に重なる部分については、図６Ｃに示すように、手前に存在する領域（人物Ａの領域）の画像が優先される。なお、最終的な合成画像に対して、輪郭をぼかす処理などの処理をさらに行うようにしても良い。

ステップＳ７において、ＣＰＵ９は、ステップＳ６で生成した合成画像を記録部５に記録し、一連の処理を終了する。なお、ステップＳ１の撮像により生成された画像を、合成画像とともに記録するようにしても良いし、合成画像のみを記録し、ステップＳ１の撮像により生成された画像を削除するようにしても良い。
以上説明したように、本実施形態によれば、撮像時の撮像条件と、撮像により生成した画像の画像情報との少なくとも一方に基づいて、画像を複数の領域に分割するとともに、撮像条件と、画像情報との少なくとも一方に基づいて、撮像により生成した画像の所定の位置ごとに距離情報を抽出する。そして、抽出した距離情報に基づいて、分割した領域ごとに、その領域の画像を拡大または縮小する倍率を決定する。したがって、撮像により生成された画像において、被写体に応じた適切な構図の調整が可能な倍率を決定することができる。

また、本実施形態によれば、決定した倍率に基づいて、分割した領域ごとに、その領域の画像を拡大または縮小し、拡大または縮小した複数の領域ごとの画像を合成する。したがって、被写体に応じた適切な構図の調整が可能である。
また、本実施形態によれば、距離情報の抽出の際に、分割した領域ごとに、その領域を代表する距離情報を抽出する。したがって、同一の領域内の画像を拡大または縮小する倍率を同様にすることにより、自然な合成画像を生成することができる。

また、本実施形態によれば、倍率の決定の際に、距離情報に加えて、複数の領域の相対的な位置関係に基づいて、分割した領域ごとに、その領域の画像を拡大または縮小する倍率を決定する。したがって、拡大または縮小後の画像に、不自然な画像の欠落が発生するのを防ぐことができる。
また、本実施形態によれば、画像の合成の際に、距離情報に応じて、拡大または縮小した複数の領域ごとの画像を合成する。したがって、画像の合成の際に、領域の境目が不自然になるのを防ぐことができる。

なお、本実施形態では、主要被写体を含む領域より後方にのみ、サイズ変更の対象となる領域が存在する例を示したが、主要被写体を含む領域より前方にサイズ変更の対象となる領域が存在する場合にも、本発明を同様に適用することができる。すなわち、主要被写体を含む領域より前方に存在する領域の画像を、距離情報に基づいて縮小し、合成処理を行う。なお、合成の際には、主要被写体を含む領域より前方に存在する領域を優先して合成処理を行えば、より自然な合成画像を生成することができる。

また、本実施形態において説明した距離情報の算出は、一例であり、他の方法を用いても良い。例えば、本実施形態では、操作部６の不図示のレリーズボタンを介して撮影開始が指示された場合に、複数回撮像を行う例を示したが、撮影開始前に取得したスルー画像を使用して、距離情報を算出するようしても良い。また、式１および式２以外の式を用いて距離情報を算出するようしても良い。また、画像のエッジや色情報などに基づいて距離情報を算出するようしても良い。また、顔認識技術を適用して距離情報を算出するようしても良い。なお、顔認識の結果を、図３のステップＳ４で説明した主要被写体を含む領域の判別に利用しても良い。

また、本実施形態では、図３のフローチャートを用いて説明したように、ステップＳ２で画像を分割した後にステップＳ３で距離情報を抽出する例を示したが、距離情報を先に抽出し、抽出した距離情報も加味して画像を分割するようにしても良い。
また、本実施形態において説明した拡大率ｒおよび倍率Ｒの算出は、一例であり、他の方法を用いても良い。例えば、式３および式４以外の式を用いて拡大率ｒおよび倍率Ｒを算出するようしても良い。

また、本実施形態では、電子カメラを例に挙げて説明を行ったが、電子カメラの行った処理の一部（例えば、図３のステップＳ２〜ステップＳ７の処理の一部）をコンピュータで実現するようにしても良い。この場合、コンピュータには、上述した処理を実行するための画像処理プログラムを予めインストールしておくとともに、画像を取得するか、または、画像とその画像が撮像された際の撮像条件を示す情報をタグ情報などのかたちで取得するようにすれば良い。また、画像の分割、倍率の決定、画像の合成に際しては、処理の内容をユーザに確認したり、ユーザ操作に応じて画像の分割、倍率の決定、画像の合成の処理内容を変更する構成としても良い。

電子カメラ１００の機能ブロック図である。 構図の調整が有効な被写体の例を示す図である。 電子カメラ１００の動作を示すフローチャートである。 距離情報の抽出について説明する図である。 距離情報の抽出について説明する別の図である。 画像の合成について説明する図である。

符号の説明

１，撮影レンズ ３，撮像部 ４，画像処理部 ６，操作部 ９，ＣＰＵ １００，電子カメラ

Claims (9)

1. 処理対象の画像を取得する取得部と、
   前記画像を、該画像内に含まれる被写体ごとの複数の被写体領域に分割する分割部と、
   前記画像の撮像時の撮像条件と、前記画像の画像情報との少なくとも一方に基づいて、前記画像の所定の位置ごとに距離情報を抽出する抽出部と、
   前記分割部により分割した前記被写体領域ごとに、その被写体領域の画像を拡大または縮小する倍率を、前記抽出部により抽出した前記距離情報に応じて決定する決定部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記決定部は、前記距離情報と、複数の前記被写体領域の前記画像における位置関係に基づいて、前記分割部により分割した前記被写体領域ごとに、前記倍率を決定する
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記分割部により分割した複数の前記被写体領域のうち、主要被写体を含む被写体領域を判別する判別部を備え、
   前記決定部は、前記主要被写体を含む被写体領域の画像を拡大または縮小する倍率を基準として、前記主要被写体を含む被写体領域以外の被写体領域について、その被写体領域における前記倍率を決定する
   ことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記決定部は、前記主要被写体を含む被写体領域と接している被写体領域における前記倍率を１とすることにより、前記主要被写体を含む被写体領域と接している被写体領域の画像の拡大または縮小を禁止する
   ことを特徴とする画像処理装置。
5. 請求項３または請求項４に記載の画像処理装置において、
   前記決定部は、前記主要被写体を含む被写体領域以外の被写体領域のうち、互いに接している被写体領域について、一方の被写体領域における前記倍率を、他方の被写体領域における前記倍率と等しく決定する
   ことを特徴とする画像処理装置。
6. 請求項１から請求項５の何れか１項に記載の画像処理装置において、
   前記決定部により決定した前記倍率に基づいて、前記分割部により分割した前記被写体領域ごとに、その被写体領域の画像を拡大または縮小するサイズ変更部と、
   前記サイズ変更部により拡大または縮小した複数の前記被写体領域ごとの画像を合成する合成部とをさらに備えた
   ことを特徴とする画像処理装置。
7. 被写体像を撮像して画像を生成する撮像部と、
   請求項１から請求項６の何れか１項に記載の画像処理装置とを備え、
   前記取得部は、前記撮像部から前記画像を取得する
   ことを特徴とする電子カメラ。
8. 請求項７に記載の電子カメラにおいて、
   前記撮像部は、前記被写体像を撮像して構図確認用のスルー画像を生成し、
   前記抽出部は、前記スルー画像に基づいて前記距離情報を抽出する
   ことを特徴とする電子カメラ。
9. 処理対象の画像を取得する取得ステップと、
   前記処理対象の画像を、該画像内に含まれる被写体ごとの複数の被写体領域に分割する分割ステップと、
   前記画像の撮像時の撮像条件と、前記画像情報との少なくとも一方に基づいて、前記画像の所定の位置ごとに距離情報を抽出する抽出ステップと、
   前記分割ステップにより分割した前記被写体領域ごとに、その被写体領域の画像を拡大または縮小する倍率を、前記抽出ステップにおいて抽出した前記距離情報に応じて決定する決定ステップとをコンピュータに実現させる
   ことを特徴とする画像処理プログラム。

Images