JP5166230B2 - 画像処理装置および方法並びにプログラム - Google Patents

Description

本発明は、被写体を撮影して得た複数の画像を位置合わせして合成する処理に適した画像処理装置および方法並びにプログラムに関するものである。

従来、デジタルカメラ等の撮像装置において、撮影者の手ブレや被写体の動き等に起因して生じる画像のブレを低減するために、像ブレが生じない程度の短い露光時間で複数回の撮影を連続して行い、あるいは複眼カメラにより異なる視点から視差のある複数の画像を同時に撮影し、その撮影により取得された複数の画像をそれぞれ位置合わせして合成する技術が知られている。

特許文献１には、複数の画像のうち基準となる第１の画像における複数の特徴点を抽出し、第２の画像における、第１の画像で抽出された各特徴点に対応する対応点を取得し、その対応点が第１の画像上での対応する特徴点に一致するように、第２の画像の各画素の位置を座標変換し、第１の画像および座標変換された第２の画像を合成することが提案されている。

この座標変換は、第２の画像を隣接する３つの対応点を頂点とする複数の三角パッチに分割し、その各対応点が第１の画像上での対応する特徴点に重なるように、その各三角パッチをアフィン変換することにより行われる（特許文献２参照）。
特開２００４−３５７０２号公報 特開２０００−１５５８３１号公報

上記座標変換手法では、三角パッチの頂点をなす３つの対応点とその各対応点が対応する特徴点との位置関係に基づいて、その三角パッチ内部の全画素がアフィン変換される。このため、各三角パッチの内部における画像の局所的な変形が正しく反映されず、座標変換後の画像が不自然に変形されてしまう場合が生じる。例えば静止した背景の中で動いている車を連続撮影して得られた２の画像を位置合わせして合成しようとした場合、大きく変形が生じる車領域と静止した背景領域との境界部分において画像間の対応誤差が大きくなり、車の輪郭が不自然に変形されてしまう可能性が高い。

一般的には抽出する特徴点の数を増やすことにより、つまり画像を分割する三角パッチの大きさを充分に小さくすることにより、画像間の対応誤差を低減させることは可能であるが、計算処理の量も著しく増加してしまうという不都合がある。

本発明は、上記事情に鑑み、計算負荷を軽減しつつ、特定の被写体の輪郭が不自然に変形されてしまうことを防止できる画像処理装置および方法並びにプログラムを提供することを目的とするものである。

本発明の第１の画像処理装置は、複数の画像において基準となる基準画像を設定する基準画像設定手段と、基準画像設定手段により設定された基準画像から特定の被写体を検出する検出手段と、検出手段により検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、基準画像における複数の特徴点を抽出する特徴点抽出手段と、複数の画像のうち基準画像以外の他の画像における、特徴点抽出手段により抽出された各特徴点に対応する対応点を取得する対応点取得手段と、各特徴点の位置と、その各特徴点に対応する対応点の位置が一致するように、基準画像および／または他の画像の各画素の位置を座標変換する座標変換手段を備えたことを特徴とするものである。

上記装置において、複数の画像は３以上の画像であり、座標変換手段は、対応点取得手段により取得された対応点の位置が対応する特徴点の位置に一致するように、他の画像の各画素の位置を座標変換するものであってもよい。

本発明の第２の画像処理装置は、３以上の画像から、その各画像がそれぞれ少なくとも１組の画像群に含まれるように、２組以上の画像群を設定する画像群設定手段と、３以上の画像において最終基準となる最終基準画像を設定するとともに、画像群設定手段により設定された各画像群において基準となる基準画像を設定する基準画像設定手段と、各画像群において、基準画像設定手段により設定された基準画像から特定の被写体を検出する検出手段と、検出手段により検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、基準画像における複数の特徴点を抽出する特徴点抽出手段と、各画像群において、基準画像以外の他の画像における、特徴点抽出手段により抽出された各特徴点に対応する対応点を取得する対応点取得手段と、基準画像を最終基準画像に位置合わせするための座標変換関数を取得する変換関数取得手段と、対応点取得手段により取得された対応点の位置が対応する特徴点の位置に一致するように、他の画像の各画素の位置を座標変換するとともに、座標変換してなる座標変換済み画像の各画素の位置を、変換関数取得手段により取得された座標変換関数を用いて座標変換する座標変換手段とを備えたことを特徴とするものである。

上記第２の画像処理装置において、複数の画像が順次取得されてなるものであり、画像群の設定が、連続して取得された２以上の画像が１組の画像群となるように、２組以上の画像群を設定するものであることが望ましい。

上記各装置において、特定の被写体は顔または動体であってもよい。この特定の被写体には、顔や動体に限らず、たとえば格子模様などその輪郭の変形におけるわずかなズレが、位置合わせの失敗として判断されてしまうようなものが広く含まれる。

また、特定の被写体は顔であり、検出手段は、検出枠内の画像が前記特定の被写体を表す画像であるか否かを識別する機能を有し、基準画像上に前記検出枠を走査させることにより前記検出を行うものであり、輪郭近傍領域は、検出枠から内側および／または外側に所定の幅を有する領域であってもよい。

また、輪郭近傍領域は、特定の被写体の輪郭から内側および／または外側に所定の幅を有する領域であってもよい。

本発明の第１の画像処理方法は、複数の画像において基準となる基準画像を設定し、設定された基準画像から特定の被写体を検出し、検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、基準画像における複数の特徴点を抽出し、複数の画像のうち基準画像以外の他の画像における、抽出された各特徴点に対応する対応点を取得し、各特徴点の位置と、その各特徴点に対応する対応点の位置が一致するように、基準画像および／または他の画像の各画素の位置を座標変換することを特徴とするものである。

本発明の第２の画像処理方法は、３以上の画像において最終基準となる最終基準画像を設定し、３以上の画像から、その各画像がそれぞれ少なくとも１組の画像群に含まれるように、２組以上の画像群を設定し、設定された画像群毎に、その画像群において基準となる基準画像を設定し、設定された基準画像から特定の被写体を検出し、検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、基準画像における複数の特徴点を抽出し、その画像群における基準画像以外の他の画像における、抽出された各特徴点に対応する対応点を取得し、取得された対応点の位置が対応する特徴点の位置に一致するように、他の画像の各画素の位置を座標変換し、基準画像を最終基準画像に位置合わせするための座標変換関数を取得し、座標変換してなる座標変換済み画像の各画素の位置を、取得された座標変換関数を用いて座標変換することを特徴とするものである。

なお、上記方法の各処理は、必ずしもこの順番で行われる必要はない。例えば最終基準画像を設定する処理は、すくなくとも基準画像を最終基準画像に位置合わせするための座標変換関数を取得する前に行われるようにすればよく、画像群の設定の前に限らず、例えば画像群の設定の後、基準画像の設定の後など、任意のタイミングで行われるようにしてもよい。座標変換関数を取得する処理も、すくなくとも基準画像と最終基準画像が設定されてからその座標変換関数を用いて座標変換を行う前までの間に行われるようにすれば足りる。

本発明の第１および第２の画像処理プログラムは、それぞれ上記第１および第２の画像処理方法をコンピュータに実行させるものである。

なお、上記第２の画像処理装置および方法並びにプログラムにおいて、「基準画像を最終基準画像に位置合わせする」とは、基準画像と最終基準画像上の互いに対応する点同士が一致するように、基準画像の各画素の位置を座標変換することをいう。

本発明の第１の画像処理装置および方法並びにプログラムによれば、複数の画像において基準となる基準画像を設定し、設定された基準画像から特定の被写体を検出し、検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、基準画像における複数の特徴点を抽出し、複数の画像のうち基準画像以外の他の画像における、抽出された各特徴点に対応する対応点を取得し、各特徴点の位置と、その各特徴点に対応する対応点の位置が一致するように、基準画像および／または他の画像の各画素の位置を座標変換することにより、不自然に変形されやすい特定の被写体の輪郭について他の領域よりも位置合わせの精度を向上させることができ、計算負荷を軽減しつつ、特定の被写体の輪郭が不自然に変形されてしまうことを防止できる。

また、本発明の第２の画像処理装置および方法並びにプログラムによれば、複数の画像において最終基準となる最終基準画像を設定し、複数の画像がそれぞれ少なくとも１組の画像群に含まれるように、前記複数の画像から１組以上の画像群を設定し、設定された画像群毎に、その画像群において基準となる基準画像を設定し、設定された基準画像から特定の被写体を検出し、検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、基準画像における複数の特徴点を抽出し、その画像群における基準画像以外の他の画像における、抽出された各特徴点に対応する対応点を取得し、取得された対応点の位置が対応する特徴点の位置に一致するように、他の画像の各画素の位置を座標変換し、基準画像を最終基準画像に位置合わせするための座標変換関数を取得し、座標変換してなる座標変換済み画像の各画素の位置を、取得された座標変換関数を用いて座標変換することにより、不自然に変形されやすい特定の被写体の輪郭について他の領域よりも位置合わせの精度を向上させることができ、計算負荷を軽減しつつ、特定の被写体の輪郭が不自然に変形されてしまうことを防止できる。

上記装置において、複数の画像が順次取得されてなるものであり、画像群の設定が、連続して取得された２以上の画像が１組の画像群となるように、２組以上の画像群を設定するものであれば、連続して取得されてなる画像の方が断続して取得された画像よりも画像間の類似度が高い傾向があるため、位置合わせを容易に高精度で行うことができるとともに、全画像の取得が完了することを待つことなく、順次処理を進めることができ、処理の高速化を図ることもできる。

また、特定の被写体が顔である場合、人の顔は輪郭の変形にわずかなズレがあっても、気づかれやすく、位置合わせの失敗として判断される傾向があることから、その輪郭について他の領域よりも位置合わせの精度を向上させることにより、位置合わせの失敗を減らすことができる。

また、特定の被写体が動体である場合にも、上述した通り、その輪郭が不自然に変形されてしまう可能性が高いことから、その輪郭について他の領域よりも位置合わせの精度を向上させることにより、位置合わせの失敗を減らすことができる。

以下、図面を参照して本発明の画像処理装置の実施の形態について説明する。なお、本発明の一実施形態である画像処理装置１は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ、あるいは撮影装置（たとえば連写撮影が可能なデジタルカメラ、複眼カメラ等）上で実行することにより実現される。このとき、この画像処理プログラムは、CD−ROM等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータ、あるいは撮影装置にインストールされる。

図１に示すように、画像処理装置１は、基準画像設定部30、特定被写体検出部40、特徴点抽出部50、対応点取得部60、および座標変換部70を備えている。

基準画像設定部30は、複数の画像P1〜Pnが入力されると、それらの複数の画像P1〜Pnのうちいずれか１つの画像を基準画像Psとして設定する。なお、基準画像Psは、後述する座標変換処理において他の画像を変形する際に基準となる画像であるため、つまり、他の画像がこの基準画像Psに重なるように変形されるため、各他の画像とのズレが全体的に少ない画像を基準画像Psとして設定することが好ましい。たとえば図２に示すように、連写により順次取得された複数の画像P1〜P5が入力された場合には、真ん中の画像P3を基準画像Psとして設定すればよい。また、複数の画像P1〜Pnが複眼カメラにより異なる視点から視差のある複数の画像を同時に撮影することにより取得されたものである場合には、略真ん中の視点から撮影された画像を基準画像Psとして設定すればよい。

特定被写体検出部40は、基準画像設定部30により設定された基準画像Psから特定の被写体が撮影されている領域を検出する。ここで、特定の被写体は、特定被写体検出部40に組み込まれている特定被写体検出用のプログラムで検出の対象としているものをいい、たとえば動体、人の顔、格子模様等である。ここで、動体はその画像の撮影時に動いている被写体をいう。以下、その検出手法の具体例について説明する。

特定の被写体が人の顔である場合、人の顔であることが分かっている複数のサンプル画像と人の顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群を、アダブーストのアルゴリズム等を用いて機械学習することにより、検出枠内の画像が人の顔を表す画像であるか否かを識別する識別器を生成し、対象画像上にその識別器の検出枠を少しずつ移動させ、移動した位置毎に検出枠内の画像が人の顔であるか否かを判別することにより、人の顔が撮影されている領域を検出する。

特定の被写体が動体である場合、たとえば図３に示すように、入力された複数の画像P21とP22の間で、各対応する画素の座標変化を動きベクトルとして求め、その動きベクトルの大きさが所定のしきい値を超える画素からなる領域を動体領域として検出する。図３の例では、画素Q3、Q4などの動きが大きい画素からなる車の領域が動体領域として検出される。なお、特定の被写体が動体である場合、たとえば図４に示すように、入力された複数の画像P31とP32のそれぞれについて特定の物体（例えば、車）を検出し、各画像P31とP32における特定の物体（車）の位置が異なる場合に、その領域を動体領域として検出することもできる。

特定の被写体が格子模様である場合、対象画像に対してハフ変換を行い、規則的、垂直的な線分が集中している領域を格子模様が撮影されている領域として検出する。

特徴点抽出部50は、特定被写体検出部40により検出された特定の被写体の輪郭近傍領域Ra（第１領域）が他の領域Rb（第２領域）よりも特徴点の平均密度が高くなるように、基準画像Psにおける複数の特徴点を抽出する。

ここで、輪郭近傍領域Ra（第１領域）は、例えば特定の被写体が人の顔であり、特定被写体検出部40が、検出枠Df内の画像が人の顔を表す画像であるか否かを識別する機能を有し、基準画像Ps上に検出枠Dfを走査させることにより人の顔を検出するものである場合、図５に示すような、顔の検出枠Dfから内側に一定の幅d１を有するとともに、外側に一定の幅d２を有する領域（斜線で表示）であってもよいし、図６に示すような、その検出枠Dfの中心点Cを中心とした半径ｒの円形の枠Cfから内側に一定の幅d１を有するとともに、外側に一定の幅d２を有する領域（斜線で表示）であってもよい。また、特定被写体検出部40が、人体固有の肌色情報に基づいて、基準画像Ps中の各画素が肌色領域を示す画素であるか否かを判断することにより顔領域を検出するものである場合には、その検出された顔領域の輪郭から内側および／または外側に所定の幅を有する領域であってもよい。

また、特定の被写体が動体であり、特定被写体検出部40が、動体領域を検出するものである場合、図７に示すような、その検出された動体の輪郭MOから内側に一定の幅d１を有するとともに、外側に一定の幅d２を有する領域（斜線で表示）であってもよい。

一方、他の領域Rb（第２領域）は、その画像中の輪郭近傍領域Ra（第１領域）以外の領域をいう。

特徴点抽出部50は、まず、各領域Ra、Rbについて、特徴点の平均密度を決定する。
領域Rbにおける特徴点の平均密度d2は、例えばd2＝1％など、事前に設定されているものとし、その平均密度d2に基づいて領域Raにおける特徴点の平均密度d1を算出する。具体的には、平均密度d2に事前に設定しておいた定数Ｋ(Ｋ>1)を乗算してなる値を平均密度d1として算出したり、平均密度d2に領域Raの面積ｓに関する関数F(s)を乗算してなる値を平均密度d1として算出したりする。なお、平均密度d1、d2には、その値があまり小さくならないよう、それぞれ下限を設けておくとよい。

輪郭近傍領域Raにおける特徴点の平均密度d1は、他の領域Rbにおける特徴点の平均密度d2の1.5倍以上、より好ましくは２倍以上であることが望ましい。一般的には輪郭近傍領域Raにおける特徴点の平均密度d1を他の領域Rbにおける特徴点の平均密度d2の1.5倍以上にすればある程度特定の被写体の輪郭が不自然に変形されてしまうことを防止できる効果が得られ、２倍以上にまでするとより大きな効果が認められる。但し、実際に何倍以上で効果が出るかというのは、その画像によって、多少の差異がある。

次いで、領域Ra、Rbの面積と上記取得された平均密度d1、d2とに基づき、領域Raから抽出する特徴点の数と、領域Rbから抽出する特徴点の数とをそれぞれ設定する。具体的には、平均密度d1に領域Raの面積を乗算した値を領域Raから抽出する特徴点の数として設定し、平均密度d2に領域Rbの面積を乗算した値を領域Rbから抽出する特徴点の数として設定する。

次いで、その各設定された数の特徴点を領域Ra、Rbから抽出する。特徴点は被写体の角部や画像パターン等として特徴を有する点であり、画素信号の勾配情報等に基づいて抽出される。たとえば、基準画像Psの各画素Ps(i,j)について、４つの近傍画素Ps(i,j)、Ps(i+1,j)、Ps(i,j+1)、Ps(i+1,j+1)の画素値から２つの固有値λ1、λ2を求め、このうち最小値min(λ1,λ2)をその画素Ps(i,j)の特徴値として算出し、各領域Ra、Rbについて、その領域内の画素を特徴値の大きさによりソーティングし、上位から設定された数の画素を特徴点として抽出するようにすれば、所定数の特徴点を確実に取得することができる。なお、Moravecの手法や、Harrisの手法等を使用して所定数の特徴点を抽出することもできるが、本発明においては、特徴点を抽出できれば抽出方法は限定しない。

対応点取得部60は、複数の画像P1〜Pnのうち基準画像Ps以外の他の画像P1〜Ps-1、Ps+1〜Pnのそれぞれから、特徴点抽出部50によって抽出された特徴点に対応する対応点を検出する。対応点は、特徴点の特徴と略一致する点であり、対応点の検出方法としては、例えばKLT法、ブロックマッチング等を使用することができるが、本発明においては、対応点を検出できれば検出方法は限定しない。

座標変換部70は、他の画像P1〜Ps-1、Ps+1〜Pnをそれぞれ基準画像Psに重なるように変形するものであり、各他の画像において対応点取得部60により取得された対応点の位置が対応する特徴点の位置に一致するように、その画像の各画素の位置を座標変換する。この座標変換には、例えば画像を局所的に歪めて、すなわちワープして変形するワーピングを使用することができる。一般的にワーピングは、画像を複数の三角パッチに分割し、その三角パッチ毎に変形を行う。

具体的には、図８の左図に示す如く、座標変形の対象となる画像P1において、その画像P1上の各対応点及び４隅の点から、画像P1を隣接する３つの点を頂点とする複数の三角パッチに分割する。そして画像P1の各点が対応する特徴点に重なるように画像P1の各三角パッチをアフィン変換して画像P1’を生成する。このとき使用するアフィン変換の式を下記式（１）に示す。
ｘ’＝ａｘ＋ｂｙ＋ｓ
ｙ’＝ｃｘ＋ｄｙ＋ｔ ・・・（１）

上記式（１）において(x,y)は画像P1における所定の三角パッチの中の所定の点の座標値で、(x',y')は(x,y)に対応する点の座標値を表す。またa,b,c,d,s,tは未知のパラメータであり、三角パッチの３つの頂点の座標値から一意に定めることができる。つまり、三角パッチの３つの頂点をなす点とその点に対応する特徴点との組からアフィン変換のパラメータを算出し、算出したパラメータに基づいて三角形内部の点つまり各画素をアフィン変換する。そして全ての三角形をアフィン変換してワーピングを終了する。

次いで、図９のフローチャートを参照して、第１の実施形態において行われる処理の一例について説明する。

まず、複数の画像P1〜Pnが入力されると（ステップST1）、基準画像設定部30が、それらの複数の画像P1〜Pnのうちいずれか１つの画像を基準画像Psとして設定し、その基準画像Ps以外の画像は対応画像とする（ステップST2）。次いで、特定被写体検出部40が、基準画像Psから特定の被写体を検出する（ステップST3）。次いで、特徴点抽出部50が、ステップST3において検出された特定の被写体の輪郭近傍領域を第１領域とし、その第１領域以外の領域を第２領域とし（ステップST4）、第１領域が第２領域よりも特徴点の平均密度が高くなるように、各第１、第２領域において抽出すべき特徴点の数をそれぞれ設定し（ステップST5）、その設定された数の特徴点を第１、第２領域からそれぞれ抽出する（ステップST6）。次に、対応点取得部60が、各対応画像から、特徴点抽出部50によって抽出された特徴点に対応する対応点を取得し（ステップST7）、座標変換部70が、各対応画像において取得された対応点の位置が対応する特徴点の位置に一致するように、その画像の各画素の位置を座標変換する。この座標変換された対応画像と基準画像は、画像間の対応する画素値を加算したり、画素値の平均値を算出したりすることにより合成される。

次いで、図10から図12を参照して本発明の第２の実施形態について説明する。なお、図９に示す画像処理装置２において図１の画像処理装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。

図９に示すように、画像処理装置２は、画像群設定部10、基準画像設定部30Ａ、特定被写体検出部40、特徴点抽出部50、対応点取得部60、座標変換部70Ａ、および座標変換関数取得部80を備えている。

画像群設定部10は、複数の画像P1〜Pnが入力されると、それらの複数の画像P1〜Pnから、その各画像がそれぞれ少なくとも１組の画像群に含まれるように、２組以上の画像群を設定する。複数の画像P1〜Pnが連写等により順次取得されてなるものである場合には、連続して取得された２以上の画像が１組の画像群となるように画像群を設定することが好ましい。例えば図11に示すように、順次取得された複数の画像P1〜P5が入力された場合には、画像P1とP2、画像P2とP3、画像P3とP4、および画像P4とP5をそれぞれ1組の画像群とすればよい。

基準画像設定部30Ａは、数の画像P1〜Pnが入力されると、それらの複数の画像P1〜Pnのうちいずれか１つの画像を最終基準画像Pfとして設定するとともに、画像群設定部10によって設定された画像群毎に、その画像群を構成する複数の画像のうちいずれか１つの画像を基準画像Psとして設定する。

最終基準画像Pfは、座標変換部70Ａによる座標変換処理において他の画像を変形する際に最終的な基準となる画像であるため、つまり、他の画像がこの基準画像Psに重なるように変形されるため、各他の画像とのズレが全体的に少ない画像であることを好ましい。また、基準画像Psは、その画像群内の他の画像を変形する際に1次的な基準となる画像であり、この基準画像Psを基準として変形された他の画像はさらに最終基準画像を最終的な基準として変形されるため、その画像群を構成する複数の画像のうち、最終基準画像に最も近い画像であることが好ましい。例えば連写により順次取得された複数の画像P1〜P5が入力された場合には、真ん中の画像P3を最終基準画像Pfとして設定すればよい。また、図11に示すように、それらの画像P1〜P5から４組の画像群が設定されている場合には、組１の画像群では画像P2を、組２の画像群では画像P3を、組３の画像群では画像P3を、組４の画像群では画像P4を、基準画像Psとして設定すればよい。

特定被写体検出部40は、画像群設定部10によって設定された画像群毎に、その画像群において設定された基準画像Psから特定の被写体が撮影されている領域を検出する。

特徴点抽出部50は、画像群設定部10によって設定された画像群毎に、特定被写体検出部40により検出された特定の被写体の輪郭近傍領域Ra（第１領域）が他の領域Rb（第２領域）よりも特徴点の平均密度が高くなるように、基準画像Psにおける複数の特徴点を抽出する。

対応点取得部60は、画像群設定部10によって設定された画像群毎に、その画像群を構成する複数の画像のうち基準画像Ps以外の他の画像のそれぞれから、基準画像Ps上の各特徴点に対応する対応点を検出する。

座標変換部70Ａは、画像群設定部10によって設定された画像群毎に、他の画像をそれぞれ基準画像Psに重なるように変形するものであり、各他の画像上の対応点の位置が基準画像Ps上の対応する特徴点の位置に一致するように、その画像の各画素の位置を座標変換する。

また、その座標変換してなる座標変換済み画像の各画素の位置を、後述する座標変換関数取得部80により取得される、その基準画像Psを最終基準画像Pfに位置合わせするための座標変換関数を用いて座標変換する。なお、基準画像Psと最終基準画像Pfが同一画像である場合には、この座標変換処理は省略される。

なお、ここでは、座標変換の対象となる画像を、まず基準画像Psを基準として座標変換し、基準画像Psと最終基準画像Pfとの座標変換関数を用いてさらに座標変換しているが、その各変換関係に基づいてその対象となる画像と最終基準画像Pfとの座標変換関数を求め、その座標変換関数による１回の座標変換処理で最終的な座標変換済み画像を取得するようにしてもよい。

座標変換関数取得部80は、画像群設定部10によって設定された画像群毎に、その画像群において設定された基準画像Psを最終基準画像Pfに位置合わせするための座標変換関数を取得する。なお、この座標変換関数は、最終基準画像Pfから特徴点を取得し、それに対応する対応点を基準画像Psから取得して、その対応点が特徴点に一致するように、基準画像Psの各画素の位置を座標変換させる変換関数を求めることにより取得してもよいが、座標変換部70Ａで、各画像群に対して他の画像を基準画像Psに座標変換するときに、この基準画像Psと最終基準画像Pfの組み合わせと一致する他の画像と基準画像Psの組み合わせが存在する場合には、その座標変換の際に使用された変換関数をこの基準画像Psを最終基準画像Pfに位置合わせするための座標変換関数として取得してもよい。

たとえば、図11に示すように、画像P1〜P5から４組の画像群が設定されている場合、座標変換部70Ａは、組１の画像群において画像P1を基準画像P2に重なるように変形する座標変換処理を行うとともに、組２の画像群においては画像P2を基準画像P3に重なるように変形する座標変換処理を行っている。そこで、組１の画像群において座標変換してなる座標変換済み画像を、基準画像P2を最終基準画像P3に位置合わせするための座標変換関数を用いてさらに座標変換する際には、組２の画像群における座標変換の際に使用された変換関数をそのまま取得し、使用することができる。

次いで、図12のフローチャートを参照して、第２の実施形態において行われる処理の一例について説明する。

まず、複数の画像P1〜Pnが入力されると（ステップST21）、基準画像設定部30Ａが、それらの複数の画像P1〜Pnのうちいずれか１つの画像を最終基準画像Pfとして設定し（ステップST22）、画像群設定部10が、その各画像がそれぞれ少なくとも１組の画像群に含まれるように、２組以上の画像群を設定する（ステップST23）。次いで、ステップST23において設定された画像群毎に、基準画像設定部30Ａがその画像群を構成する複数の画像のうちいずれか１つの画像を基準画像Psとして設定するとともに、その基準画像Ps以外の画像は対応画像とし（ステップST24）、特定被写体検出部40がその設定された基準画像Psから特定の被写体を検出する（ステップST25）。なお、ステップST26以降においても、ステップST24〜ST25のように、ステップST23において設定された画像群毎にそれぞれ処理が行われる。次いで、特徴点抽出部50が、ステップST25において検出された特定の被写体の輪郭近傍領域を第１領域とし、その第１領域以外の領域を第２領域とし（ステップST26）、第１領域が第２領域よりも特徴点の平均密度が高くなるように、各第１、第２領域において抽出すべき特徴点の数をそれぞれ設定し（ステップST27）、その設定された数の特徴点を第１、第２領域からそれぞれ抽出する（ステップST28）。次いで、対応点取得部60が、各対応画像から、特徴点抽出部50によって抽出された特徴点に対応する対応点を取得し（ステップST29）、座標変換部70Ａが、各対応画像において取得された対応点の位置が基準画像Ps上の対応する特徴点の位置に一致するように、その画像の各画素の位置を座標変換し（ステップST30）、その座標変換してなる座標変換済み画像の各画素の位置を、その基準画像Psを最終基準画像Pfに位置合わせするための座標変換関数を用いて座標変換する（ステップST31）。このような処理により位置合わせが行われた複数の画像P1〜Pnは、画像間の対応する画素値を加算したり、画素値の平均値を算出したりすることにより合成される。

上記各実施の形態によれば、被写体を撮影して得た複数の画像を位置合わせして合成する際に、不自然に変形されやすい特定の被写体を検出し、その輪郭近傍領域Raが他の領域Rbよりも位置合わせの演算に用いられる特徴点の平均密度が高くなるように設定しているので、その輪郭について他の領域よりも位置合わせの精度を向上させることができ、計算負荷を軽減しつつ、合成画像において特定の被写体の輪郭が不自然に変形されてしまうことを防止できる。

本発明の第１の実施形態による画像処理装置の概略構成を示すブロック図 基準画像設定部による基準画像の設定処理について説明するための図 特定被写体検出部による動体の検出処理について説明するための図 特定被写体検出部による動体の検出処理について説明するための図 特定の被写体が人の顔である場合における輪郭近傍領域の一設定例を示す図 特定の被写体が人の顔である場合における輪郭近傍領域の他の設定例を示す図 特定の被写体が動体である場合における輪郭近傍領域の一設定例を示す図 座標変換部によるワーピング処理を説明するための図 第１の実施形態において行われる処理を示すフローチャート 本発明の第２の実施形態による画像処理装置の概略構成を示すブロック図 画像群設定部による画像群の一設定例を示す図 第２の実施形態において行われる処理を示すフローチャート

符号の説明

１、２ 画像処理装置
10 画像群設定部
30、30Ａ 基準画像設定部
40 特定被写体検出部
50 特徴点抽出部
60 対応点取得部
70、70Ａ 座標変換部
80 座標変換関数取得部
Ra 輪郭近傍領域
Df 検出枠
Ps 基準画像
Pf 最終基準画像

Claims (15)

1. 複数の画像において基準となる基準画像を設定する基準画像設定手段と、
   該基準画像設定手段により設定された基準画像から特定の被写体を検出する検出手段と、
   該検出手段により検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、前記基準画像における複数の特徴点を抽出する特徴点抽出手段と、
   前記複数の画像のうち前記基準画像以外の他の画像における、前記特徴点抽出手段により抽出された各特徴点に対応する対応点を取得する対応点取得手段と、
   前記各特徴点の位置と、該各特徴点に対応する対応点の位置が一致するように、前記基準画像および／または前記他の画像の各画素の位置を座標変換する座標変換手段とを備え、
   前記特定の被写体が顔であり、
   前記検出手段が、検出枠内の画像が前記特定の被写体を表す画像であるか否かを識別する機能を有し、前記基準画像上に前記検出枠を走査させることにより前記検出を行うものであり、
   前記輪郭近傍領域が、前記検出枠から内側および／または外側に幅を有する領域であることを特徴とする画像処理装置。
2. 前記複数の画像が３以上の画像であり、
   前記座標変換手段が、前記対応点取得手段により取得された対応点の位置が対応する特徴点の位置に一致するように、前記他の画像の各画素の位置を座標変換するものであることを特徴とする請求項１記載の画像処理装置。
3. ３以上の画像から、該各画像がそれぞれ少なくとも１組の画像群に含まれるように、２組以上の画像群を設定する画像群設定手段と、
   前記３以上の画像において最終基準となる最終基準画像を設定するとともに、前記画像群設定手段により設定された各画像群において基準となる基準画像を設定する基準画像設定手段と、
   前記各画像群において、前記基準画像設定手段により設定された基準画像から特定の被写体を検出する検出手段と、
   該検出手段により検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、前記基準画像における複数の特徴点を抽出する特徴点抽出手段と、
   前記各画像群において、前記基準画像以外の他の画像における、前記特徴点抽出手段により抽出された各特徴点に対応する対応点を取得する対応点取得手段と、
   前記基準画像を前記最終基準画像に位置合わせするための座標変換関数を取得する変換関数取得手段と、
   前記対応点取得手段により取得された対応点の位置が対応する特徴点の位置に一致するように、前記他の画像の各画素の位置を座標変換するとともに、該座標変換してなる座標変換済み画像の各画素の位置を、前記変換関数取得手段により取得された座標変換関数を用いて座標変換する座標変換手段とを備え、
   前記特定の被写体が顔であり、
   前記検出手段が、検出枠内の画像が前記特定の被写体を表す画像であるか否かを識別する機能を有し、前記基準画像上に前記検出枠を走査させることにより前記検出を行うものであり、
   前記輪郭近傍領域が、前記検出枠から内側および／または外側に幅を有する領域であることを特徴とする画像処理装置。
4. 前記３以上の画像が、順次取得されてなるものであり、
   前記画像群の設定が、連続して取得された２以上の画像が１組の画像群となるように、前記２組以上の画像群を設定するものであることを特徴とする請求項３記載の画像処理装置。
5. 前記特定の被写体が、顔、または動体であることを特徴とする請求項1から４のいずれか１項記載の画像処理装置。
6. 複数の画像において基準となる基準画像を設定し、
   該設定された基準画像から特定の被写体を検出し、
   前記検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、前記基準画像における複数の特徴点を抽出し、
   前記複数の画像のうち前記基準画像以外の他の画像における、前記抽出された各特徴点に対応する対応点を取得し、
   前記各特徴点の位置と、該各特徴点に対応する対応点の位置が一致するように、前記基準画像および／または前記他の画像の各画素の位置を座標変換する
   ことを特徴とする画像処理方法であって、
   前記特定の被写体が顔であり、
   前記検出処理が、前記基準画像上に検出枠を走査させながら該検出枠内の画像が前記特定の被写体を表す画像であるか否かを識別することにより前記検出を行うものであり、
   前記輪郭近傍領域が、前記検出枠から内側および／または外側に幅を有する領域であることを特徴とする画像処理方法。
7. ３以上の画像において最終基準となる最終基準画像を設定し、
   前記３以上の画像から、該各画像がそれぞれ少なくとも１組の画像群に含まれるように、２組以上の画像群を設定し、
   該設定された画像群毎に、該画像群において基準となる基準画像を設定し、該設定された基準画像から特定の被写体を検出し、該検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、前記基準画像における複数の特徴点を抽出し、当該画像群における前記基準画像以外の他の画像における、前記抽出された各特徴点に対応する対応点を取得し、該取得された対応点の位置が対応する特徴点の位置に一致するように、前記他の画像の各画素の位置を座標変換し、
   前記基準画像を前記最終基準画像に位置合わせするための座標変換関数を取得し、
   前記座標変換してなる座標変換済み画像の各画素の位置を、前記取得された座標変換関数を用いて座標変換する
   ことを特徴とする画像処理方法であって、
   前記特定の被写体が顔であり、
   前記検出処理が、前記基準画像上に検出枠を走査させながら該検出枠内の画像が前記特定の被写体を表す画像であるか否かを識別することにより前記検出を行うものであり、
   前記輪郭近傍領域が、前記検出枠から内側および／または外側に幅を有する領域であることを特徴とする画像処理方法。
8. コンピュータに、
   複数の画像において基準となる基準画像を設定し、
   該設定された基準画像から特定の被写体を検出し、
   前記検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、前記基準画像における複数の特徴点を抽出し、
   前記複数の画像のうち前記基準画像以外の他の画像における、前記抽出された各特徴点に対応する対応点を取得し、
   前記各特徴点の位置と、該各特徴点に対応する対応点の位置が一致するように、前記基準画像および／または前記他の画像の各画素の位置を座標変換する
   ことを実行させるための画像処理プログラムであって、
   前記特定の被写体が顔であり、
   前記検出処理が、前記基準画像上に検出枠を走査させながら該検出枠内の画像が前記特定の被写体を表す画像であるか否かを識別することにより前記検出を行うものであり、
   前記輪郭近傍領域が、前記検出枠から内側および／または外側に幅を有する領域であることを特徴とする画像処理プログラム。
9. コンピュータに、
   ３以上の画像において最終基準となる最終基準画像を設定し、
   前記３以上の画像から、該各画像がそれぞれ少なくとも１組の画像群に含まれるように、２組以上の画像群を設定し、
   該設定された画像群毎に、該画像群において基準となる基準画像を設定し、該設定された基準画像から特定の被写体を検出し、該検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、前記基準画像における複数の特徴点を抽出し、当該画像群における前記基準画像以外の他の画像における、前記抽出された各特徴点に対応する対応点を取得し、該取得された対応点の位置が対応する特徴点の位置に一致するように、前記他の画像の各画素の位置を座標変換し、
   前記基準画像を前記最終基準画像に位置合わせするための座標変換関数を取得し、
   前記座標変換してなる座標変換済み画像の各画素の位置を、前記取得された座標変換関数を用いて座標変換する
   ことを実行させるための画像処理プログラムであって、
   前記特定の被写体が顔であり、
   前記検出処理が、前記基準画像上に検出枠を走査させながら該検出枠内の画像が前記特定の被写体を表す画像であるか否かを識別することにより前記検出を行うものであり、
   前記輪郭近傍領域が、前記検出枠から内側および／または外側に幅を有する領域であることを特徴とする画像処理プログラム。
10. 複数の画像において基準となる基準画像を設定する基準画像設定手段と、
    該基準画像設定手段により設定された基準画像から特定の被写体を検出する検出手段と、
    該検出手段により検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、前記基準画像における複数の特徴点を抽出する特徴点抽出手段と、
    前記複数の画像のうち前記基準画像以外の他の画像における、前記特徴点抽出手段により抽出された各特徴点に対応する対応点を取得する対応点取得手段と、
    前記各特徴点の位置と、該各特徴点に対応する対応点の位置が一致するように、前記基準画像および／または前記他の画像の各画素の位置を座標変換する座標変換手段を備え、
    前記輪郭近傍領域が、前記特定の被写体の輪郭から内側および／または外側に幅を有する領域であることを特徴とする画像処理装置。
11. ３以上の画像から、該各画像がそれぞれ少なくとも１組の画像群に含まれるように、２組以上の画像群を設定する画像群設定手段と、
    前記３以上の画像において最終基準となる最終基準画像を設定するとともに、前記画像群設定手段により設定された各画像群において基準となる基準画像を設定する基準画像設定手段と、
    前記各画像群において、前記基準画像設定手段により設定された基準画像から特定の被写体を検出する検出手段と、
    該検出手段により検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、前記基準画像における複数の特徴点を抽出する特徴点抽出手段と、
    前記各画像群において、前記基準画像以外の他の画像における、前記特徴点抽出手段により抽出された各特徴点に対応する対応点を取得する対応点取得手段と、
    前記基準画像を前記最終基準画像に位置合わせするための座標変換関数を取得する変換関数取得手段と、
    前記対応点取得手段により取得された対応点の位置が対応する特徴点の位置に一致するように、前記他の画像の各画素の位置を座標変換するとともに、該座標変換してなる座標変換済み画像の各画素の位置を、前記変換関数取得手段により取得された座標変換関数を用いて座標変換する座標変換手段とを備え、
    前記輪郭近傍領域が、前記特定の被写体の輪郭から内側および／または外側に幅を有する領域であることを特徴とする画像処理装置。
12. 複数の画像において基準となる基準画像を設定し、
    該設定された基準画像から特定の被写体を検出し、
    前記検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、前記基準画像における複数の特徴点を抽出し、
    前記複数の画像のうち前記基準画像以外の他の画像における、前記抽出された各特徴点に対応する対応点を取得し、
    前記各特徴点の位置と、該各特徴点に対応する対応点の位置が一致するように、前記基準画像および／または前記他の画像の各画素の位置を座標変換する
    ことを特徴とする画像処理方法であって、
    前記輪郭近傍領域が、前記特定の被写体の輪郭から内側および／または外側に幅を有する領域であることを特徴とする画像処理方法。
13. ３以上の画像において最終基準となる最終基準画像を設定し、
    前記３以上の画像から、該各画像がそれぞれ少なくとも１組の画像群に含まれるように、２組以上の画像群を設定し、
    該設定された画像群毎に、該画像群において基準となる基準画像を設定し、該設定された基準画像から特定の被写体を検出し、該検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、前記基準画像における複数の特徴点を抽出し、当該画像群における前記基準画像以外の他の画像における、前記抽出された各特徴点に対応する対応点を取得し、該取得された対応点の位置が対応する特徴点の位置に一致するように、前記他の画像の各画素の位置を座標変換し、
    前記基準画像を前記最終基準画像に位置合わせするための座標変換関数を取得し、
    前記座標変換してなる座標変換済み画像の各画素の位置を、前記取得された座標変換関数を用いて座標変換する
    ことを特徴とする画像処理方法であって、
    前記輪郭近傍領域が、前記特定の被写体の輪郭から内側および／または外側に幅を有する領域であることを特徴とする画像処理方法。
14. コンピュータに、
    複数の画像において基準となる基準画像を設定し、
    該設定された基準画像から特定の被写体を検出し、
    前記検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、前記基準画像における複数の特徴点を抽出し、
    前記複数の画像のうち前記基準画像以外の他の画像における、前記抽出された各特徴点に対応する対応点を取得し、
    前記各特徴点の位置と、該各特徴点に対応する対応点の位置が一致するように、前記基準画像および／または前記他の画像の各画素の位置を座標変換する
    ことを実行させるための画像処理プログラムであって、
    前記輪郭近傍領域が、前記特定の被写体の輪郭から内側および／または外側に幅を有する領域であることを特徴とする画像処理プログラム。
15. コンピュータに、
    ３以上の画像において最終基準となる最終基準画像を設定し、
    前記３以上の画像から、該各画像がそれぞれ少なくとも１組の画像群に含まれるように、２組以上の画像群を設定し、
    該設定された画像群毎に、該画像群において基準となる基準画像を設定し、該設定された基準画像から特定の被写体を検出し、該検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、前記基準画像における複数の特徴点を抽出し、当該画像群における前記基準画像以外の他の画像における、前記抽出された各特徴点に対応する対応点を取得し、該取得された対応点の位置が対応する特徴点の位置に一致するように、前記他の画像の各画素の位置を座標変換し、
    前記基準画像を前記最終基準画像に位置合わせするための座標変換関数を取得し、
    前記座標変換してなる座標変換済み画像の各画素の位置を、前記取得された座標変換関数を用いて座標変換する
    ことを実行させるための画像処理プログラムであって、
    前記輪郭近傍領域が、前記特定の被写体の輪郭から内側および／または外側に幅を有する領域であることを特徴とする画像処理プログラム。

Images