JP4750835B2 - デジタルカメラおよび画像処理方法 - Google Patents

Description

本発明は、複数の被写体を合成したプリント等の合成画像を作成するためのデジタルカメラおよび画像処理方法に関する。

近年、フィルムに記録された画像情報を光電的に読み取り、これをデジタル画像データ化して、種々のデジタル画像処理を施した後に画像の記録を行う、デジタル露光を利用したデジタルフォトプリンタが実用化されている。このようなデジタルフォトプリンタでは、画像データ処理によって、文字等の画像データを生成し、フィルムに撮影された画像の画像データと組合せることによって、フィルムに撮影された画像に文字等を合成した合成画像が簡単にできるようになっている。

また、最近開発されているデジタル電子スチルカメラ（以下、デジタルカメラとする。）においては、撮影により取得した画像をデジタル画像データとして、デジタルカメラ内部に設けられた内部メモリやＩＣカードなどの記録媒体に記録し、記録されたデジタル画像データに基づいて、プリンタやモニタに、撮影により取得した画像を表示したり、あるいはカメラ内部で画像の合成をすることができる。例えば、デジタルカメラで撮影した画像にテンプレートを貼り付けて、一枚の合成画像を作成するデジタルカメラが知られている。このようなテンプレートとしては、フレームやイラスト等の画像、カレンダーやグリーティングカード等の文字などがある。
また、デジタルカメラ内の記録媒体から画像入力手段を介してデジタル画像データを直接前記デジタルフォトプリンタに入力して、デジタルフォトプリンタにおいて画像合成をはじめとする各種画像処理を行うこともできる。

従来、画像を合成する方法として様々な方法が知られている。例えば、画像の合成にあたり、画像撮像手段による画像と、外部機器から受信した付加情報受信手段による付加情報とを別々の領域に記憶し、各画像を単独で、あるいは合成画像として表示手段に切り換えて表示するものや、２つの連続した画像を合成してパノラマ画像を作成する際、２つの画像の重なり部分の明度を比較して補正し、２つの画像の明度を合わせるようにして合成するものが知られている。

また、特許文献１には、カメラの表示装置に現に撮影中の撮影対象を表示し、これに対して、さらに既に撮影されて記録されている記録画像を重ねて表示することにより、定点観測画像の撮影を容易に行えるようにするとともに、記録画像を表示する際、接続マークを付加することにより大画面のパノラマ写真の撮影を容易にしたものが開示されている。さらに、特許文献２には、パノラマ写真の撮影において、撮影済画像をシフトしてその画像の端部をカメラのファインダ内に表示し、次の画像を撮影する場合の位置合わせに利用するものが開示されている。
また、複数の撮影済画像の合成を、市販の画像処理ソフト（例えば、Adobe 社製ソフト Photoshop 等）を用いて、パーソナルコンピュータや前記デジタルフォトプリンタでの画像処理によって行う方法もある。

特開平１０−３０４２２７号公報 特開平５−１４２６８２号公報

しかしながら、従来のように、例えば、デジタルカメラで撮影された画像にテンプレートを貼り付けて合成画像を作成する場合、通常テンプレートは適正な出力画像となる条件の画像データとしてカメラや記録媒体に予め記憶されているのに対し、撮影画像は必ずしも適正画像ではなく、不十分な露出条件であったり、撮影光源、被写体シーンに起因して、濃度、色、階調を修正する必要がある場合がある。このとき、テンプレートが単純な場合以外は、合成画像中のテンプレートと撮影画像の識別は困難であり、合成画像では、テンプレート画像と撮影画像とを独立に修正することはできず、その一方、合成画像全体を修正しようとすると、いままで適正であったテンプレートが適正でなくなってしまうという問題がある。このとき、デジタルカメラの液晶画面で画像を確認し、調整して再度撮影することも可能であるが、シャッターチャンスを逃したり、時間がかかったりして、実用的ではない。

また、画像撮像手段による画像と、外部機器から受信した付加情報とを表示手段に切り換えて表示するものでは、外部機器としてパソコン（パーソナルコンピュータ）を接続すれば、パソコン上でテンプレート合成画像から撮影画像を切り出して、画像処理することも可能であるが、多大の労力を要する。また、パソコン上で修正した画像が必ずしも出力装置の出力画像に画質上一致しているとは言えず、出力画像に合わせていないパソコン上の表示装置での修正では不十分であるという問題がある。また、２つの連続した画像を明度を合わせて合成するものでは、撮影画像と、予め記憶されているテンプレート画像との合成には向いていないという問題がある。

また、特許文献１に開示されたものは、定点観測用またはパノラマ写真用の位置合わせを目的としており、画像中の複数の被写体を選択して合成した合成画像を得る目的には不向きである。さらに、特許文献２に開示されたものも、パノラマ写真用の位置合わせを目的としており、単に撮影済画像の端部を表示するのみであるため、やはり同様に、複数の被写体の合成には向いていないという問題がある。
さらに、前記市販の画像処理ソフトを用いるものでは、個別に撮影した被写体を用いる場合、合成時に不自然に成り易いという問題がある。

本発明は、前記従来の問題に鑑みてなされたものであり、複数の被写体を合成した合成画像、特に、合成プリントを容易に作成することができるデジタルカメラおよび画像処理方法を提供することを課題とする。

前記課題を解決するために、本発明の第１の態様は、被写体を撮像してデジタル画像データを得る撮像手段と、
少なくともこの撮像手段による撮影済画像のデジタル画像データを記憶する画像記憶手段と、
少なくとも現在撮影中の撮影対象画像を表示する画像表示手段と、
合成用に参照する画像中の１つ以上の少なくとも一部領域を参照画像領域として指定する参照画像指定手段と、
前記参照画像を現在撮影中の撮影対象画像に重ねて前記画像表示手段に表示するように合成する画像合成手段と、撮影時に、前記参照画像中の主要被写体と前記撮影対象画像中の主要被写体との間で、濃度および色味を揃えるように制御するカメラ制御手段とを有することを特徴とするデジタルカメラを提供するものである。

ここで、前記画像合成手段は、撮影時に、前記合成用に参照する画像中の１つ以上の少なくとも一部領域に対し、それが合成する対象となる参照画像であることを示す第１の識別情報および指定領域情報を付すとともに、前記参照画像の透過率を変更して、前記参照画像と現在撮影中の撮影コマとが区別できるように、前記参照画像を前記撮影コマに重ねて前記画像表示手段に表示して、撮影が完了すると、前記参照画像が合成される対象となる前記撮影コマの画像に対し、合成される対象であることを示す第２の識別情報を付し、さらに、合成する際の所定の透過率を示す合成時透過率情報を付し、画像出力時に、前記第１および第２の識別情報と、前記指定領域情報と、前記加工情報または合成時透過率情報に基づいて、前記参照画像を前記撮影コマの画像に合成した合成画像の画像データを作成することが好ましい。

ここで、前記主要被写体は、人物の顔であることが好ましい。
また、前記透過率は、前記参照画像にグラデーションをかけて設定されることが好ましい。
また、前記合成用に参照する画像の画像データは、撮影済画像データまたは所定の引用画像データであることが好ましい。

また、前記参照画像領域は、前記画像表示手段の、前記合成用に参照する画像上における位置、または前記撮影対象画像に応じて指定された位置に表示されることが好ましい。
またさらに、前記参照画像に対し、平行移動、回転、拡縮、濃度・色修正、２値化、エッジ化、画風変更および透過率変更のいずれか１つ以上の加工処理を加えるようにすることが好ましい。
また、前記参照画像を、撮影倍率に応じて、自動的に拡大または縮小して前記画像表示手段に表示することが好ましい。

また、多数の測距ポイントで合焦する機能を持ち、合焦した被写体エリアを前記参照画像として自動的に切り出すことが好ましい。
さらに、立体写真撮影用モードを有し、この立体写真用のモードが設定された場合には、無限遠点のエリアを前記参照画像として自動的に切り出すことが好ましい。
またさらに、前記参照画像指定手段は、前記参照画像領域の指定を、前記画像表示手段に表示された前記合成用に参照する画像の１つ以上の少なくとも一部領域を指定することによって行うことが好ましい。

また、前記画像記憶手段は、さらに、前記合成用に参照する画像の画像データを記憶することが好ましい。
さらに、前記画像表示手段に表示する前記参照画像は、半透明のエッジ画像であることが好ましい。
またさらに、前記参照画像は、前記撮影対象画像の直前に撮影された画像であることが好ましい。
なお、前記参照画像および前記撮影対象画像は動画であることも好ましい。

また、上記課題を解決するために、本発明の第２の態様は、被写体を撮影してデジタル画像データを取得し、これに所定の、合成用に参照する画像の画像データを合成して、合成画像の画像データを作成する画像処理方法であって、撮影時に、前記参照画像中の主要被写体と前記撮影の対象となる画像中の主要被写体との間で、濃度および色味を揃えるように制御するとともに、前記所定の合成用に参照する画像中の１つ以上の少なくとも一部領域に対し、それが合成する対象となる参照画像であることを示す第１の識別情報および指定領域情報を付すとともに、前記参照画像の透過率を変更して、前記参照画像と現在撮影中の撮影コマとが区別できるように、前記参照画像を前記撮影コマに重ねて表示して、撮影が完了すると、前記参照画像が合成される対象となる前記撮影コマの画像に対し、合成される対象であることを示す第２の識別情報を付し、さらに、合成する際の所定の透過率を示す合成時透過率情報を付し、画像出力時に、前記第１および第２の識別情報と、前記指定領域情報と、前記合成時透過率情報に基づいて、前記参照画像を前記撮影コマの画像に合成した合成画像の画像データを作成することを特徴とする画像処理方法を提供するものである。

ここで、前記主要被写体は、人物の顔であることが好ましい。
また、合成順序に関する情報を、前記第１および第２の識別情報に加えて、この合成順序に関する情報をも用いて前記合成画像の画像データを作成することが好ましい。
さらに、多数の測距ポイントに関する情報を得、合焦した被写体エリアを前記参照画像として自動的に切り出して、合成画像の画像データを作成することが好ましい。
またさらに、立体写真撮影用モードを有し、この立体写真撮影用のモードが設定された場合には、撮影時の焦点距離が無限遠点となる画像エリアについて、必要に応じて、立体写真撮影用モードの対象となるコマ間での位置または角度のずれを補正して、立体画像の画像データを作成することが好ましい。

また、前記合成画像の画像データは、合成プリントの作成、画像データ記録媒体への書き込み、および通信網を介しての配信に用いられることが好ましい。
また、前記画像出力時の合成処理の際に、前記参照画像中の主要被写体と前記撮影対象画像中の主要被写体との間で濃度および色味を揃えるように調整を行うことが好ましい。
さらに、前記参照画像または合成される対象となる画像は、動画であることが好ましい。
またさらに、前記参照画像は、前記撮影コマの直前に撮影された画像であることが好ましい。

また、同様に上記課題を解決するために、本発明の第３の態様は、被写体を撮影して、デジタル画像データを取得し、これに所定の、合成用に参照する画像の画像データを合成して、合成画像の画像データを作成する画像処理方法であって、撮影時に、前記参照画像中の主要被写体と前記撮影の対象となる画像中の主要被写体との間で、濃度および色味を揃えるように制御するとともに、前記複数のカメラの少なくとも１個のカメラで、前記所定の合成用に参照する画像中から１つ以上参照画像を指定するとともに、参照画像指定データを付し、指定された１つ以上の参照画像を前記複数のカメラ間で前記参照画像の画像データの授受を行い、前記複数のカメラの各々で、前記参照画像の透過率を変更して、前記参照画像と、現在撮影中の合成される対象となる撮影画像とが区別できるように、前記参照画像を前記撮影コマに重ねて表示して撮影を行い、前記撮影画像に同一のグループであることを示すグループ識別情報を付しておき、画像出力時に、前記複数のカメラの各々の撮影画像、前記参照画像指定データおよび前記グループ識別情報を用いて、前記複数のカメラの各々の撮影画像に前記参照画像を合成する合成処理を行うことを特徴とする画像処理方法を提供するものである。
ここで、前記参照画像は、半透明のエッジ画像であることが好ましい。
また、前記参照画像および前記撮影対象画像は動画であることが好ましい。

本発明によれば、以下に詳述するように、複数の画像を合成した合成写真を作成する時、その合成用の画像の撮影時において、その構図を容易に工夫することができ、娯楽性の高い効果的な画像を簡単に得ることができるとともに、簡単なサイズの比較や計測に利用することができる。
さらに、本発明を応用すれば、立体写真の撮影に利用した場合には、複雑な装備を必要とせず、簡単に立体写真を撮影することができる。
また、本発明は、動画への適用も可能であり、また、複数のカメラ、複数の撮影者間で、共通の画像を共有することができ、被写体撮影の多様性を得ることができ、画像合成時に娯楽性の高い画像を出力することができる。

以下、本発明に係るデジタルカメラおよび画像処理方法について、添付の図面に示される好適実施形態を基に、詳細に説明する。

図１は、本発明の第１の態様に係るデジタルスチルカメラの一実施形態の概略を示すブロック図である。
図１において、デジタルスチルカメラ（以下、単にカメラとする）１０は、被写体を撮像してデジタル画像信号（データ）を得るＣＣＤ撮像素子（以下単にＣＣＤとする）１４と、このＣＣＤ１４により得られた画像データを格納する画像メモリ１６と、画像メモリ１６に格納されている撮影済の画像（画像データ）と現に撮影中の画像（画像データ）をモニタ表示用に合成する画像合成部１８と、合成された画像を表示するモニタ１２とを含んでいる。

また、カメラ１０は、各種画像処理を行い出力用の画像を作成する画像処理部２０と、スマ−トメディアやメモリスティック等の画像データ記録媒体（以下、記録媒体という）Ｒに出力用の画像データを記録する記録部２２と、上記各部（ユニット）等のカメラ１０全体の機能の制御を行うＣＰＵ２４と、カメラ１０に撮影者が合成画像を作成するための参照画像または参照画像領域を指定したり、その他の指示を与えるための操作部２６を備えている。

さらに、カメラ１０は、ＣＰＵ２４による制御に基づく自動露出制御や自動焦点制御等のカメラ制御を行うためのカメラ制御部２８を有する。このカメラ制御部２８は、図示しないが、自動露出制御や自動焦点制御等のカメラ制御機能に必要な各種のセンサや撮影レンズによる合焦デバイスやシャッタースピードの調整デバイスやＣＣＤ１４の蓄積時間の制御デバイスや必要に応じて絞りなどの調整デバイス等や立体写真撮影モード、連続撮影（連写）モ−ドおよびビデオ（動画）撮影モ−ド等のモ−ド選択デバイス等を備える。
さらにまた、カメラ１０は、カメラ間通信やインタ−ネット等の通信網を介しての通信を行うための通信部３０を有していても良い。

まず、本発明の第２および第３の態様の画像処理方法の第１実施形態について説明する。
図２および図３は、本発明の画像処理方法の第１実施形態におけるカメラの使用状態を示す説明図である。図２（ａ）は、カメラ１０により被写体Ａを撮影する様子を示しており、このとき、図２（ｂ）に示すように、撮影対象画像が、カメラ１０の背面のモニタ１２に表示される。

ここで、カメラ１０で被写体Ａを撮影すると、この被写体Ａを撮影した画像（コマ）を表す画像信号（データ）がＣＣＤ１４で得られ、画像メモリ１６に格納される。次の画像（Ｎ＋１コマ）の撮影に際し、この一旦撮影されたコマ（第Ｎコマとする）の画像データが画像メモリ１６から読み出され、モニタ表示に応じた画素密度に間引き処理された後、モニタ１２に入力され、モニタ１２に表示される。撮影者は、このモニタ１２の表示を見て、参照したい部分、すなわち、この撮影対象画像（Ｎ＋１コマ）と合成して利用したい部分（参照エリア）４０を、図２（ｃ）に破線Ｐで示すような枠で囲んで指定する。この参照エリア４０の指定は、操作部２６により、例えば操作部２６に設けられた電子ペン等により、すなわち、撮影者が電子ペンにより、モニタ１２上で、当該参照エリア４０を、手書き、あるいは矩形、円形、楕円形等適当な枠で囲んで指定することができる。なお、操作部２６による参照エリアの指定方法は、電子ペンによるものの他、どのような方法でも良く、特に限定されるものではない。また、参照エリア４０の指定は、１つの画像（１コマ）全体を指定することもできるし、１つの画像内で複数の参照エリア４０を指定することも可能である。

次に、図３（ａ）に示すように、今撮影したＮコマと合成すべき、Ｎ＋１コマの撮影を、カメラ１０によって、被写体Ｂに対して行う。この撮影においては、撮影者が操作部２６から指示することにより、現在撮影しようとしている、すなわちＣＣＤ１４でモニタ１２に表示のために読み取られ、表示画素密度に間引きされている被写体Ｂの画像とともに、撮影済のＮコマの画像の参照エリア４０内の画像が画像合成部１８によって合成されて、図３（ｂ）に示すようにモニタ１２に表示される。

参照エリア４０内の画像（参照画像）を被写体Ｂの画像（撮影対象画像）に合成してモニタ１２に表示する際、これらの画像の比重は、撮影者が指定することによって変更することが可能である。すなわち、参照画像の透過率を変えて、モニタ１２上で、参照画像と撮影対象画像が容易に区別できるようにする。したがって、モニタ１２上での参照画像が表示される領域においては、１００％参照画像の状態から、１００％撮影対象画像の状態の間において、半透明の参照画像と実画像である撮影対象画像との合成が様々な段階で表示可能である。また、参照エリア４０にグラデーションをかけた透過率としても良い。例えば、参照エリアの周辺ほど、透過率を高く（すなわち、合成する対象となる参照画像の比重が小と）なるようにしても良い。
なお、この透過率の設定は、モニタ１２への表示と、実際に画像出力、例えばプリント出力する場合とで異なる値を設定することも可能である。従って、モニタ１２に表示する際には、モニタ１２上で被写体Ｂの位置合わせが容易になるように半透明にし、プリント等の再現画像を出力する場合には、１００％参照画像とすることもできる。

図３（ｂ）に示すような参照画像と撮影対象画像が重なって見える合成画像をモニタ１２で確認後、被写体Ｂを撮影する。このような合成画像はモニタ１２上に表示されているのみであり、実際に撮影される被写体Ｂの画像には参照画像は撮影されない。撮影された被写体Ｂの画像は画像メモリ１６に格納される。
また、この時、撮影者が操作部２６から指示することによって、ＮコマとＮ＋１コマとが合成する対象と合成される対象であることを示す識別情報（データ）等の合成編集情報が付加される。Ｎコマの画像に対しては、合成用に参照する画像であることを示す（第１の）識別情報と、指定された参照画像領域（参照エリア４０）を表す指定領域情報または参照エリア４０内の参照画像に対する加工処理内容を示す加工情報およびそのプリント等の画像出力時の透過率を示す合成時透過率情報等が付加される。Ｎ＋１コマの画像に対しては、合成される対象であることを示す（第２の）識別情報が付加される。

この指定領域情報中の形状データとしては、指定エリアが任意の形状の場合、その外周画素の情報（画素の位置またはチェーンコードの様な画素間の連結情報）、または指定エリア内画素の位置にエリア番号を割り当てるテーブル、または指定エリア内画素の位置に透過率データを割り当てたテーブル、等により表現する方法がある。

カメラ１０では、Ｎコマ目の被写体Ａの撮影画像およびＮ＋１コマ目の被写体Ｂの撮影画像の画像データは、画像メモリ１６から読み出され、画像処理部２０において、色や濃度の補正等の各種画像処理が施され、記録媒体Ｒに応じた出力用画像データに変換された後、記録部２２において記録媒体Ｒに記録される。
なお、これらの記録媒体Ｒに記録される画像データには、上述した合成編集情報が付加される。特に、Ｎコマ目の合成用撮影画像データには、参照画像を含むことを示す（第１の）識別情報、指定領域情報または参照画像の加工情報および合成時透過率情報等が付加され、Ｎ＋１コマ目の被合成用撮影画像データには、参照画像が合成されることを示す（第２の）識別情報が付加される。
こうして、撮影時に、カメラ側で、以上のような撮影画像データの取得と、これらの撮影画像データへの合成編集情報の付加が行われる。

一方、本発明では、画像出力の際には、フォトプリンタにおいて、撮影時に取得された撮影画像データとこれに付加された合成編集情報が利用される。
図４に、本発明の画像処理方法の画像出力時に用いられるフォトプリンタの一実施例を示す。
同図に示すフォトプリンタ５０は、記録媒体Ｒから被合成用撮影画像データおよび合成用撮影画像データ等の画像データと第１および第２の識別情報や参照画像の指定領域情報または加工情報および合成時透過率情報等の合成編集情報を読み出すドライバ５２と、ドライバ５２によって読み出された画像データを保存するフレームメモリ５４と、ドライバ５２によって読み出された合成編集情報を取得して保存する情報取得部５６と、フレームメモリ５４に保存された画像データを読み出して画像出力に必要な各種の画像処理を施す画像処理部５８と、情報取得部５６からの合成編集情報に基づいて被合成用撮影画像データに対して、合成用撮影画像データ中の参照画像を合成する画像合成部６０と、合成用撮影画像データの代わりとなる引用画像データを取得する引用画像取得部６２と、画像合成部６０で合成された合成画像データから再現画像として、または再現画像データとして出力する画像出力部６４とを有する。

ここで、画像合成部６０は、情報取得部５６からの第１の識別情報に基づく合成用画像データ中の、情報取得部５６からの参照画像の指定領域情報または加工情報に基づいて指定される参照画像を、情報取得部５６からの合成時透過率情報に基づく透過率で、情報取得部５６からの第２の識別情報に基づく被合成用画像データに合成する。なお、画像合成部６０は、情報取得部５６からの合成編集情報に基づいて、フレームメモリ５４から画像処理部５８を介して得られる合成用撮影画像データの代わりに、引用画像取得部６２から参照画像をえるための引用画像データを取得してもよい。また、画像データや合成編集情報等を記録媒体Ｒからドライバ５２によって読み出しているが、カメラ１０の画像メモリ１６から直接読み出してもよい。

また、画像出力部６４は、合成された再現画像を写真プリントＰとして出力するプリンタ６６と、合成された再現画像の画像データをインターネット等の通信網Ｎを介して配信する通信デバイス６８およびＭＯ，ＣＤ−Ｒ，ＦＤ等の画像データ記録媒体ＲＯに記録し、合成再現画像データが記録された記録媒体ＲＯを出力するメディアドライバ７０とを有する。
本発明においては、合成再現画像データは、上述した３つの出力形態を取ることができるが、以下では、プリンタ６６によって写真プリントＰとして出力される場合を代表例として、フォトプリンタ５０側で行われる本発明の画像処理方法の画像出力時のプロセスについて、上述した第１実施形態に基づいてより具体的に説明する。

フォトプリンタ５０では、プリント時には、合成する対象であることを示す識別データおよびコマＮｏ．、枠位置、形状データ、合成時の透過率等の枠指定情報により、前記Ｎコマの画像の参照画像と、撮影対象であるＮ＋１コマの画像を、加重平均により合成して、図５に示すような、モニタ１２に表示した撮影画像と同一シーンの合成画像を作成する。
なお、プリント時には、透過率をモニタ表示時とは変えてもよく、また、参照画像に対して特に加工処理を行わず、１００％参照画像を合成するような場合には単に合成の指示のみすればよく、加工情報や透過率情報の設定は不要である。また、撮影後に、合成オン、オフの設定も可能であり、合成をしないようにすることもできる。
また、上に述べたように各コマに識別情報等を付加するのではなく、参照画像とする引用コマの名称または番号に関する情報、指定領域情報、参照画像が合成されるコマの名称または番号に関する情報と、さらに必要に応じて加工情報や合成時透過率情報等を含む編集情報を作成して、これを記録しておき、この編集情報に基づいて合成プリントを作成するようにしてもよい。

このように、本実施形態では、一方の合成用に参照される画像の一部領域を参照画像として指定し、図３（ｂ）に示すように、これを半透明画像として撮影対象画像に重ね合わせモニタに表示するようにしているため、合成画像の位置合わせが容易であり、以下述べるような様々な応用が可能である。なお、画像の表示はモニタには限定されず、ファインダ内に表示するようにしてもよい。

上記では、参照画像として既に撮影された画像を用いたが、背景用テンプレート、キャラクタパターン、ＣＧ画像等をカメラ１０内の画像メモリ１６に保持しておいて、あるいはインターネット等の通信手段から読み込んで用いるようにしてもよい。例えば、珍しい動物等の画像を透明度を調整してモニタに表示し、子供を撮影するとき、モニタ上で子供の画像と動物の画像を重ね合わせ、子供がその動物を抱いているようなシーンを撮影することもできる。このとき、合成画像をモニタ上で確認できるため、子供が丁度動物を抱いているようなポーズをとらせることが容易にできる。なお、このような場合には、カメラ１０の画像メモリ１６側では、表示用の画素密度の粗い参照画像データのみを保存しておき、フォトプリンタ５０の引用画像取得部６２側では、写真プリントＰの出力画素密度に応じた高画素密度の参照画像データを保存しておくようにしてもよい。

また、前記参照画像の指定は、上の例では、撮影者が電子ペンで枠を指定していたが、このように手入力の枠指定でなく、被写体距離の最も近いエリア、あるいは合焦したエリアを、主要被写体と見做して、これを自動的に切り出すようにしてもよい。
さらに、上の例のように参照画像をそのまま撮影対象画像と合成するのではなく、カメラ１０の画像処理部２０またはフォトプリンタ５０の画像処理部５８において、参照画像に対して、移動、回転、拡縮、濃度・色修正、２値化、エッジ化、あるいは、例えば市販のPhotoshop 等の画像処理ソフトにより油彩や水彩等といった画風変更を行ったり等の加工を行うようにしてもよい。

また、上の例のようにＮコマ目とＮ＋１コマ目を合成した画像を、カメラ内のメモリに記録しておき、これをさらに参照画像としてＮ＋２コマ目以降の画像との合成に用いるようにしてもよい。
また、撮影対象画像の撮影倍率に応じて自動的に参照画像サイズを調整して、モニタに合成表示するようにしてもよい（サイズ比較、ものさし合成）。
また、識別情報に合成順序に関する情報を加えて、プリント時に、この合成順序により合成するようにしてもよい。

従来の、個別に撮影したコマをパソコンで画像処理によって切り貼りして合成する手法では限界があるが、上に説明した本実施形態の方法によれば、合成用に撮影時の構図を工夫するのが容易であり、娯楽性を大いに向上させることができる。また、モニタに表示して観察することにより、簡単なサイズの比較や計測に利用することができる。

また、合成する対象となる参照画像中の主要被写体と、合成される対象となる撮影対象画像または撮影済画像中の主要被写体との間で、濃度または色またはその両方を揃えるように、カメラ１０側で撮影時のカメラ制御を行っても良いし、またはフォトプリンタ５０側で合成処理を行っても良い。
例えば、カメラ１０側では、撮影対象画像中の顔等の主要被写体の濃度が、参照画像中の顔等の主要被写体の濃度とほぼ同一の濃度となるように、カメラ１０のＣＰＵ２４によってカメラ制御部２８を制御して、図示しない絞りやシャタースピ−ドやＣＣＤ１４の蓄積時間の調整によるカメラ１０の自動露出を制御しても良いし、あるいは、参照画像を含む合成用画像の撮影時のカメラ制御データを記録しておき、撮影対象画像の撮影時におけるカメラ制御に同一の制御を適用するようにしても良い。

また、フォトプリンタ５０側では、合成処理時に、予め画像処理部５８で参照画像と撮影対象画像のどちらかの主要被写体を基準に、あるいは、両者の単純平均または加重平均を基準に、濃度または色味を揃えるように色濃度調整を行った後に、合成処理部６０で合成するようにしても良い。なお、この色味調整は、合成処理部６０で行っても良い。

また、本発明の画像処理方法において、参照画像の透過率を変えてモニタ上に撮影対象画像と重ねて表示する方法を用いれば、次に説明するようにパノラマ写真の撮影が容易になる。
パノラマ写真の撮影においては、撮影者が、カメラ１０の操作部２６からパノラマモードを設定し、図６に示すように、被写体を画角をずらしながら、ＮコマとＮ＋１コマとを連続的に撮影する。このとき、図７に破線Ｑで示すように、前コマのエッジ画像を半透明状に表示する。
図６に示す例では、被写体を左から右へ、カメラ１０の方向をずらしながら撮影しているため、Ｎ＋１コマの撮影の際、Ｎコマの右端のエッジ画像を、図７に破線Ｑで示すように、モニタ１２の画面左端に表示する。このとき、カメラ１０の傾きを自動検出し、上下に切り換えるようにしてもよい。

撮影者は、前コマ（Ｎコマ）と実写画像（Ｎ＋１コマ）の該当エリアが重なるように画角を決めて撮影すればよい。これは、モニタ１２で確認しながら行うことができるため容易である。
フォトプリンタ５０でのプリント時には、重複部分を連結して一枚のパノラマ画像に仕上げる。これはモニタ表示用としてもよい。
その他、カメラ１０で自動的にマッチング処理を実行し、最適画角を知らせるようにしてもよい。このようにすれば、効率的にパノラマ写真の撮影を行うことができる。

次に、本発明の画像処理方法の第２実施形態について、説明する。
この第２実施形態は、本発明を立体写真（ステレオ写真）の撮影に応用したものである。

立体写真の撮影においては、撮影者が、カメラ１０の操作部２６から立体（ステレオ）モードを設定し、カメラ１０を平行移動して、図８に示すように、左目で見た画像（Ｎコマ）と、右目で見た画像（Ｎ＋１コマ）とを、連続的に撮影する。
このとき、前コマ（Ｎコマ）の残像の一部をモニタ１２またはファインダ内に表示する。第Ｎコマの画像（図８に示す例では、左目画像）の最も被写体距離が大であるエリア（図８においては、遠景の山８０）を自動的に切り出し、第Ｎ＋１コマ（図８に示す例では、右目画像）の撮影時に、モニタ１２の画面内の、特に、同一位置に表示する。これは、風景シーンの遠景の山等は略無限遠点とみなせ、無限遠点を見る場合には、図８に符号Ｌ、Ｍで示すように左右両目で画角がほとんど平行と見做せるため、各コマの画像において、無限遠点の画像（山８０の画像）は略同一位置に見えるからである。

撮影者は、Ｎ＋１コマの撮影において、モニタ１２に表示された前コマ（Ｎコマ）の残像と、実写画像であるＮ＋１コマの該当エリアとが、図８のＮ＋１コマに符号８２で示すように、重なるように画角をきめて撮影すればよい。すなわち、被写体の同一部分が重なるようにして撮影すればよい。このとき、前コマの残像画像は、エッジのみを半透明に表示するとより位置合わせが容易である。
プリント時は、関連コマ（左右の目で見た画像）を２つ並べたステレオ画像として仕上げたり、あるいは、レンチキュラーを用いて１枚の立体写真に仕上げてもよい。

従来、立体写真を撮影するには、専用のカメラや、ミラーやレンズ等のアダプタを必要としたり、２台のカメラを連結したりする等の特殊な装備が必要であった。
これに対し、上記本実施形態では、上に説明したように、コンパス等の機材なしで、確実に光軸を揃えることができ、簡単に立体写真を撮影することが可能となる。

なお、立体写真の撮影において、上述したようなモニタ表示による位置合わせ撮影では、モニタの表示精度や手振れにより、撮影画像において、無限遠点がコマ間で位置ずれを起こす可能性がある。この場合、擬似的に左右両目画像の光軸がほぼ平行な画像を得るという立体写真モードの前提が崩れてしまう。
そこで、ラボのフォトプリンタ５０における立体プリント作成処理において、位置補正を行うことが望ましい。これは、例えば、以下のような処理によって行うことができる。

立体写真モードで撮影したコマを第Ｎコマと第Ｎ＋１コマとする。
第Ｎコマ画像から撮影距離が無限遠点であるエリアを自動的に切り出し、立体プリント対象コマ（ここでは第Ｎ＋１コマ）との間で、位置ずらしによるパターンマッチングを行い、最も前記無限遠点エリアが両コマ間で一致する位置ずれベクトル（位置ずれ補正ベクトル）を検出する。
次に、第Ｎコマの画面全体について位置ずれベクトル分を平行移動して、無限遠点エリアについて両コマ間での位置ずれを解消した後、第Ｎコマ画像および第Ｎ＋１コマ画像を用いて、立体プリントを作成する。
なお、上記例では、平行移動による位置ずれ補正について記述したが、回転角のずれも同様に補正できる。

次に、本発明の画像処理方法の第３実施形態について説明する。
この第３実施形態は、本発明を動画に応用したものである。
上述した本発明の画像処理方法を第１および第２の実施形態の静止画における種々の手法に対して、上述した編集情報に加えて、動画における参照画像または合成される対象となる画像（撮影画像）の開始および終了を指示するための情報を付加することにより達成することができる。
この時、カメラ１０においては、連写（連続撮影）モードやビデオモードが設定できるようになっているのがよい。あるいは、カメラ１０自体が、デジタルビデオカメラであるのが良い。

次に、本発明の第４の態様の画像処理方法を実施する第４実施形態について説明する。
この第４実施形態は、本発明の画像処理方法を、互いに通信可能な複数のカメラに適用したものである。
ここで用いられるカメラ１０には、図１に示すように、通信部３０が設けられている。本実施形態では、複数のカメラ間で参照画像データの授受を行い、各カメラ１０における合成する画像および合成される対象となる画像に同一のグループであることを示すグループ識別情報（ＩＤ）を割り付けておき、フォトプリンタ５０での合成処理時に、このグループＩＤを用いて、各カメラ１０の撮影画像に参照画像を合成するものである。

例えば、本実施形態の実施例１においては、第１のカメラ１０で、参照画像を指定し、参照画像データを第２のカメラ１０に有線または無線で伝送する。この時、参照画像データにグループＩＤを付加しておく。このグループＩＤは、仮の設定であって良い。なお、伝送される参照画像データは、モニタ表示用であるため、撮影画像などのようなオリジナル画像より解像度が低くても良い。
次に、第２のカメラ１０では、モニタ１２に第１のカメラ１０から受信した参照画像を表示しながら、被写体を撮影する。こうして、第２のカメラ１０で撮影された画像の画像データには、グループＩＤを付加して記録するが、受信した参照画像データ自体を記録する必要はない。
画像合成時には、第１および第２のカメラ１０の撮影画像データ、参照画像指定データおよびグループＩＤを用いて、フォトプリンタ５０において、画像合成処理を実行する。

また、本実施形態の実施例２としては、上記実施例１の第２のカメラ１０において、第１のカメラ１０から参照画像データとしてオリジナル画像データ（高解像度のまま）を送信してもらい、それを撮影画像データとともに記録しておき、第２のカメラ単独のデータで、フォトプリンタ５０による画像合成処理を行っても良い。
また、本実施形態の実施例３としては、２台の以上のカメラ１０間において、相互に参照画像の指定および参照画像データの授受を行い、フォトプリンタ５０で合成画像を作成することも可能である。
また、本実施形態の実施例４としては、上述した実施例１〜３の手法を用い、グループ化された画像を、上述のフォトプリンタ５０による合成処理の他に、インデックス画像や、連続コマ再生の動画像として作成しても良い。

ところで、本発明の画像処理方法においては、撮影時におけるカメラ側での撮影画像の取得と、これらの撮影画像への種々の合成編集情報の付加は、上述した本発明のデジタルカメラ１０に限定されず、本発明の画像処理方法が実施できる構成要素を備えていれば、撮影画像を写真フィルムＦ等の画像記録媒体に記録する従来型の光学カメラ、いわゆるアナログカメラであっても良い。例えば、本発明の画像処理方法に用いられるアナログカメラの場合には、図１に示すデジタルカメラ１０の記録部２２を除く全ての構成要素を備え、記録部２２の代りに、ＡＰＳ写真フィルムではフィルムに設けられた磁気層、ＩＣチップ付きフィルムカートリッジの場合にはＩＣチップに、カメラにＩＣカードなどがある場合にはＩＣカードなどに、種々の合成編集情報をフィルムの撮影コマに関連付けて記録する記録部を有していれば良い。

以上、本発明のデジタルカメラおよび画像処理方法について、種々の実施例を挙げて詳細に説明したが、本発明は、以上説明したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な改良や変更を行ってもよいのはもちろんである。

本発明に係るカメラ（デジタルスチルカメラ）の一実施形態の概略を示すブロック図である。 （ａ）は、本発明に係る画像処理方法の一実施形態において、図１に示すカメラで被写体を撮影する様子を示す説明図であり、（ｂ）は、カメラのモニタ表示を示す説明図であり、（ｃ）は、参照画像を枠で指定する様子を示す説明図である。 （ａ）は、同じく本実施形態においてカメラで被写体を撮影する様子を示す説明図であり、（ｂ）は、画像を重ねて表示するカメラのモニタ表示を示す説明図である。 本発明に係る画像処理方法における画像合成および合成画像の出力を実施するフォトプリンタの一実施形態の概略を示すブロック図である。 本発明法で得られる完成プリントを示す説明図である。 本発明法を利用してパノラマ写真を撮影する様子を示す説明図である。 本発明法を利用してパノラマ写真を撮影する際の、モニタ表示を示す説明図である。 本発明法を利用して立体写真を撮影する様子を示す説明図である。

符号の説明

１０ カメラ
１２ モニタ
１４ ＣＣＤ
１６ 画像メモリ
１８，６０ 画像合成部
２０，５８ 画像処理部
２２ 画像記録部
２４ ＣＰＵ
２６ 操作部
２８ カメラ制御部
３０ 通信部
４０ 参照エリア
５０ フォトプリンタ
５２，７０ ドライバ
５４ フレームメモリ
５６ 情報取得部
６２ 引用画像取得部
６４ 画像出力部
６６ プリンタ
６８ 通信デバイス

Claims (20)

1. 被写体を撮像してデジタル画像データを得る撮像手段と、
   少なくともこの撮像手段による撮影済画像のデジタル画像データを記憶する画像記憶手段と、
   少なくとも現在撮影中の撮影対象画像を表示する画像表示手段と、
   合成用に参照する１つ以上の画像中の少なくとも一部領域を参照画像領域として指定する参照画像指定手段と、
   前記参照画像領域の画像である参照画像を前記現在撮影中の撮影対象画像に重ねて前記画像表示手段に表示するように合成する画像合成手段と、
   撮影時に、前記参照画像中の主要被写体と前記現在撮影中の撮影対象画像中の主要被写体との間で、濃度および色味を揃えるように、前記撮像手段を制御するカメラ制御手段とを有することを特徴とするデジタルカメラ。
2. 前記画像合成手段は、撮影時に、前記参照画像の透過率を変更して、前記参照画像と前記現在撮影中の撮影対象画像とが区別できるように、前記参照画像を前記現在撮影中の撮影対象画像に重ねて前記画像表示手段に表示すると共に、前記参照画像を前記現在撮影中の撮影対象画像に合成された合成用に参照する画像に対し、それが前記合成用に参照する画像であることを示す第１の識別情報と、前記参照画像の領域を示す指定領域情報または前記参照画像に施した加工処理内容を示す加工情報と、前記参照画像を前記現在撮影中の撮影対象画像に重ねた際における参照画像の透過率を示す合成時透過率情報とを付し、
   撮影が完了すると、前記参照画像が合成される対象となる前記現在撮影中の撮影対象画像の画像に対し、合成される対象であることを示す第２の識別情報を付し、
   画像出力時に、前記第１および第２の識別情報と、前記指定領域情報または前記加工情報と、合成時透過率情報とに基づいて、前記参照画像を前記現在撮影中の撮影対象画像の画像に合成した合成画像の画像データを作成することを特徴とする請求項１に記載のデジタルカメラ。
3. 前記主要被写体は、人物の顔である請求項１または２に記載のデジタルカメラ。
4. 前記透過率は、前記参照画像にグラデーションをかけて設定される請求項１〜３のいずれかに記載のデジタルカメラ。
5. 前記合成用に参照する画像の画像データは、撮影済画像データまたは所定の引用画像データである請求項１〜４のいずれかに記載のデジタルカメラ。
6. 前記参照画像領域は、前記画像表示手段の、前記合成用に参照する画像上における位置に表示される請求項１〜５のいずれかに記載のデジタルカメラ。
7. 前記参照画像に対し、平行移動、回転、拡縮、濃度・色修正、２値化、エッジ化、画風変更および透過率変更のいずれか１つ以上の加工処理を加えるようにした請求項１〜６のいずれかに記載のデジタルカメラ。
8. 前記参照画像を、撮影倍率に応じて、自動的に拡大または縮小して前記画像表示手段に表示する請求項１〜７のいずれかに記載のデジタルカメラ。
9. 前記参照画像指定手段は、前記参照画像領域の指定を、前記画像表示手段に表示された前記合成用に参照する１つ以上の画像の少なくとも一部領域を指定することによって行う請求項１〜８のいずれかに記載のデジタルカメラ。
10. 前記画像記憶手段は、さらに、前記合成用に参照する画像の画像データを記憶する請求項１〜９のいずれかに記載のデジタルカメラ。
11. 前記画像表示手段に表示する前記参照画像は、半透明のエッジ画像である請求項１〜１０のいずれかに記載のデジタルカメラ。
12. 前記参照画像は、前記現在撮影中の撮影対象画像の直前に撮影された画像で指定された一部領域の画像である請求項１〜１１のいずれかに記載のデジタルカメラ。
13. 被写体を撮影してデジタル画像データを取得し、これに合成用に参照する１つ以上の画像中で指定された一部領域の画像である参照画像の画像データを合成して、合成画像の画像データを作成する画像処理方法であって、
    撮影時に、前記参照画像中の主要被写体と現在撮影中の撮影対象画像中の主要被写体との間で濃度および色味を揃えるように撮影条件を制御し、かつ、前記参照画像の透過率を変更して、前記参照画像と前記現在撮影中の撮影対象画像とが区別できるように、前記参照画像を前記現在撮影中の撮影対象画像に重ねて表示すると共に、
    前記現在撮影中の撮影対象画像に合成する参照画像を指定された合成用に参照する画像に対し、それが前記合成用に参照する画像であること示す第１の識別情報と、前記参照画像の領域を示す指定領域情報または前記参照画像に施した加工処理内容を示す加工情報と、前記参照画像を前記現在撮影中の撮影対象画像に重ねた際における参照画像の透過率を示す合成時透過率情報とを付し、
    撮影が完了すると、前記参照画像が合成される対象となる前記現在撮影中の撮影対象画像の画像に対し、合成される対象であることを示す第２の識別情報を付し、
    画像出力時に、前記第１および第２の識別情報と、前記指定領域情報または前記加工情報と、合成時透過率情報とに基づいて、前記参照画像を前記現在撮影中の撮影対象画像の画像に合成した合成画像の画像データを作成することを特徴とする画像処理方法。
14. 前記主要被写体は、人物の顔である請求項１３に記載の画像処理方法。
15. 請求項１３または１４に記載の画像処理方法であって、
    さらに、合成順序に関する情報を、前記第１および第２の識別情報に加えて、この合成順序に関する情報をも用いて前記合成画像の画像データを作成することを特徴とする画像処理方法。
16. 前記合成画像の画像データは、合成プリントの作成、画像データ記録媒体への書き込み、および通信網を介しての配信に用いられることを特徴とする請求項１３〜１５のいずれかに記載の画像処理方法。
17. 請求項１３〜１６のいずれかに記載の画像処理方法であって、
    さらに、前記画像出力時の合成処理の際に、前記参照画像中の主要被写体と前記現在撮影中の撮影対象画像中の主要被写体との間で濃度および色味を揃えるように調整を行うことを特徴とする画像処理方法。
18. 前記参照画像は、前記現在撮影中の撮影対象画像の直前に撮影された画像で指定された一部領域の画像である請求項１３〜１７のいずれかに記載の画像処理方法。
19. 被写体を撮影してデジタル画像データを取得し、これに合成用に参照する画像中で指定された一部領域の画像である参照画像の画像データを合成して、合成画像の画像データを作成する画像処理方法であって、
    複数のカメラに、前記合成用に参照する１以上の画像、および、前記合成用に参照する各画像中で指定された参照画像の領域の情報を記憶しておき、
    撮影時に、撮影を行なうカメラによって前記参照画像を指定して、前記複数のカメラ間で指定された１つ以上の前記参照画像の画像データの授受を行い、指定した参照画像に参照画像指定データを付し、また、前記参照画像中の主要被写体と現在撮影中の撮影対象画像中の主要被写体との間で濃度および色味を揃えるように撮影条件を制御して、かつ、前記参照画像の透過率を変更して、前記参照画像と前記現在撮影中の撮影対象画像とが区別できるように、前記参照画像を前記現在撮影中の撮影対象画像に重ねて表示し、さらに、この現在撮影中の撮影対象画像および参照画像に、同一のグループの画像であることを示すグループ識別情報を付しておき、
    画像出力時に、前記複数のカメラの各々の撮影画像、前記参照画像指定データおよびグループ識別情報を用いて、前記複数のカメラの各々の撮影画像に前記参照画像を合成する合成処理を行なうことを特徴とする画像処理方法。
20. 前記参照画像は、半透明のエッジ画像である請求項１３〜１９のいずれかに記載の画像処理方法。

Images