JP4898655B2 - 撮像装置及び画像合成プログラム - Google Patents

Description

本発明は、撮像装置及び画像合成プログラムに関する。

従来から、撮影者と被撮影者とを同一画像に記録するために、第１のカメラで撮像した撮影者側の画像データから撮影者の顔領域を検出し、第２のカメラで撮像した被撮影者側の画像データから被撮影者の領域と、被撮影者が含まれない領域とを判別し、被撮影者が含まれない領域に、先に検出した撮影者の顔領域を合成することにより、撮影者と被撮影者とが合成された画像を表示することができる撮像装置が知られている（例えば、特許文献１参照）。
特開２００５−０９４７４１号公報

ところで、近年の携帯電話端末は、デジタルカメラの機能を備えているものが増えている。ひとりで旅行をした場合などに、携帯電話端末のカメラを使用して名所の風景を背景にして自分の姿を写真に撮りたい場合は、他人にシャッターを押すのを依頼するか、携帯電話端末を片手で持ってカメラを自分の方に向けてシャッターを押さなければならない。

しかしながら、他人に撮影を依頼する場合には、思った通りの構図の写真が得られなかったり、自身が片手で持って撮影する場合には、カメラと自分との距離に限りがあるため、自由な構図の写真にすることができないという問題がある。また、特許文献１に示す撮像装置にあっては、撮影者側の画像データから撮影者の顔領域を検出し、撮影者の顔領域を切り取った状態の画像を合成するものであるため、自然な構図の写真にすることができないという問題がある。また、被撮影者が含まれない領域を判別し、この被撮影者が含まれない領域に対して、切り取った撮影者の顔領域を合成するものであるため、背景を風景としたい場合には、合成することができないという問題もある。

本発明は、このような事情に鑑みてなされたもので、背景と自分の姿を自分ひとりで撮影し、自然な構図の写真画像を得ることができる撮像装置及び画像合成プログラムを提供することを目的とする。

本発明は、画像を表示する表示手段と、前記表示手段の表示方向と同方向の撮影者の胸像を撮像して第１の画像データを得る第１の撮像手段と、前記第１の撮像手段と反対方向の背景画像を撮像して第２の画像データを得る第２の撮像手段と、前記第１の撮像手段によって、撮影者の胸像を含み背景のみ異なる前記第１の画像データを複数得る胸像画像取得手段と、前記複数の第１の画像データの差分を解析して、異なる部分を取り除くことにより前記撮影者の胸像画像を抽出する胸像画像抽出手段と、前記第２の撮像手段によって撮像した前記第２の画像データを前記表示手段に表示し、該表示画像上において指定した任意の位置に前記胸像画像抽出手段によって抽出した前記胸像画像を合成する画像合成手段とを備えたこと特徴とする。

本発明は、前記第１の撮像手段は、前記第２の撮像手段より解像度が低いことを特徴とする。

本発明は、画像を表示する表示手段と、前記表示手段の表示方向と同方向の撮影者の胸像を撮像して第１の画像データを得る第１の撮像手段と、前記第１の撮像手段と反対方向の背景画像を撮像して第２の画像データを得る第２の撮像手段とを備えた撮像装置において、画像を合成する画像合成プログラムであって、前記第１の撮像手段によって、撮影者の胸像を含み背景のみ異なる前記第１の画像データを複数得る胸像画像取得ステップと、前記複数の第１の画像データの差分を解析して、異なる部分を取り除くことにより前記撮影者の胸像画像を抽出する胸像画像抽出ステップと、前記第２の撮像手段によって撮像した前記第２の画像データを前記表示手段に表示し、該表示画像上において指定した任意の位置に前記胸像画像抽出ステップによって抽出した前記胸像画像を合成する画像合成ステップとをコンピュータに行わせること特徴とする。

本発明によれば、背景画像と、撮影者の胸像を含み背景のみ異なる胸像画像を複数撮像するとともに、得られた複数の胸像画像の差分を解析して、異なる部分を取り除くことにより撮影者の胸像のみを抽出し、背景画像上において指定した任意の位置に抽出した胸像の画像を合成するようにしたため、あたかもその背景をバックにして自分の姿を撮影したような自然な構図の写真画像を得ることが可能になるという効果が得られる。

以下、本発明の一実施形態による撮像装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号Ｔは、携帯電話等の携帯端末である。符号１は、携帯端末Ｔ内に備えた撮像装置の処理動作を制御する制御部である。符号２は、ダイヤルキーやキースイッチ等から構成する入力部である。符号３は、カラー表示が可能な液晶のディスプレイ装置等から構成する表示部である。符号４、５は、デジタルのカラー画像データを取得することができるカメラである。２つのカメラ４、５の撮像方向は相反する方向となるように配置されており、一方のカメラ４の撮像方向は、表示部３が画像を表示する方向とほぼ一致しており、他方のカメラ５の撮像方向は、表示部３の表示方向とは反対の方向となっている。また、カメラ４の撮像画素数は、カメラ５の撮像画素数の１／４程度になっており、カメラ４は、カメラ５より低解像度の性能を有している。符号６は、２つのカメラ４、５によって撮像した画像のデータを記憶する画像記憶部である。符号７は、画像記憶部６に記憶されている画像データに対して画像処理を施して、２つのカメラ４、５によって撮像した２つの画像を合成する画像処理部である。符号８は、画像処理部７が画像処理に必要な情報を記憶する情報記憶部である。

ここで、図１６、図１７を参照して、図１に示す携帯端末Ｔに備えた撮像装置の機能と画像撮像動作を説明する。まず、撮影者は、入力部２を操作して、カメラで画像を撮像する機能のメニューを選択する（図１６（１））。２つのカメラ４、５が起動すると、カメラ５によって撮像された動画像が表示部３に表示される。撮影者は、背景の構図が決まった時点で、入力部２の「撮影」ボタンを押下する。これを受けて、制御部１は、カメラ５によって撮像した静止画像（背景画像）を画像記憶部６に記憶する。そして、画像記憶部６に記憶された静止画像が表示部３に表示されることになる（図１６（２））。

背景の撮影が完了すると、制御部１は、カメラ４によって撮像された動画像を表示部３に合成して（重ねて）表示する（図１６（３））。撮影者は、図１７に示すように、カメラ４によって撮像した自身の胸像画像のうち、背景のみが異なる画像となるように、携帯端末Ｔを左右に動かす。このとき撮影者は、自分自身と携帯端末Ｔの位置関係が変化しないように（撮像される胸像が変化しないように）、携帯端末Ｔを左右に動かす。

制御部１は、撮影者が携帯端末Ｔを左右に動かしている間に、所定時間間隔（例えば、カメラのフレームレート間隔）毎に、静止画像を画像記憶部６へ記憶する。画像処理部７は、複数の胸像画像に対して、後述する画像処理を施して、胸像のみを抽出する。制御部１は、画像処理部７の処理経過の画像を表示部３に表示する。この画像処理によって、胸像を撮像したカメラ４の画像から背景のみが除去されていき、カメラ５によって撮像した背景画像に対して胸像のみが合成されて表示部３に表示される（図１６（４））。

撮影者は、自分の胸像のみが抽出された時点で、入力部２の「撮影」ボタンを押下する。これを受けて、画像処理部７は、胸像抽出処理を停止するとともに、撮影者は、入力部２の左右キーを操作して、画像処理によって抽出された胸像を背景画像上で左右に移動して、胸像の表示位置を決定する。制御部１は、左右キーの操作量を読み取り、この操作量に応じて、表示部３に表示されている胸像を左右に移動する。撮影者は、胸像の位置が決まった時点で、入力部２の「撮影」ボタンを押下する。これを受けて、制御部１は、背景画像と胸像画像を合成して、画像記憶部６に記憶する。これによって背景画像上に胸像の輪郭に沿って切り取った胸像画像が合成された写真画像が得られることになる（図１６（６））。

次に、図２〜図１５を参照して、背景画像と胸像画像を合成するために、得られた複数の画像から胸像のみを抽出する動作を説明する。図２は、図１に示す画像処理部７の各処理の構成を示すブロック図である。図２において、符号７１は、画像を入力する画像入力部である。符号７２は、多重の解像度を持つ画像を生成する多重解像度生成部である。符号７３は、オプティカルフロー解析を行うオプティカルフロー解析部である。符号７４は、複数の画像間の差分を解析する差分解析部である。符号７５は、ゴースト画像を除去するゴースト除去部である。符号７６は、差分統計処理を行う差分統計部である。符号７７は、画像中のノイズを除去するノイズ除去部である。符号７８は、胸像を抽出するためのマスクを決定する胸像マスク決定部である。図２において、各ブロック間の矢印線は、情報の流れを示している。

次に、画像処理部７が行う画像処理の概要を説明する。画像処理部７は、図２に示すように、Ｎ（Ｎは２以上の自然数）枚の胸像が含まれる画像からＮ−１枚の胸像マスクを生成する。１枚目の画像からは多重解像度画像が生成されるが、マスクは生成されない。２枚目の画像からは、１枚目同様に多重解像度画像が生成されるが、この多重解像度画像とＮ−１枚目の多重解像度画像から、オプティカルフロー解析により前景と背景の各動きベクトルが生成され、この動きベクトルからは、差分解析により、Ｎ−１枚目とＮ枚目の画像に基づく各画素の前景と背景の推定マップが生成される。この推定マップからは、２つの動きベクトルの差に基づくゴーストを除去し、推定マップはＮ−１枚目までの推定マップと加算され、差分統計が生成される。差分統計からノイズを除去し、背景と前景の推定確率から胸像マスクが生成される。図２においては、３枚の画像を入力することを示しているが、４枚目以降も３枚目の画像に対する処理と同様である。

次に、図２に示す画像処理のそれぞれについて説明する。まず、図３を参照して、図２に示す画像入力部７１の動作を説明する。以下に説明する処理動作が開始されるまでに、画像記憶部６には、カメラ５によって撮像した背景画像データと、カメラ４によって撮像した胸像画像データが記憶されているものとして説明する。

画像入力部７１は、画像記憶部６に記憶されている胸像画像データを入力する。ここで、画像入力部７１は、読み込んだ画像データのフォーマットに応じて、コンポーネント変換処理を行う。読み込んだ画像データのフォーマットが輝度情報で構成する画像データであった場合、コンポーネント変換は行わない。一方、読み込んだ画像データのフォーマットがＲＧＢデータで構成する画像データであった場合、コンポーネント変換によって輝度情報に変換する。画像データのフォーマットの識別は、画像データのヘッダ情報を参照することにより判定する。

ＲＧＢデータから輝度データへのコンポーネント変換は（１）式を用いて行う。
Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３ ・・・・（１）
ここで、Ｙは、輝度、Ｒ、Ｇ、Ｂは、ＲＧＢそれぞれの画素値である。

コンポーネント変換の有無による出力精度の変化は大きなものではないが、カメラ４、５からＹＵＶ形式で画像が得られる場合、Ｙを輝度情報として直接入力する方が精度の面でも実行速度の面でも望ましい。画像入力部７１は、コンポーネント変換後の画像（輝度情報）を画像記憶部６へ書き込む。以下の説明における入力画像とは、輝度情報で構成する画像データのことである。

次に、図４を参照して、図２に示す多重解像度生成部７２の動作を説明する。多重解像度生成部７２は、後で行うオプティカルフロー解析のために低域通過フィルタを用いて多重解像度画像を生成する。ここで多重解像度画像とは、同じ画像の複数の解像度表現を同時に保持する画像のことである。多重解像度生成部７２は、画像記憶部６に記憶されている画像データに対して、水平・垂直方向共に低域通過フィルタをかけて、２：１ダウンサンプリングを行い、面積が１／４となる縮小画像を得る。多重解像度生成部７２は、得られた縮小画像から再度ダウンサンプリングにより面積１／１６の縮小画像を得る。この処理動作によって、多重解像度生成部７２は、入力画像を含め、３重解像度（１／１、１／４、１／１６）の画像が生成されることになる。ダウンサンプリングは５タップの低域通過フィルタを用い、伝達関数は（２）式に示す通りである。多重解像度生成部７２は、得られた多重解像度画像を画像記憶部７へ記憶する。
Ｌ＝（−ｚ_−２＋２ｚ_−１＋６ｚ_０＋２ｚ_１−ｚ_２）／８ ・・・・（２）
ただし、ｚ_−２〜ｚ_２は、注目画素ｚ_０の水平又は垂直に隣接する４つの画素の値である。

次に、図５を参照して、図２に示すオプティカルフロー解析部７３の動作を説明する。オプティカルフロー解析部７３は、画像記憶部６に記憶されている直前の多重解像度画像（図６（ａ））と最新の多重解像度画像（図６（ｂ））を比較し、画像上における前景と背景のそれぞれの動きベクトル（図６（ｃ））を生成する。動きベクトルは、図７に示すように、直前の多重解像度画像と最新の多重解像度画像にそれぞれ同サイズの矩形Ｐ（図７（ａ））と矩形Ｃ（図７（ｂ））をとり、各矩形内の同位置にある画素同士の違いが最も小さくなる時の、矩形Ｐから矩形Ｃの位置への相対座標として計算する。矩形内の画素の違いとは、画素値の差の２乗と定義し、この値が最も小さくなる矩形とは、矩形内に含まれる画素の違いの平均が最も小さい矩形と定義する。

座標空間を画像の左上に（０，０）、画像の右下に（１，１）として取ったとき、前景の動きベクトル解析のための矩形Ｐは、左上（３／８，１／２）、右下（５／８，１）の範囲に固定する。背景のための矩形Ｐは、左上（１／１０，１／１０），右下（１／４，３／４）と、左上（３／４，１／１０），右下（９／１０，３／４）の２つに固定する。すなわち、前景は画像の中央下部に、背景は左上隅と右上隅に存在すると仮定する（図８参照）。

なお、背景について、矩形ＰおよびＣが２つずつあるが、２つの矩形Ｃ同士の位置関係は２つの矩形Ｐ同士の位置関係と同じである。つまり、２つの矩形Ｃは連動しており、得られる動きベクトルは１つである。矩形Ｐは固定されているため、オプティカルフロー解析は未知の矩形Ｃの位置の検索を意味する。２つの入力画像は時間的に近いと仮定すると、動きベクトルのサイズは小さいと考えられるので、矩形Ｃの検索範囲を矩形Ｐの近傍に限定する。また、カメラと撮影対象の位置関係があまり変化しないと仮定すると、背景と比較して前景の動きベクトルはより小さいと考えられるので、前景の矩形Ｃの検索範囲は背景よりも狭くとる。

矩形Ｃの検索は、多重解像度画像の低解像度表現から高解像度表現に向けて段階的に行う。低解像度表現では検索対象の面積と動きベクトルが小さくなるため、広範囲を高速に検索することができる。高解像度表現では逆に検索が低速になるが、低解像度表現で候補が絞り込まれるため、範囲を狭めることで高速に検索できる。オプティカルフロー解析部７３は、まず最低解像度表現において、前景については矩形Ｐの水平・垂直共に±１画素の範囲で、背景については水平に±３、垂直に±２の範囲で、最も良く適合する矩形Ｃを検索する。低解像度表現での検索結果は、次の高解像度表現における検索範囲の中心として利用する。最低解像度以外の表現における矩形Ｃの検索能囲は、前の低解像度表現の検索結果に対して、水平・垂直共に±１画素の範囲である。

画像は３重解像度を持つため、検索範囲は、前景については水平・垂直共に±７画素（（（１×２＋１）×２）＋１）、背景については水平に±１５、背景に±１１画素（（（３×２＋１）×２）＋１）および（（２×２＋１）×２）＋１）である。画角、背景までの距離、前景までの距離、カメラ移動速度、解像度、フレームレートなどの要因により適切な検索範囲は変わる。検索範囲が不足した場合、ダウンサンプリング回数の増加か、最低解像度における検索範囲の拡大が必要になる。オプティカルフロー解析部７３は、得られた動きベクトル情報を情報記憶部８に記憶する。

次に、図９を参照して、図２に示す差分解析部７４の動作を説明する。差分解析部７４は、最新の入力画像全体に対して、情報記憶部８に記憶されている前景と背景の各動きベクトルを適用し、各画素について直前の入力画像との差の大小で前景か背景かを推定する。差分解析部７４は、直前の入力画像（画像Ｐと呼ぶ）と、前景の動きベクトル分ずらした最新の入力画像（画像Ｆと呼ぶ）と、背景の動きベクトル分ずらした最新の入力画像（画像Ｂとよぶ）の、計３枚を重ね合わせる。３枚の画像が重なった範囲について、全画素を走査し、３枚の画像からの画素を比較する。各画素について、画像Ｐと画像Ｆの違いよりも画像Ｐと画像Ｂの違いの方が大きかった場合、その画素位置は前景の候補と推定する（図１０参照）。そうでない場合、背景の候補と推定する。なお、画素の違いとは、差の２乗を言う。これにより、直近２枚の画像に基づく背景か前景かの二値の推定マップが生成されることになる。差分解析部７４は、得られた推定マップを情報記憶部８へ記憶する。

次に、図１１を参照して、図２に示すゴースト除去部７５の動作を説明する。ゴースト除去部７５は、差分解析部７４によって得られ、情報記憶部８に記憶されている推定マップに含まれるゴースト成分を除去する。ここでいうゴーストとは、本来得るべき像に対してオフセットした像が重なっている状態をいう。ゴーストは次の理由で発生する。直前の入力画像と比較して、最新の入力画像内においては、前景と背景の各動きベクトルの差の分、前景と背景の相対位置が異なっている。つまり、画像Ｐと画像Ｂを重ねた場合、２枚の画像内の背景の位置は一致しているが、前景位置はずれている。一方で画像Ｐと画像Ｆを重ねた場合、２枚の面像内の前景位置は一致しているが、背景はずれている。差分解析部７４において計算される差分について考えると、画像Ｐと画像Ｂの重ね合わせの内、どちらの画像でも前景ではない画素については、画像Ｐと画像Ｂよりも画像Ｐと画像Ｆの方が違いが大きいため、正しく背景と推定される可能性が高い。また、残る領域の内、画像Ｐで前景に含まれる画素については、画像Ｐと画像Ｆの重ね合わせにおいて、画像Ｆの前景に一致するため、画像Ｐと画像Ｆよりも画像Ｐと画像Ｂの方が違いが大きく、正しく前景と推定される可能性が高い。

しかし、さらに残る領域については、問題が生じる。残る領域は、画像Ｐと画像Ｂの重ね合わせにおいては、背景と（移動した）前景の比較になる。一方、画像Ｐと画像Ｆの重ね合わせにおいては、背景と（移動した）背景の比較になる。双方とも移動しているため違いは大きくなるが、一般的には背景同士の近傍（背景の動きベクトル分の距離）の違いよりも前景と背景の違いの方が大きい。つまり画像Ｐと画像Ｆよりも画像Ｐと画像Ｂの方が違いが大きいため、前景と推定される。よって、推定された前景に対し、前景と背景の動きベクトルの差の分を移動した偽の前景（ゴースト）を重ね合わせた推定マップが、差分解析によって生成されていると考えられる。ゴースト除去部７５では、全画素を走査し、ある画素と前景と背景の動きベクトルの差を相対位置に持つ画素の両方が前景と推定されている場合のみ前者の画素を前景として残し、そうでない場合の前者の画素を背景として推定を変更することで、ゴーストが除去された推定マップを生成する。ゴースト除去部７５は、情報記憶部８に記憶されている推定マップに対して、ゴーストが除去された推定マップを上書きすることによって更新する。

次に、図１２を参照して、図２に示す差分統計部７６の動作を説明する。差分統計部７６は、情報記憶部８に記憶されている推定マップの全履歴を合算することで、差分統計を生成する。合算は、動きベクトルの大きさに基づく重み付き和として行う。ノイズや光源の影響により、個々の推定マップにおける推定の精度は高くはない。差分統計部７６は、それまでに得られた全ての推定マップによる投票により、より精度の高い推定を差分統計として得る。ある推定マップのある画素による加算値は、その推定マップにおける背景の動きベクトルの水平成分の絶対値をＶとすると、前景と推定されていればＶ、背景と推定されていれば−Ｖである。つまり、背景が大きく動いている場合は個々の推定マップの精度が高いと仮定し、より大きな重みを持たせる。全推定マップの全画素による投票の結果として、各画素に整数値を持つ差分統計が生成される。差分統計部７６は、得られた差分統計情報を情報記憶部８に記憶する。

次に、図１３を参照して、図２に示すノイズ除去部７７の動作を説明する。ノイズ除去部７７は、胸像の一般的な形状を前提として差分統計に表れるノイズを除去し、前景マップを生成する。ノイズ除去部７７は差分統計の閾値を決定し、差分統計を二値化し、孤立した前景判定を背景として補正することでノイズを除去する。まず、差分統計の二値化の閾値を決定するため、差分統計の全ての水平ラインをＬ・Ｃ・Ｒの３つの領域に分ける。Ｌの左端はラインの左端であり、Ｒの右端はラインの右端である。Ｌの右端はＣの左端と一致している。入力画像の幅をｗ、高さをｈとすると、Ｌの右端は、ｙ＝０からｙ＝０．２ｈまでのラインではｘ＝０．５ｗからｘ＝０．３ｗまでの線形補完、ｙ＝０．２ｈからｙ＝０．８ｈまではｘ＝０．３ｗ、ｙ＝０．８ｈからｙ＝ｈまではｘ＝０．３ｗからｘ＝０までの線形補完である。Ｒの左端はＣの右端と一致しており、０．５ｗに対してＬの右端と対称である。

左上（０，０）、右下（ｗ／６，ｈ／２）の範囲の差分統計の最大値をＬＭＡＸ、左上（ｗ５／６，０）、右下（ｗ，ｈ／２）の範囲の差分統計の最大値をＲＭＡＸ、差分統計全体の平均値をＡＶＧとすると、Ｌの左端から右端にかけてはＬＭＡＸからＡＶＧの線形補完、Ｃ内はＡＶＧ、Ｒの左端から右端に欠けてはＡＶＧからＲＭＡＸまでの線形補完を、差分統計の二値化の閾値とする。これにより、前景である確率の低い左上と右上は高い閾値で、前景である確率の高い中央と下部は低い閾値で二値化することができる。図１４に示す例は閾値の分布を表す。白い部分がＬＭＡＸまたはＲＭＡＸ、黒い部分がＡＶＧで、中間色は線形補完である。

次に、閥値により差分統計を二値化する。最後に、孤立した前景判定を補正する。二値化した差分統計の背景部分には前景と誤判定された画素が多数含まれる。経験的に、これらの画素は少数の固まりで孤立している事がわかっているので、前景と判定された全画素に対し領域塗りつぶしを行い、２０画素以上の連続領域に含まれる前景画素のみを残し、他の全てを背景画素として補正する。ノイズ除去の結果、ある程度の大きさを持つ（多くの場合は複数の）前景領域とその他の背景領域に二値化された前景マップを生成する。ノイズ除去部７７は、得られた前景マップを情報記憶部８に記憶する。

次に、図１５を参照して、図２に示す胸像マスク決定部７８の動作を説明する。胸像マスク決定部７８は、情報記憶部８に記憶されている前景マップに含まれる分断された前景領域を接続し、背景領域との境界をなめらかにし、最終的な胸像マスクを生成する。まず、前景マップの全ての水平ラインについて、そのライン中の前景領域の最も左の前景判定と最も右の前景判定を探す。肩の補正のため、前景マップの下部３／４については、前景マップの左端に前景領域が接しているラインが存在する場合、それより下のラインは全て左端に接しているものとして扱う。同様に右端も下方向に拡張する。

次に、最も左の前景判定の位置について、１１タップの重み付き平滑化を行う。ただし、前景領域が含まれないラインは計算から除く。また、肩の補正のため、平滑化後の値ＬＡＶＧが、前景マップ下端から走査して初めてＬＡＶＧ_ｙ＜ＬＡＶＧ_ｙ−１となったラインから下端までＬＡＶＧ_ｙの値をコピーする。最も右の前景判定についても同様とし、平滑化後の値をＲＡＶＧとする。ノイズ除去でも残ったノイズへの対策として、突出した位置にある前景判定を除外するため、ＬＡＶＧ_ｙから｜ＬＡＶＧ_ｙ−１−ＬＡＶＧ_ｙ＋１｜を引いた位置より左にある前景判定は無視して、最も左にある前景判定を再走査し、平滑化と肩の補正を同様に行う。右についても同様とする。頭頂部のノイズヘの対策として、頭頂部より上に生じる独立した領域を消去するため、前景マップ中央から上に走査し、初めてＲＡＶＧ＜ＬＡＶＧとなるラインより上はＬＡＶＧが前景マップの右端、ＲＡＶＧが左端となるよう上書きする。最後に、全てのラインについて、ＬＡＶＧからＲＡＶＧまでをマスク値２５５の前景、それ以外をマスク値０の背景とし、ＬＡＶＧの右３画素とＲＡＶＧの左３画素をぼかすため線形補完し、胸像マスクとする。胸像マスク決定部７８は、得られた胸像マスクを情報記憶部８に記憶する。

画像処理部７は、情報記憶部８に記憶されている胸像マップを使用して、カメラ４によって撮像し、画像記憶部６に記憶されている胸像画像から背景部分を除いた胸像のみの画像を抽出し、カメラ５によって撮像し、画像記憶部６に記憶されている背景画像に対して、抽出した胸像画像を合成する。これにより、自然な構図の写真画像を得ることができる。特に、胸像の輪郭に沿って切り取った胸像を背景画像に合成するようにしたため、あたかもその背景をバックにして撮影したような画像を得ることができる。また、カメラ４の撮像画素数がカメラ５の撮像画素数の１／４程度になっているため、胸像画像を合成する場合に、胸像画像の拡大・縮小処理を行うことなく合成することができる。また、背景画像を撮像するカメラ５の撮像方向を表示部３の表示方向とは反対方向としたため、撮影者は、表示部３を見ながら背景の構図を決めることができる。また、胸像画像を撮像するカメラ４の撮像方向を表示部３の表示方向と同一方向としたため、撮影者は、表示部３を見ながら胸像の構図を決めることができる。

このように、背景画像と、撮影者の胸像を含み背景のみ異なる胸像画像を複数撮像するとともに、得られた複数の胸像画像の差分を解析して、異なる部分を取り除くことにより撮影者の胸像のみを抽出し、背景画像上において指定した任意の位置に抽出した胸像の画像を合成するようにしたため、あたかもその背景をバックにして自分の姿を撮影したような自然な構図の写真画像を得ることが可能になる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像の撮像処理及び画像の合成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明の一実施形態の構成を示すブロック図である。 図１に示す画像処理部７の構成を示すブロック図である。 図２に示す画像入力部７１の構成を示す説明図である。 図２に示す多重解像度生成部７２の構成を示す説明図である。 図２に示すオプティカルフロー解析部７３の構成を示す説明図である。 図２に示すオプティカルフロー解析部７３の動作を示す説明図である。 図２に示すオプティカルフロー解析部７３の動作を示す説明図である。 図２に示すオプティカルフロー解析部７３の動作を示す説明図である。 図２に示す差分解析部７４の構成を示す説明図である。 図２に示す差分解析部７４の動作を示す説明図である。 図２に示すゴースト除去部７５の構成を示す説明図である。 図２に示す差分統計部７６の構成を示す説明図である。 図２に示すノイズ除去部７７の構成を示す説明図である。 図２に示すノイズ除去部７７の動作を示す説明図である。 図２に示す胸像マスク決定部７８の構成を示す説明図である。 図１に示す携帯端末Ｔの動作を示す説明図である。 図１に示す携帯端末Ｔの動作を示す説明図である。

符号の説明

Ｔ・・・携帯端末、１・・・制御部、２・・・入力部、３・・・表示部、４、５・・・カメラ、６・・・画像記憶部、７・・・画像処理部、８・・・情報記憶部

Claims (3)

1. 画像を表示する表示手段と、
   前記表示手段の表示方向と同方向の撮影者の胸像を撮像して第１の画像データを得る第１の撮像手段と、
   前記第１の撮像手段と反対方向の背景画像を撮像して第２の画像データを得る第２の撮像手段と、
   前記第１の撮像手段によって、撮影者の胸像を含み背景のみ異なる前記第１の画像データを複数得る胸像画像取得手段と、
   前記複数の第１の画像データの差分を解析して、異なる部分を取り除くことにより前記撮影者の胸像画像を抽出する胸像画像抽出手段と、
   前記第２の撮像手段によって撮像した前記第２の画像データを前記表示手段に表示し、該表示画像上において指定した任意の位置に前記胸像画像抽出手段によって抽出した前記胸像画像を合成する画像合成手段と
   を備えたことを特徴とする撮像装置。
2. 前記第１の撮像手段は、前記第２の撮像手段より解像度が低いことを特徴とする請求項１に記載の撮像装置。
3. 画像を表示する表示手段と、前記表示手段の表示方向と同方向の撮影者の胸像を撮像して第１の画像データを得る第１の撮像手段と、前記第１の撮像手段と反対方向の背景画像を撮像して第２の画像データを得る第２の撮像手段とを備えた撮像装置において、画像を合成する画像合成プログラムであって、
   前記第１の撮像手段によって、撮影者の胸像を含み背景のみ異なる前記第１の画像データを複数得る胸像画像取得ステップと、
   前記複数の第１の画像データの差分を解析して、異なる部分を取り除くことにより前記撮影者の胸像画像を抽出する胸像画像抽出ステップと、
   前記第２の撮像手段によって撮像した前記第２の画像データを前記表示手段に表示し、該表示画像上において指定した任意の位置に前記胸像画像抽出ステップによって抽出した前記胸像画像を合成する画像合成ステップと
   をコンピュータに行わせることを特徴とする画像合成プログラム。

Images