JP3591575B2 - Image synthesizing apparatus and image synthesizing method - Google Patents

Image synthesizing apparatus and image synthesizing method Download PDF

Info

Publication number
JP3591575B2
JP3591575B2 JP37487998A JP37487998A JP3591575B2 JP 3591575 B2 JP3591575 B2 JP 3591575B2 JP 37487998 A JP37487998 A JP 37487998A JP 37487998 A JP37487998 A JP 37487998A JP 3591575 B2 JP3591575 B2 JP 3591575B2
Authority
JP
Japan
Prior art keywords
image
subject
background
background image
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP37487998A
Other languages
Japanese (ja)
Other versions
JP2000196956A (en
Inventor
浩 橋本
博彦 樋笠
恵穂 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Software Engineering Co Ltd
Original Assignee
Hitachi Software Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Software Engineering Co Ltd filed Critical Hitachi Software Engineering Co Ltd
Priority to JP37487998A priority Critical patent/JP3591575B2/en
Publication of JP2000196956A publication Critical patent/JP2000196956A/en
Application granted granted Critical
Publication of JP3591575B2 publication Critical patent/JP3591575B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、被写体のデジタル画像と、別のデジタル画像を合成してシールや葉書き、あるいはフロッピーディスクなどの出力媒体に出力する画像合成方法および装置に関するものである。
【0002】
【従来の技術】
従来、街頭、店先、ゲームセンタ等に設置されている画像プリント装置では、あらかじめ用意した複数のフレーム画像(ハートマーク、キャラクタや風景画等)の中から利用者が選択したフレーム画像に、カメラ(ディジタルカメラ)で撮影した被写体画像を合成し、プリントアウトして利用者に提供している。
この画像プリント装置を使用する際は、利用者は先ず用意された複数のフレーム画像の中から好みのフレーム画像を選択する。フレーム画像が選択されると、モニタ画面に、選択されたフレーム画像とカメラで撮影された被写体である利用者が同時に写し出される。利用者はモニタ画面を見ながら移動して、フレーム画像中の自分の位置を決定する。位置決定後、被写体が撮影され、被写体画像とフレーム画像が合成されてプリントアウトされる。
特開平10−186473号公報に記載のものは、奥行きがあって面白味のある合成画像を作成する為に、複数の異なる前景フレームと背景フレームを用意し、利用者の選択した任意の前景フレーム画像と背景フレーム画像の間に被写体画像を挟み込んで画像合成するようにしている。
【0003】
【発明が解決しようとする課題】
しかしながら、従来の画像プリント装置では、被写体画像は選択したフレーム画像の前方或いは後方にしか表示できない。また、特開平10−186473号公報に記載のものは、用意する前景フレームと背景フレームは異なるパターンの画像である。従って、1枚の背景画の中の任意の奥行の位置に被写体画像を合成することはできないという問題があった。
また、従来の画像プリント装置では、モニタ画像を見ながら被写体である利用者が移動することにより、フレーム画像中の被写体画像の配置を決めていた。
【0004】
従って、フレーム画像中の被写体画像の位置は限られた範囲でしか移動させることができず、被写体画像の大きさもあらかじめ定められた大きさでしか合成することができなかった。
更に、従来の画像プリント装置では、被写体画像は選択したフレーム画像によらず一定の明度と彩度で合成される。従って、合成された画像では、被写体が背景から浮かび上がったようになり、背景に溶け込んだ自然な合成画像を得ることができなかった。
【0005】
本発明の目的は、利用者が選択した背景画の中の奥行を含む任意の位置に、利用者の選択に応じた任意の角度や大きさで背景画像に馴染ませて被写体画像を合成することで、自然で面白味のある合成画像が得られる画像合成画像装置および方法を提供することにある。
【0006】
【課題を解決するための手段】
上記目的を達成するために、本発明は、被写体を撮影するカメラと、複数組の背景画像を記憶した背景画像記憶手段と、前記各組の背景画像を複数の領域に分割した各分割領域別に、被写体画像との合成のための明度、彩度のデータを前記各組の背景画像別に記憶した領域別明度・彩度記憶手段と、前記背景画像記憶手段に記憶されている背景画像の中から任意の背景画像を選択する背景画像選択手段と、前記カメラにより撮影された被写体画像を、前記背景画像選択手段により選択された背景画像中に合成するための位置、角度、大きさの指標のうち少なくとも位置の指標を指示する指示手段と、前記指示手段で指示された位置に対応する領域別の明度および彩度のデータを前記領域別明度・彩度記憶手段から読み出し、その明度および彩度のデータにより前記カメラで撮影された被写体画像の明度および彩度を補正し、前記背景画像選択手段で選択された背景画像中の前記指示手段で指示された位置に、所定の角度と大きさまたは前記指示手段で指示された指標に従って合成する画像合成処理手段と、この画像合成処理手段の合成処理結果を予め定めた出力媒体に出力する出力手段とを備えたことを特徴とする.
【0007】
また、前記背景画像記憶手段に記憶される各組の背景画像は、該背景画像中に存在する背景構成要素を奥行方向の位置に応じて分離した複数の背景画像群から構成されていることを特徴とする。
【0008】
また、前記指示手段は、被写体画像を合成するための背景画像中の2次元平面位置と奥行方向の位置とを指示するものであることを特徴とする。
【0009】
また、前記領域別明度・彩度記憶手段は、各組の背景画像を構成する複数の背景画像群のそれぞれを更に複数の領域に分割した各分割領域別に、被写体画像との合成のための明度、彩度のデータを記憶したものであることを特徴とする。
【0010】
また、本発明の画像合成方法は、被写体を撮影するカメラと、複数組の背景画像を記憶した背景画像記憶手段と、前記各組の背景画像を複数の領域に分割した各分割領域別に、被写体画像との合成のための明度、彩度のデータを前記各組の背景画像別に記憶した領域別明度・彩度記憶手段と、前記背景画像記憶手段に記憶されている背景画像の中から任意の背景画像を選択する背景画像選択手段と、前記カメラにより撮影された被写体画像を、前記背景画像選択手段により選択された背景画像中に合成するための位置、角度、大きさの指標のうち少なくとも位置の指標を指示する指示手段と、被写体画像と背景画像とを合成する画像合成処理手段と、この画像合成処理手段の合成処理結果を予め定めた出力媒体に出力する出力手段とを備え、前記カメラで撮影された被写体画像を前記背景画像選択手段で選択された背景画像中に前記指示手段で指示された指標に従って前記画像合成処理手段により合成するに際し、前記指示手段で指示された位置に対応する領域別の明度および彩度のデータを前記領域別明度・彩度記憶手段から読み出し、その明度および彩度のデータにより前記カメラで撮影された被写体画像の明度および彩度を補正し、前記背景画像選択手段で選択された背景画像中に前記指示手段で指示された指標に従って合成することを特徴とする。
【0011】
【発明の実施の形態】
以下、本発明を実施する場合の一形態を図面を参照して具体的に説明する。
図1は、本発明の画像合成装置の一実施形態を示す機能構成図であり、図1に示すように、被写体1を撮影する為のカメラ(ディジタルカメラ)2と、あらかじめ用意された複数組の背景画像を記憶した背景画像記憶手段3と、前記各組の背景画像中に違和感なく被写体画像を合成するのに最適な明度と彩度のデータを背景画像の領域別に記憶した領域別明度・彩度記憶手段4と、前記背景画像記憶手段3に記憶されている背景画像の中から任意の背景画像を利用者が選択する際に操作される背景画像選択手段5と、前記カメラ2により撮影された被写体画像を、前記背景画像選択手段5により選択された背景画像中の任意の位置、角度、大きさで合成する為に、利用者が被写体画像合成位置、角度、大きさの指標のうち少なくとも位置の指標を指定する被写体画像位置・角度・大きさ指示手段6と、前記カメラ2で撮影された被写体画像を、前記背景画像選択手段5で選択された背景画像中に前記被写体画像位置・角度・大きさ指示手段(以下、指示手段と略記)6により指示された位置、角度、大きさで前記領域別明度・彩度記憶手段4に記憶された明度、彩度のデータで補正して合成して出力手段7から出力する画像処理制御手段8を備えている。
【0012】
背景画像記憶手段3中の各組の背景画像は、各組の背景画像中に存在する背景構成要素を奥行方向の位置に応じて分離した複数の背景画像群で構成し、前記指示手段6では背景画像の2次元平面上の位置だけでなく奥行方向の被写体画像合成位置も選択可能になっている。
更に、前記背景画像群を更に複数の領域に分割し、その分割領域別に被写体画像を配置した時に被写体画像が背景画像に違和感なく馴染むような明度・彩度のデータを前記領域別明度・彩度記憶手段4に予め記憶しておき、利用者に指定された被写体画像の配置位置により前記領域別明度・彩度記憶手段4に記憶された明度・彩度のデータによって被写体画像の明度と彩度を補正して背景画像に合成するようになっている。
ここで、背景画像記憶手段3に記憶される背景画像と、領域別明度・彩度記憶手段4に記憶される明度・彩度のデータは、これらを1セットにして記憶する記憶媒体で用意しておき、この記憶媒体から取得することも可能であるし、背景画像と明度・彩度のデータとを本装置に付属する入力装置から直接入力することも可能である。記録媒体を用いる構成にすることにより、本装置の設置場所あるいは使用環境に応じた背景画像を極めて容易に使用可能になると共に、更新も容易になる。なお、記録媒体に代えてインタネット等の通信回線を使用してサーバコンピュータから取得する構成にすることもできる。
【0013】
図2は、画像合成装置の一実施形態を示す側面図であり、筐体21の内部は被写体22が複数人収容可能な空間が用意されている。そして、被写体22の正面側には、被写体22を撮影するカメラ23と、図1の背景画像選択手段5及び指示手段6に相当するモニタ兼タッチパネル24と、図1の画像処理制御手段8、背景画像記憶手段3および領域別明度・彩度記憶手段4を含む制御装置25、出力手段7に相当するビデオプリンタ26が配置されている。カメラ23は、例えばCCDカメラが使用され、その視野は、筐体内部に入室した1人又は複数人の被写体22の頭部から足元までの全身の画像を撮影可能に設定されている。
【0014】
図3は、図2の画像合成装置の機能部分の構成を示すブロック図であり、制御装置25には、CPU251、メモリ252、I/O制御部253、画像入力部254、パターンメモリ255、画像処理部256、画像出力部257が設けられ、I/O制御部253にはタッチパネル242が接続されている。また、画像出力部257には、ビデオプリンタ26とモニタ(ディスプレイ)241が接続されている。タッチパネル242は、モニタ241の画面表面上に配置され、表示画面上の任意の位置に接触または押圧すると、その位置を示す位置信号を出力するものであり、この実施形態では、各種操作メニューの選択、背景画像の選択、被写体画像の合成位置、角度、大きさを指定するために使用される。また、カメラ23としては、例えばCCDカメラが使用される。
画像入力部254は、カメラ23で撮影した画像データをA/D変換装置(図示しない)によりアナログ信号からデジタル信号に変換する。
CPU251は、カメラ23からの撮影画像から被写体画像の輪郭部を抽出し、パターンメモリ255に格納してある背景画像と合成し、ビデオプリンタ26へプリント出力処理を行う。
メモリ252には画像入力部254から取り込んだ被写体画像データが記憶されるほか、CPU251に発する命令と本合成画像作成装置の制御手段となる命令群がプログラムとして記憶されている。また、CPU251の処理データもワークメモリとして一時的に記憶する。
パターンメモリ255には、被写体画像と重ね合わせる背景画像データと、被写体の明度と彩度を補正する為の領域別明度・彩度データ及びモニタ241に表示する操作メニュー等のガイドデータが記憶されている。前記背景画像データ及び領域別明度・彩度データについては後述する。
【0015】
画像処理部256は、CPU251の制御により、画像入力部254から取り込んだ被写体画像データから、被写体画像の輪郭抽出処理を実行する。そして、パターンメモリ255に記憶されている背景画像のうち利用者(被写体)がタッチパネル操作で選択した選択済み背景画像と前記輪郭抽出した被写体画像とを、利用者(被写体)がタッチパネル操作で選択した背景画像中の指定位置に指定の角度および指定の大きさで重ね合わせ合成する。
【0016】
画像出力部257は、画像処理部256が合成した画像をモニタ画面に表示すると共に、ビデオプリンタ26からプリント出力させる。
【0017】
図4は、パターンメモリ255に記憶する1組の背景画像データの構成を示す図であり、図5及び図6は1組の背景画像に対して記憶される領域別明度・彩度データの構成を示す図であり、パターンメモリ255にはこのようにして構成された複数組の背景画像データと対応する領域別明度・彩度データが予め記憶されている。
図4に示すような1枚の背景画像401があった場合、本発明では、図4に示すように、1枚の背景画像中の背景構成要素を、前方から奥行方向の距離に応じて人間が判断しながら複数枚の画像に分割(分離)する。すなわち、図4の例では、1番手前側の背景構成要素402と403を1枚目の分離背景画像411として分離し、さらにそのすぐ奥に位置する背景構成要素404を2枚目の分離背景画像412として分離し、以降、同様にして、背景構成要素405を3枚目の分離背景画像413、背景構成要素406を4枚目の分離背景画像414、背景構成要素407を5枚目の分離背景画像415として分離する。この場合、分離数は任意である。パターンメモリ255には、1枚の背景画像401のデータを分離背景画像411〜415からなる背景画像群として記憶させる。
被写体画像410を背景画像に合成する際には、被写体22である利用者のタッチパネル指示操作により前記複数枚の分離背景画像中の連続した任意の2枚の分離背景画像の間に被写体画像を挟み込むことにより、奥行方向の任意の位置に被写体画像を合成する。
このように、背景画像の奥行き方向の任意の位置に被写体画像を合成する場合、合成位置における背景に馴染んだ自然な合成画像を作成する場合、合成位置における背景に合うように被写体画像の明度と彩度を補正する必要がある。領域別明度・彩度データはそのために必要になるものであり、図5、図6に示すように、図4で示した分離背景画像の各々を、更に複数の領域(図6の例では9領域)に人間が分割する。以降、分割された各々の領域を分割領域という。分割数は任意であり、分割する領域の大きさも均等でなくてもよい。
【0018】
図6では、分離背景画像の各々を均等に9つの矩形領域に分割した例を示す。
【0019】
分割領域毎に、分割領域に被写体画像を置いた時に最適となる明度・彩度のデータを人間があらかじめ決めて、図6に示すように何枚目の分離背景画像であるかを示す奥行方向の位置ごとに各分割領域(a〜i)の明度601、彩度602として記憶しておく。なお、記憶しておく各分割領域の明度601、彩度602は以下のようにして決める。
分離背景画像のある分割領域にモデル画像を配置してモデル画像の明度・彩度を人間が調整しながら背景画像と合成し、モデル画像が背景画像になじむと判断したモデル画像の明度・彩度を当該分割領域の明度・彩度とする。これを全分離背景画像の全分割領域について行うことにより、全分離背景画像の全分割領域の明度601、彩度602を決める。
あらかじめ用意した複数の背景画像すべてについて、当該背景画像の分離背景画像を分割領域に分割し、前記のように分割領域ごとに明度・彩度を決定してパターンメモリ255に記憶しておく。
被写体画像の配置位置が利用者により指定されたら、その配置位置における前記明度601、彩度602のデータを参照し、被写体画像の明度と彩度として適用する。
【0020】
図7は、本実施形態の動作を示すフローチャートである。図2を参照して説明する。
被写体(利用者)22は、モニタ兼タッチパネル24に表示された複数の背景画の中から希望する背景画を選択する(ステップ701)。
次に、カメラ23により被写体22をビデオ撮影する(ステップ702)。
【0021】
ビデオ撮影は次のステップ703で被写体画像の配置位置が決まるまでモニタ画像として撮影を続ける。
次に、ステップ701で選択された背景画像とステップ702で撮影された被写体のモニタ画像を重ねてモニタ兼タッチパネル24に画面表示する。被写体(利用者)22はモニタ表示された画像を見ながら、タッチパネル24により被写体画像の位置(奥行も含む)、回転角度、大きさを指示する(ステップ703)。
【0022】
この被写体画像の位置(奥行も含む)、回転角度、大きさの指示方法の詳細は図8及び図9で後述する。
次に、被写体(利用者)22はポーズを決め、被写体(利用者)22が直接指定したシャッタタイミングまたは装置が決定したシャッタタイミングでカメラ23により被写体22の撮影を行う(ステップ704)。
撮影した画像から被写体22の輪郭を抽出し(ステップ705)、抽出した被写体画像をステップ703の被写体(利用者)22の指示に応じて補正する(ステップ706)。
この被写体画像の補正の詳細については図11で後述する。
補正した被写体画像と背景画像を合成し(ステップ707)、ビデオプリンタ26で印刷し出力する(ステップ708)。
【0023】
図8は、前記ステップ703の被写体画像の位置、角度、大きさを指示する手順を示すフローチャートであり、被写体モニタ画像がモニタ兼タッチパネル24に表示されたならば(ステップ801)、背景画像中に重ね合わせる2次元平面上の位置、被写体画像の回転角度、大きさ、奥行き方向の位置を順次指定する(ステップ802〜805)。なお、ステップ802からステップ805までの順序は任意である。
【0024】
図9は、背景画像における平面上の位置指定から被写体画像の奥行方向の挿入位置指定までの操作の流れ及びモニタ兼タッチパネル24の表示内容を示したものである。以下、図8のステップ順序に従って図9および図10を用いて位置、角度、大きさの指示方法の詳細を説明する。
ここでは、モニタ兼タッチパネル24には選択した背景画像と、カメラ23で撮影した被写体モニタ画像を被写体(利用者)22の指定に従い、移動、回転、拡大(または縮小)して合成して表示する例を説明する。
始めに、制御装置25は、被写体(利用者)22が選択した背景画像上の最前面にカメラ23で撮影した被写体モニタ画像をあらかじめ定めた矩形領域で表示する(ステップ901)。
次に、制御装置25は、モニタ兼タッチパネル24のモニタ画面上に、被写体画像の2次元平面上の位置を指定するようガイダンスを表示し、被写体(利用者)22が被写体画像の位置を移動するように促す(ステップ902)。
そこで、被写体(利用者)22はタッチパネル操作により被写体モニタ画像を指で触れながら画面上で移動させ、2次元平面上の位置を指定する(ステップ903)。すなわち、破線で示す被写体モニタ画像9031を画面上で矢印方向に移動させ、好みの合成位置で停止させる。9032は好みの合成位置で停止された被写体モニタ画像である。
次に、2次元平面上の位置を指定し終わったならば、被写体(利用者)22はモニタ兼タッチパネル24上に表示された「位置決定ボタン」を押す(ステップ904)。
次に、制御装置25は、被写体モニタ画像の回転角度を指定するようガイダンスを表示する(ステップ905)。
被写体(利用者)22はモニタ兼タッチパネル24で被写体モニタ画像9032に触れながら指を回転させることにより、あらかじめ定めた被写体モニタ画像の中心点等の支点を中心に指の移動量に合わせて被写体モニタ画像9032を回転させることにより、被写体モニタ画像9032の回転角度を指定する(ステップ906)。制御装置25は、被写体(利用者)22からの指定に応じて被写体モニタ画像9032を回転させる。9033は、回転角度が指定された被写体モニタ画像である。
【0025】
被写体画像の回転角度を指定し終わったならば、被写体(利用者)22はモニタ兼タッチパネル24上に表示された「角度決定ボタン」を押す(ステップ907)。
次に、制御装置25は、被写体画像の大きさを指定するようガイダンスを表示する(ステップ908)。
被写体(利用者)22は、被写体モニタ画像9033に触れ、矩形領域として表示されている被写体モニタ画像領域の中心線から遠ざかる方向または近づく方向に指を移動する。指が中心線から遠ざかる方向に移動することで拡大、指が中心線に近づく方向に移動することで縮小と判断する。被写体(利用者)22は指を移動させることにより、被写体モニタ画像の大きさを指定する(ステップ909)。制御装置25は、被写体(利用者)22からの指定に従って被写体モニタ画像9033の大きさを変化させる。9034は、拡大されたモニタ画像を表している。
【0026】
被写体画像の大きさを指定し終わったならば、被写体(利用者)22はモニタ兼タッチパネル24上に表示された「大きさ決定ボタン」を押す(ステップ910)。
次に、制御装置25は、被写体モニタ画像の奥行方向の挿入位置を指定するようガイダンスを表示する(ステップ911)。
被写体(利用者)22はモニタ兼タッチパネル24上で奥行方向の挿入位置を指定する(ステップ912)。制御装置25は、被写体(利用者)22からの指定に従って被写体モニタ画像9034の奥行方向の挿入位置を変化させる。詳細は図11を用いて後述する。9035は奥行方向の挿入位置が決定された被写体モニタ画像である。
奥行き方向の挿入位置を指定し終わったならば、モニタ兼タッチパネル24上に表示された「奥行挿入位置決定ボタン」を押す(ステップ913)。
【0027】
図11は、奥行方向の被写体画像挿入位置の指定方法とモニタ兼タッチパネル24の表示を示したものである。
まず、被写体(利用者)22が選択した背景画像上の最前面である1枚目分離背景画像411の前面に、被写体(利用者)22がステップ903からステップ910で指定した平面上の位置、角度、大きさに変形した被写体モニタ画像9034を表示する。
モニタ上には前記被写体モニタ画像9034と合わせて奥行方向の挿入位置を指定する為のボタンを表示する。
後方向(奥に向かう方向)を示すボタン1101を被写体(利用者)22が押すと、あらかじめ奥行方向の要素別に分離してある分離背景画像411〜415の1枚後方へ被写体モニタ画像9034を移動する。後方向ボタン1101を押す前に被写体モニタ画像9034がn枚目分離背景画像の前面にあった場合、後方向ボタン1101を押すことにより、被写体画像はn枚目分離背景画像とn+1枚目分離背景画像との間に位置することになる。すなわち、n枚目分離背景画像の前面にあった被写体画像が、n+1枚目分離背景画像の前面に存在することになる。
【0028】
この状態で、制御装置25は、全分離背景画像と被写体画像とを合成、すなわち挟み込み合成してモニタ画面に表示する。更に、後方向ボタン1101が押されれば、更に1枚後方へ被写体モニタ画像9034を移動して合成してモニタ表示し、前方向ボタン1102が押されれば、1枚手前方向へ被写体モニタ画像9034を移動して合成し、モニタ表示する。このようにして、被写体モニタ画像の挿入位置を順次ずらして合成してモニタ表示することにより、被写体(利用者)22は分離背景画像411〜415に対して被写体モニタ画像9034の挿入位置を選択できる。
【0029】
図12は、被写体画像の補正手順を示すものである。
まず、図7のステップ703により被写体(利用者)22が指定した被写体画像の背景画像平面上の位置(▲1▼)、回転角度(▲2▼)、拡大/縮小倍率(▲3▼)、奥行方向挿入位置(▲4▼)の4つの情報を取り出す(ステップ1201)。
次に、図7のステップ705により抽出した被写体輪郭画像を上記▲1▼、▲2▼、▲3▼の情報をもとに変形、移動する(ステップ1202)。
次に、変形、移動した被写体画像が、何枚目の分離背景画像にあり、該分離背景画像の領域中のどの分割領域を占めるかを取り出す。ここで被写体画像が複数の分割領域にまたがる場合は、最も大きな面積を占める分割領域を採用する(ステップ1203)。
次に、前記▲4▼の奥行方向挿入位置及び取出した被写体画像が占める分割領域に対応する分割領域別明度・彩度データを図3のパターンメモリ255から取り出し、取り出した分割領域別明度・彩度データを被写体画像の明度・彩度として被写体画像を補正する(ステップ1204)。
例えば、n−1枚目分離背景画像とn枚目分離背景画像との間に被写体画像があって、n枚目分離背景画像における被写体画像が占める分割領域がiである場合は、分割領域別明度・彩度データ中の「奥行方向挿入位置」がn枚目の分割領域iの明度・彩度データによって被写体画像の明度・彩度が補正される。
なお、明度と彩度の補正方法については、本願出願人が先に出願している特願平10−245879号の図15〜図18で示されている方法で実現可能であるので、ここでの詳細な説明は省略する。
以上のようにして補正した被写体画像を背景画像と合成して印刷出力する。
【0030】
なお、上記実施形態において、被写体画像と背景画像の合成後、モニタ兼タッチパネル24に合成後の画像を表示し、被写体(利用者)22が被写体画像の配置位置を再度微調整可能なように構成することができる。
図13にそのフローチャートを示す。
ステップ1301からステップ1307およびステップ1309、1310は、図7のステップ701からステップ708と同じであり、ステップ1308を挿入した点が異なる。この手順では、ステップ1307で合成した画像をモニタ兼タッチパネル24に表示し、被写体(利用者)22が被写体画像の位置、角度、大きさを微調整する(ステップ1308)。微調整については、位置、角度、大きさの微調整範囲をステップ1303と同じ範囲としてもよいし、調整できる範囲に制限を設けてもよい。なお、ステップ1308でモニタ兼タッチパネル24に表示する被写体モニタ画像は、ステップ1306で補正された被写体輪郭画像を使用する。
【0031】
また、モニタ兼タッチパネル24に表示する被写体モニタ画像はカメラ23で撮影したビデオ画像をあらかじめ定めた大きさの矩形領域に表示しているが、ビデオ画像をあらかじめ定めた大きさの矩形領域に表示するのではなく、撮影した被写体モニタ画像から輪郭を抽出したものを表示してもよい。図14にそのフローチャートを示す。図7と異なるのは、被写体の位置や角度、大きさを指定する前に、被写体の輪郭を抽出するステップ1403を挿入したことであり、その他のステップは図7と同じである。
ステップ1403に示すように、撮影した被写体画像から輪郭を抽出し、ステップ1404でモニタ兼タッチパネル24に表示する被写体モニタ画像にはここで抽出した輪郭画像を使用する。このようにすることにより、矩形枠で隠されていた好みの位置に被写体画像を配置することができる。
【0032】
また、被写体(利用者)22が被写体画像の背景画像平面上の位置を指定する時は、被写体モニタ画像と背景画像をその都度合成してモニタ兼タッチパネル24に表示しているが、被写体(利用者)22が平面上の位置を決める際は、被写体画像と背景画像をその場で合成してモニタ兼タッチパネル24に表示するのではなく、被写体画像と背景画像を一定間隔で交互にモニタ兼タッチパネル24に表示し、残像効果を利用してあたかも背景画像上に被写体画像が合成されたように見えるようにしてもよい。このようにすれば、画像合成にかかる時間が少なくなり、処理の高速化を図れる。
【0033】
また、被写体画像の位置、角度、大きさの3つの指標を全て指示する場合を説明したが、少なくとも位置の指標を指示し、その他の指標は必要に応じて指示する構成にすることも可能である。
【0034】
【発明の効果】
以上のように、本発明によれば、背景画像をあらかじめ奥行方向の要素別に分離しておき、被写体画像を背景画像中の任意の位置に任意の角度、大きさに変形、移動して合成するように構成したため、背景画像上の奥行を含む任意の位置に任意の角度、大きさで被写体画像を合成し、あたかも背景画像に中に存在するような自然な合成画像を得ることができる。
【0035】
更に、背景画像上の奥行を含む位置に応じてあらかじめ明度、彩度を決めておき、画像合成時に、被写体画像の配置位置に応じて被写体画像の明度、彩度を補正して合成することにより、被写体画像を背景画像に馴染ませて合成することができる。
【0036】
以上により、面白味があり、なおかつ背景画に溶け込んだ自然な合成画像を作成することができる。
【図面の簡単な説明】
【図1】本発明の画像合成装置の一実施形態を示す機能構成図である。
【図2】本発明の画像合成装置の一実施形態を示す側面図である。
【図3】図2の画像合成装置の機能部分の一実施形態をブロック構成図である。
【図4】背景画像の構成と記憶方法を示す説明図である。
【図5】明度・彩度補正用のデータの構成と記憶方法を示す説明図である。
【図6】図5の続きを示す説明図である。
【図7】画像合成処理手順を示すフローチャートである。
【図8】被写体画像の位置、角度、大きさの指定手順を示すフローチャートである。
【図9】被写体画像の位置、角度、大きさの指定手順とモニタ画面の表示例を示す説明図である。
【図10】図9の続きを示す説明図である。
【図11】被写体画像の奥行方向挿入位置の指定手順とモニタ画像の表示例を示す説明図である。
【図12】被写体画像の補正手順を示すフローチャートである。
【図13】画像合成処理手順の別の実施形態を示すフローチャートである。
【図14】画像合成処理手順の別の実施形態を示すフローチャートである。
【符号の説明】
1,22…被写体、2,23…カメラ、3…背景画像記憶手段、4…領域別明度・彩度記憶手段、5…背景画像選択手段、6…被写体画像位置・角度・大きさ指示手段、7…出力手段、24…モニタ兼タッチパネル、25…制御装置、26…ビデオプリンタ、251…CPU、252…メモリ、255…パターンメモリ、256…画像処理部、257…画像出力部、242…タッチパネル、401…背景画像、402〜407…背景構成要素、411〜415…分離背景画像。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image synthesizing method and apparatus for synthesizing a digital image of a subject with another digital image and outputting the digital image to an output medium such as a sticker, a postcard, or a floppy disk.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an image printing apparatus installed in a street, a storefront, a game center, or the like, attaches a camera (frame image) to a frame image selected by a user from a plurality of frame images (heart mark, character, landscape image, etc.) prepared in advance. A digital camera) combines the subject images and prints them out and provides them to the user.
When using this image printing apparatus, the user first selects a desired frame image from a plurality of prepared frame images. When the frame image is selected, the selected frame image and the user who is the subject photographed by the camera are simultaneously displayed on the monitor screen. The user moves while looking at the monitor screen to determine his / her position in the frame image. After the position is determined, the subject is photographed, and the subject image and the frame image are combined and printed out.
Japanese Unexamined Patent Publication No. 10-186473 discloses a method in which a plurality of different foreground frames and background frames are prepared in order to create a deep and interesting composite image, and an arbitrary foreground frame image selected by a user. The subject image is sandwiched between the image and the background frame image to synthesize the image.
[0003]
[Problems to be solved by the invention]
However, in the conventional image printing apparatus, the subject image can be displayed only in front of or behind the selected frame image. In Japanese Patent Application Laid-Open No. 10-186473, the prepared foreground frame and the background frame are images having different patterns. Therefore, there is a problem that a subject image cannot be synthesized at an arbitrary depth position in one background image.
Further, in the conventional image printing apparatus, the arrangement of the subject image in the frame image is determined by moving the user who is the subject while watching the monitor image.
[0004]
Therefore, the position of the subject image in the frame image can be moved only within a limited range, and the size of the subject image can be synthesized only in a predetermined size.
Further, in the conventional image printing apparatus, the subject image is synthesized with constant brightness and saturation regardless of the selected frame image. Therefore, in the synthesized image, the subject appears to have emerged from the background, and a natural synthesized image that blended into the background could not be obtained.
[0005]
An object of the present invention is to compose a subject image at an arbitrary position including a depth in a background image selected by a user at an arbitrary angle and size according to the user's selection with the background image. Accordingly, it is an object of the present invention to provide an image composite image apparatus and method capable of obtaining a natural and interesting composite image.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a camera for photographing a subject, a background image storage unit storing a plurality of sets of background images, and each divided region obtained by dividing each set of background images into a plurality of regions. , Brightness and saturation data for compositing with the subject image For each set of background images The stored area-specific brightness / saturation storage means, a background image selection means for selecting an arbitrary background image from the background images stored in the background image storage means, and a subject image taken by the camera, Instruction means for instructing at least a position index among the position, angle, and size indices to be combined in the background image selected by the background image selection means, and an area corresponding to the position indicated by the instruction means The data of different lightness and saturation is read out from the area-specific lightness / saturation storage means, the lightness and saturation of the subject image photographed by the camera are corrected based on the lightness and saturation data, and the background image selection is performed. Image synthesis processing means for synthesizing a background image selected by a means at a position designated by the designating means according to a predetermined angle and size or an index designated by the designating means. When, characterized in that an output means for outputting the synthesis processing result of the image synthesis processing unit to a predetermined output medium.
[0007]
Further, each set of background images stored in the background image storage means is constituted by a plurality of background image groups obtained by separating background components present in the background image according to positions in the depth direction. Features.
[0008]
Further, the instruction means is for instructing a two-dimensional plane position and a position in a depth direction in a background image for synthesizing a subject image.
[0009]
The area-specific lightness / saturation storage means may further include: for each divided area obtained by further dividing each of a plurality of background image groups constituting each set of background images into a plurality of areas, a brightness for combining with a subject image; , Saturation data.
[0010]
Further, the image synthesizing method of the present invention includes a camera for photographing a subject, background image storage means for storing a plurality of sets of background images, and a subject for each divided region obtained by dividing each set of the background images into a plurality of regions. Brightness and saturation data for compositing with images For each set of background images The stored area-specific brightness / saturation storage means, a background image selection means for selecting an arbitrary background image from the background images stored in the background image storage means, and a subject image taken by the camera, Instructing means for instructing at least the position index among the position, angle, and size indices to be synthesized in the background image selected by the background image selecting means, and an image synthesizing process for synthesizing the subject image and the background image Means, and output means for outputting the synthesis processing result of the image synthesis processing means to a predetermined output medium, wherein the subject image photographed by the camera is included in the background image selected by the background image selection means. When synthesizing by the image synthesizing processing unit in accordance with the index indicated by the indicating unit, the brightness and saturation data for each area corresponding to the position indicated by the indicating unit is calculated. Read from the serial-region brightness and chroma memory means, the brightness and saturation of the lightness and photographed object image by chroma data by the camera is corrected, the background image selection unit selected during background image The instruction means Are synthesized in accordance with the indices indicated by.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be specifically described with reference to the drawings.
FIG. 1 is a functional block diagram showing an embodiment of an image synthesizing apparatus according to the present invention. As shown in FIG. 1, a camera (digital camera) 2 for photographing a subject 1 and a plurality of sets prepared in advance Background image storage means 3 for storing the background image of each area, and brightness / saturation data for each area in which the optimal brightness and saturation data for synthesizing the subject image without discomfort in the background images of each set are stored for each area of the background image. Saturation storage means 4, background image selection means 5 operated when a user selects an arbitrary background image from background images stored in the background image storage means 3, and photographing by the camera 2 In order to combine the selected subject image at an arbitrary position, angle, and size in the background image selected by the background image selecting means 5, the user may select one of the indices of the subject image combining position, angle, and size. At least position finger And a subject image position / angle / size instructing means 6 for designating the subject image, and a subject image taken by the camera 2 in the background image selected by the background image selecting means 5 in the subject image position / angle / size. The position, angle, and size designated by the designation means (hereinafter abbreviated as designation means) 6 are corrected and combined with the brightness and saturation data stored in the area-specific brightness / saturation storage means 4 and output. An image processing control means 8 for outputting from the means 7 is provided.
[0012]
The background image of each set in the background image storage means 3 is composed of a plurality of background image groups obtained by separating background components present in each set of background images in accordance with the position in the depth direction. In addition to the position on the two-dimensional plane of the background image, the subject image synthesis position in the depth direction can be selected.
Further, the background image group is further divided into a plurality of regions, and when the subject images are arranged for each of the divided regions, brightness / saturation data such that the subject image adapts to the background image without a sense of incongruity is obtained by the region brightness / saturation. The brightness and saturation of the subject image are stored in advance in the storage means 4 and the brightness / saturation data stored in the area-specific brightness / saturation storage means 4 according to the arrangement position of the subject image designated by the user. Is corrected and combined with the background image.
Here, the background image stored in the background image storage means 3 and the brightness / saturation data stored in the area-specific brightness / saturation storage means 4 are prepared in a storage medium for storing these as one set. In addition, it is also possible to acquire from this storage medium, and it is also possible to directly input a background image and lightness / saturation data from an input device attached to the present apparatus. By employing a configuration using a recording medium, a background image according to the installation location or use environment of the apparatus can be used very easily, and updating can be facilitated. It should be noted that a configuration in which the information is acquired from the server computer using a communication line such as the Internet instead of the recording medium may be adopted.
[0013]
FIG. 2 is a side view showing an embodiment of the image synthesizing apparatus. A space in which a plurality of subjects 22 can be accommodated is prepared inside a housing 21. On the front side of the subject 22, a camera 23 for photographing the subject 22, a monitor / touch panel 24 corresponding to the background image selecting means 5 and the instruction means 6 in FIG. 1, the image processing control means 8 in FIG. A control device 25 including the image storage unit 3 and the brightness / saturation storage unit 4 for each area, and a video printer 26 corresponding to the output unit 7 are arranged. As the camera 23, for example, a CCD camera is used, and its field of view is set so that an image of the whole body from the head to the feet of one or more subjects 22 who have entered the housing can be taken.
[0014]
FIG. 3 is a block diagram showing a configuration of a functional portion of the image synthesizing apparatus of FIG. 2. The control device 25 includes a CPU 251, a memory 252, an I / O control unit 253, an image input unit 254, a pattern memory 255, an image A processing unit 256 and an image output unit 257 are provided, and a touch panel 242 is connected to the I / O control unit 253. The image output unit 257 is connected to a video printer 26 and a monitor (display) 241. The touch panel 242 is arranged on the screen surface of the monitor 241, and outputs a position signal indicating the position when touched or pressed on an arbitrary position on the display screen. In this embodiment, selection of various operation menus is performed. Is used to select a background image, and to specify the composition position, angle, and size of the subject image. As the camera 23, for example, a CCD camera is used.
The image input unit 254 converts the image data captured by the camera 23 from an analog signal to a digital signal using an A / D converter (not shown).
The CPU 251 extracts the contour of the subject image from the image captured by the camera 23, combines it with the background image stored in the pattern memory 255, and performs print output processing to the video printer 26.
The memory 252 stores the subject image data fetched from the image input unit 254, and also stores, as a program, a command issued to the CPU 251 and a command group serving as control means of the composite image creating apparatus. The processing data of the CPU 251 is also temporarily stored as a work memory.
The pattern memory 255 stores background image data to be superimposed on the subject image, brightness / saturation data for each region for correcting the brightness and saturation of the subject, and guide data such as an operation menu displayed on the monitor 241. I have. The background image data and the brightness / saturation data for each area will be described later.
[0015]
The image processing unit 256 executes a contour extraction process of the subject image from the subject image data fetched from the image input unit 254 under the control of the CPU 251. Then, the user (subject) selects the selected background image selected by the user (subject) by the touch panel operation from the background image stored in the pattern memory 255 and the subject image from which the contour is extracted by the touch panel operation. The image is superimposed on a specified position in the background image at a specified angle and a specified size.
[0016]
The image output unit 257 displays the image synthesized by the image processing unit 256 on a monitor screen and causes the video printer 26 to print out the image.
[0017]
FIG. 4 is a diagram showing the configuration of one set of background image data stored in the pattern memory 255. FIGS. 5 and 6 show the configuration of area-specific brightness / saturation data stored for one set of background images. In the pattern memory 255, a plurality of sets of background image data configured in this way and area-specific brightness / saturation data corresponding to the sets are stored in advance.
In the case where there is one background image 401 as shown in FIG. 4, in the present invention, as shown in FIG. 4, a background component in one background image is changed according to the distance from the front in the depth direction. Is divided (separated) into a plurality of images while determining. That is, in the example of FIG. 4, the first background components 402 and 403 are separated as the first separated background image 411, and the background component 404 located immediately behind the second background component 404 is separated into the second separated background image. In the same manner, the background component 405 is the third separated background image 413, the background component 406 is the fourth separated background image 414, and the background component 407 is the fifth separated background. The image is separated as an image 415. In this case, the number of separations is arbitrary. Pattern memory 255 , The data of one background image 401 is stored as a background image group including the separated background images 411 to 415.
When synthesizing the subject image 410 with the background image, the subject image is sandwiched between any two consecutive separated background images in the plurality of separated background images by a user's touch panel instruction operation as the subject 22. Thus, the subject image is synthesized at an arbitrary position in the depth direction.
As described above, when synthesizing the subject image at an arbitrary position in the depth direction of the background image, when creating a natural synthesized image that is familiar with the background at the synthesis position, the brightness of the subject image is adjusted to match the background at the synthesis position. Saturation needs to be corrected. The brightness / saturation data for each area is necessary for that purpose. As shown in FIGS. 5 and 6, each of the separated background images shown in FIG. 4 is further divided into a plurality of areas (9 in the example of FIG. 6). The human is divided into regions. Hereinafter, each of the divided areas is referred to as a divided area. The number of divisions is arbitrary, and the sizes of the regions to be divided may not be uniform.
[0018]
FIG. 6 shows an example in which each of the separated background images is equally divided into nine rectangular regions.
[0019]
For each of the divided areas, a human determines in advance the optimal brightness / saturation data when the subject image is placed in the divided area, and indicates the number of separated background images as shown in FIG. Are stored as the lightness 601 and the saturation 602 of each of the divided areas (a to i) for each position. The brightness 601 and the saturation 602 of each divided area to be stored are determined as follows.
A model image is placed in a divided area of the separated background image, and the brightness and saturation of the model image are synthesized by the human while adjusting the brightness and saturation of the model image, and the brightness and saturation of the model image determined that the model image adapts to the background image Is the brightness / saturation of the divided area. The brightness 601 and the saturation 602 of all the divided areas of the all separated background image are determined by performing this for all the divided areas of the all separated background image.
For all of the plurality of background images prepared in advance, the separated background image of the background image is divided into divided areas, and the brightness and saturation are determined for each divided area and stored in the pattern memory 255 as described above.
When the arrangement position of the subject image is designated by the user, the data of the lightness 601 and the saturation 602 at the arrangement position is referred to and applied as the lightness and the saturation of the subject image.
[0020]
FIG. 7 is a flowchart showing the operation of the present embodiment. This will be described with reference to FIG.
The subject (user) 22 selects a desired background image from a plurality of background images displayed on the monitor / touch panel 24 (step 701).
Next, video shooting of the subject 22 is performed by the camera 23 (step 702).
[0021]
Video shooting is continued as a monitor image until the arrangement position of the subject image is determined in the next step 703.
Next, the background image selected in step 701 and the monitor image of the subject photographed in step 702 are superimposed and displayed on the monitor / touch panel 24 on the screen. The subject (user) 22 instructs the position (including depth), rotation angle, and size of the subject image using the touch panel 24 while viewing the image displayed on the monitor (step 703).
[0022]
Details of the method of instructing the position (including depth), rotation angle, and size of the subject image will be described later with reference to FIGS.
Next, the subject (user) 22 determines a pose, and shoots the subject 22 with the camera 23 at the shutter timing directly specified by the subject (user) 22 or the shutter timing determined by the apparatus (step 704).
The contour of the subject 22 is extracted from the captured image (step 705), and the extracted subject image is corrected according to the instruction of the subject (user) 22 in step 703 (step 706).
Details of the correction of the subject image will be described later with reference to FIG.
The corrected subject image and background image are combined (step 707), printed and output by the video printer 26 (step 708).
[0023]
FIG. 8 is a flowchart showing the procedure for instructing the position, angle, and size of the subject image in step 703. If the subject monitor image is displayed on the monitor / touch panel 24 (step 801), the image is displayed in the background image. The position on the two-dimensional plane to be superimposed, the rotation angle of the subject image, the size, and the position in the depth direction are sequentially designated (steps 802 to 805). Note that the order from step 802 to step 805 is arbitrary.
[0024]
FIG. 9 shows the flow of operations from the position specification on the plane in the background image to the insertion position specification in the depth direction of the subject image, and the display contents of the monitor and touch panel 24. Hereinafter, the details of the method of designating the position, angle, and size will be described with reference to FIGS. 9 and 10 in accordance with the step sequence of FIG.
Here, the selected background image and the subject monitor image captured by the camera 23 are combined, moved, rotated, enlarged (or reduced) and displayed on the monitor / touch panel 24 in accordance with the designation of the subject (user) 22. An example will be described.
First, the control device 25 displays a subject monitor image captured by the camera 23 in the foreground on the background image selected by the subject (user) 22 in a predetermined rectangular area (step 901).
Next, the control device 25 displays guidance on the monitor screen of the monitor / touch panel 24 so as to specify the position on the two-dimensional plane of the subject image, and the subject (user) 22 moves the position of the subject image. (Step 902).
Then, the subject (user) 22 moves the subject monitor image on the screen while touching it with a finger by operating the touch panel, and designates a position on a two-dimensional plane (step 903). That is, the subject monitor image 9031 indicated by the broken line is moved in the direction of the arrow on the screen, and stopped at the desired combination position. Reference numeral 9032 denotes a subject monitor image stopped at a desired combination position.
Next, when the position on the two-dimensional plane has been specified, the subject (user) 22 presses a “position determination button” displayed on the monitor / touch panel 24 (step 904).
Next, the control device 25 displays guidance to specify the rotation angle of the subject monitor image (Step 905).
The subject (user) 22 rotates his / her finger while touching the subject monitor image 9032 on the monitor / touch panel 24 so that the subject can be monitored in accordance with the amount of movement of the finger around a predetermined fulcrum such as the center point of the subject monitor image. By rotating the image 9032, the rotation angle of the subject monitor image 9032 is specified (step 906). The control device 25 rotates the subject monitor image 9032 according to the designation from the subject (user) 22. Reference numeral 9033 denotes a subject monitor image whose rotation angle is specified.
[0025]
When the rotation angle of the subject image has been specified, the subject (user) 22 presses the “angle determination button” displayed on the monitor / touch panel 24 (step 907).
Next, the control device 25 displays guidance to specify the size of the subject image (step 908).
The subject (user) 22 touches the subject monitor image 9033 and moves his or her finger in a direction away from or near the center line of the subject monitor image area displayed as a rectangular area. When the finger moves away from the center line, it is determined that the image is enlarged, and when the finger moves toward the center line, it is determined that the image is reduced. The subject (user) 22 moves the finger to specify the size of the subject monitor image (step 909). The control device 25 changes the size of the subject monitor image 9033 according to the designation from the subject (user) 22. Reference numeral 9034 denotes an enlarged monitor image.
[0026]
When the size of the subject image has been specified, the subject (user) 22 presses the “size determination button” displayed on the monitor / touch panel 24 (step 910).
Next, the control device 25 displays guidance to specify the insertion position of the subject monitor image in the depth direction (step 911).
The subject (user) 22 specifies the insertion position in the depth direction on the monitor / touch panel 24 (step 912). The control device 25 changes the insertion position of the subject monitor image 9034 in the depth direction according to the designation from the subject (user) 22. Details will be described later with reference to FIG. Reference numeral 9035 denotes a subject monitor image in which the insertion position in the depth direction has been determined.
When the insertion position in the depth direction has been designated, the "depth insertion position determination button" displayed on the monitor / touch panel 24 is pressed (step 913).
[0027]
FIG. 11 shows a method of specifying a subject image insertion position in the depth direction and a display on the monitor / touch panel 24.
First, the position of the subject (user) 22 on the plane designated by the steps 903 to 910 is placed in front of the first separated background image 411 which is the foreground on the background image selected by the subject (user) 22. A subject monitor image 9034 deformed to an angle and size is displayed.
A button for designating the insertion position in the depth direction is displayed on the monitor together with the subject monitor image 9034.
When the subject (user) 22 presses a button 1101 indicating a backward direction (a direction toward the back), the subject monitor image 9034 is moved to the back of one of the separated background images 411 to 415 previously separated for each element in the depth direction. I do. If the subject monitor image 9034 is in front of the n-th separated background image before pressing the backward button 1101, pressing the backward button 1101 causes the subject image to be divided into the n-th separated background image and the (n + 1) -th separated background image. It will be located between the image. That is, the subject image in front of the n-th separated background image is present in front of the (n + 1) -th separated background image.
[0028]
In this state, the control device 25 combines the entire separated background image and the subject image, that is, sandwiches and combines them, and displays them on the monitor screen. Further, when the rearward button 1101 is pressed, the subject monitor image 9034 is further moved backward by one and synthesized and displayed on the monitor. When the forward button 1102 is pressed, the subject monitor image 9034 is moved forward by one. 9034 is moved and synthesized, and displayed on a monitor. In this way, the subject (user) 22 can select the insertion position of the subject monitor image 9034 with respect to the separated background images 411 to 415 by sequentially shifting the insertion position of the subject monitor image and synthesizing the monitor display. .
[0029]
FIG. 12 shows a procedure for correcting a subject image.
First, the position of the subject image designated by the subject (user) 22 in step 703 of FIG. 7 on the background image plane (1), the rotation angle (2), the enlargement / reduction magnification (3), The four information at the insertion position in the depth direction (4) is extracted (step 1201).
Next, the object contour image extracted in step 705 of FIG. 7 is deformed and moved based on the above information (1), (2) and (3) (step 1202).
Next, the number of the separated background image in which the deformed or moved subject image is present and which divided area in the area of the separated background image is fetched. Here, when the subject image extends over a plurality of divided areas, the divided area occupying the largest area is adopted (step 1203).
Next, the brightness / saturation data for each divided area corresponding to the insertion position in the depth direction (4) and the divided area occupied by the extracted subject image is extracted from the pattern memory 255 in FIG. The subject image is corrected using the degree data as the brightness and saturation of the subject image (step 1204).
For example, if there is a subject image between the (n-1) -th separated background image and the n-th separated background image and the divided area occupied by the subject image in the n-th separated background image is i, The “depth direction insertion position” in the brightness / saturation data corrects the brightness / saturation of the subject image based on the brightness / saturation data of the n-th divided area i.
The method of correcting the lightness and the saturation can be realized by the method shown in FIGS. 15 to 18 of Japanese Patent Application No. 10-245879 previously filed by the present applicant. The detailed description of is omitted.
The subject image corrected as described above is combined with the background image and printed out.
[0030]
In the above embodiment, after the subject image and the background image are combined, the combined image is displayed on the monitor / touch panel 24 so that the subject (user) 22 can fine-tune the arrangement position of the subject image again. can do.
FIG. 13 shows a flowchart of the operation.
Steps 1301 to 1307 and steps 1309 and 1310 are the same as steps 701 to 708 in FIG. 7 except that step 1308 is inserted. In this procedure, the image synthesized in step 1307 is displayed on the monitor / touch panel 24, and the subject (user) 22 finely adjusts the position, angle, and size of the subject image (step 1308). As for the fine adjustment, the fine adjustment range of the position, the angle, and the size may be set to the same range as in step 1303, or a limit may be set to the adjustable range. The subject monitor image displayed on the monitor / touch panel 24 in step 1308 uses the subject outline image corrected in step 1306.
[0031]
Also, the subject monitor image displayed on the monitor / touch panel 24 displays a video image captured by the camera 23 in a rectangular area of a predetermined size, but displays the video image in a rectangular area of a predetermined size. Instead, an image obtained by extracting an outline from a captured subject monitor image may be displayed. FIG. 14 shows a flowchart of the operation. The difference from FIG. 7 is that a step 1403 for extracting the contour of the subject is inserted before designating the position, angle, and size of the subject, and the other steps are the same as those in FIG.
As shown in step 1403, the contour is extracted from the photographed subject image, and the contour image extracted here is used as the subject monitor image displayed on the monitor / touch panel 24 in step 1404. In this manner, the subject image can be arranged at a desired position hidden by the rectangular frame.
[0032]
When the subject (user) 22 specifies the position of the subject image on the background image plane, the subject monitor image and the background image are combined and displayed on the monitor / touch panel 24 each time. When the person 22 determines the position on the plane, the subject image and the background image are not synthesized on the spot and displayed on the monitor / touch panel 24, but the subject image and the background image are alternately arranged at regular intervals. 24 may be used to make it look as if the subject image is synthesized on the background image by using the afterimage effect. In this way, the time required for image synthesis is reduced, and the processing speed can be increased.
[0033]
Also, a case has been described in which all three indices of the position, angle, and size of the subject image are indicated, but it is also possible to adopt a configuration in which at least the position index is indicated, and the other indices are indicated as necessary. is there.
[0034]
【The invention's effect】
As described above, according to the present invention, a background image is separated into elements in the depth direction in advance, and a subject image is deformed, moved, and synthesized at an arbitrary position and an arbitrary angle and size in the background image. With such a configuration, the subject image can be synthesized at an arbitrary angle and size at an arbitrary position including the depth on the background image, and a natural synthesized image as if it exists in the background image can be obtained.
[0035]
Further, the brightness and saturation are determined in advance according to the position including the depth on the background image, and the image is synthesized by correcting the brightness and saturation of the subject image according to the arrangement position of the subject image at the time of image synthesis. In addition, the subject image can be blended with the background image.
[0036]
As described above, it is possible to create a natural composite image that is interesting and blends with the background image.
[Brief description of the drawings]
FIG. 1 is a functional configuration diagram showing an embodiment of an image composition device of the present invention.
FIG. 2 is a side view showing an embodiment of the image synthesizing apparatus of the present invention.
FIG. 3 is a block diagram showing an embodiment of a functional portion of the image synthesizing apparatus of FIG. 2;
FIG. 4 is an explanatory diagram showing a configuration and a storage method of a background image.
FIG. 5 is an explanatory diagram showing a configuration and a storage method of data for lightness / chroma correction.
FIG. 6 is an explanatory view showing a continuation of FIG. 5;
FIG. 7 is a flowchart illustrating an image synthesis processing procedure.
FIG. 8 is a flowchart illustrating a procedure for designating the position, angle, and size of a subject image.
FIG. 9 is an explanatory diagram showing a procedure for specifying a position, angle, and size of a subject image and a display example of a monitor screen.
FIG. 10 is an explanatory view showing a continuation of FIG. 9;
FIG. 11 is an explanatory diagram showing a designation procedure of a depth direction insertion position of a subject image and a display example of a monitor image.
FIG. 12 is a flowchart illustrating a procedure for correcting a subject image.
FIG. 13 is a flowchart illustrating another embodiment of the procedure of the image synthesis processing.
FIG. 14 is a flowchart illustrating another embodiment of the image synthesis processing procedure.
[Explanation of symbols]
1, 22 subject, 2, 23 camera, 3 background image storage means 4, area brightness / saturation storage means 5, background image selection means 6, subject image position / angle / size instructing means, 7 output unit, 24 monitor and touch panel, 25 control device, 26 video printer, 251 CPU, 252 memory, 255 pattern memory, 256 image processing unit, 257 image output unit, 242 touch panel, Reference numeral 401: background image, 402 to 407: background component, 411 to 415: separated background image.

Claims (5)

被写体画像と背景画像とを合成して出力する画像合成装置であって、
被写体を撮影するカメラと、複数組の背景画像を記憶した背景画像記憶手段と、前記各組の背景画像を複数の領域に分割した各分割領域別に、被写体画像との合成のための明度、彩度のデータを前記各組の背景画像別に記憶した領域別明度・彩度記憶手段と、
前記背景画像記憶手段に記憶されている背景画像の中から任意の背景画像を選択する背景画像選択手段と、前記カメラにより撮影された被写体画像を、前記背景画像選択手段により選択された背景画像中に合成するための位置、角度、大きさの指標のうち少なくとも位置の指標を指示する指示手段と、
前記指示手段で指示された位置に対応する領域別の明度および彩度のデータを前記領域別明度・彩度記憶手段から読み出し、その明度および彩度のデータにより前記カメラで撮影された被写体画像の明度および彩度を補正し、前記背景画像選択手段で選択された背景画像中の前記指示手段で指示された位置に、所定の角度と大きさまたは前記指示手段で指示された指標に従って合成する画像合成処理手段と、
この画像合成処理手段の合成処理結果を予め定めた出力媒体に出力する出力手段とを備えたことを特徴とする画像合成装置。
An image synthesizing device that synthesizes and outputs a subject image and a background image,
A camera for photographing a subject, background image storage means for storing a plurality of sets of background images, and brightness and color for combining with the subject image for each divided area obtained by dividing each set of the background images into a plurality of areas. Area-specific brightness / saturation storage means storing degree data for each set of background images ,
A background image selecting unit for selecting an arbitrary background image from the background images stored in the background image storing unit; and a subject image photographed by the camera, the background image selected by the background image selecting unit. Instruction means for instructing at least the position index of the position, angle, and size indices for combining into
The brightness and saturation data for each area corresponding to the position designated by the designation means is read out from the brightness / saturation storage means for each area, and the brightness and saturation data of the subject image captured by the camera is read using the brightness and saturation data. An image in which the brightness and the saturation are corrected and synthesized at a position designated by the instruction means in the background image selected by the background image selection means according to a predetermined angle and size or an index designated by the instruction means. Synthesis processing means;
An output unit that outputs a result of the combining process by the image combining unit to a predetermined output medium.
前記背景画像記憶手段に記憶される各組の背景画像は、該背景画像中に存在する背景構成要素を奥行方向の位置に応じて分離した複数の背景画像群から構成されていることを特徴とする請求項1記載の画像合成装置。Each set of background images stored in the background image storage means is constituted by a plurality of background image groups obtained by separating background components present in the background image according to positions in the depth direction. The image synthesizing apparatus according to claim 1, wherein 前記指示手段は、被写体画像を合成するための背景画像中の2次元平面位置と奥行方向の位置とを指示するものであることを特徴とする請求項2記載の画像合成装置。 3. The image synthesizing apparatus according to claim 2 , wherein the instructing unit is configured to instruct a two-dimensional plane position and a position in a depth direction in the background image for synthesizing the subject image. 前記領域別明度・彩度記憶手段は、各組の背景画像を構成する複数の背景画像群のそれぞれを更に複数の領域に分割した各分割領域別に、被写体画像との合成のための明度、彩度のデータを記憶したものであることを特徴とする請求項2記載の画像合成装置。The area-specific brightness / saturation storage unit is configured to separately divide the plurality of background image groups constituting each set of background images into a plurality of areas, and further divide the brightness and saturation for synthesis with a subject image. 3. The image synthesizing apparatus according to claim 2, wherein the degree data is stored. 被写体画像と背景画像とを合成して出力する画像合成方法であって、被写体を撮影するカメラと、複数組の背景画像を記憶した背景画像記憶手段と、前記各組の背景画像を複数の領域に分割した各分割領域別に、被写体画像との合成のための明度、彩度のデータを前記各組の背景画像別に記憶した領域別明度・彩度記憶手段と、前記背景画像記憶手段に記憶されている背景画像の中から任意の背景画像を選択する背景画像選択手段と、前記カメラにより撮影された被写体画像を、前記背景画像選択手段により選択された背景画像中に合成するための位置、角度、大きさの指標のうち少なくとも位置の指標を指示する指示手段と、被写体画像と背景画像とを合成する画像合成処理手段と、この画像合成処理手段の合成処理結果を予め定めた出力媒体に出力する出力手段とを備え、前記カメラで撮影された被写体画像を前記背景画像選択手段で選択された背景画像中に前記指示手段で指示された指標に従って前記画像合成処理手段により合成するに際し、前記指示手段で指示された位置に対応する領域別の明度および彩度のデータを前記領域別明度・彩度記憶手段から読み出し、その明度および彩度のデータにより前記カメラで撮影された被写体画像の明度および彩度を補正し、前記背景画像選択手段で選択された背景画像中に前記指示手段で指示された指標に従って合成することを特徴とする画像合成方法。What is claimed is: 1. An image combining method for combining and outputting a subject image and a background image, comprising: a camera for photographing a subject; background image storage means storing a plurality of sets of background images; For each of the divided regions, the brightness and saturation data for combination with the subject image are stored in the region-by-region brightness / saturation storage means for storing each set of background images, and the background image storage means. A background image selecting means for selecting an arbitrary background image from among the background images, and a position and an angle for synthesizing a subject image taken by the camera into the background image selected by the background image selecting means. An instructing means for instructing at least a position index among the size indices; an image synthesizing processing means for synthesizing the subject image and the background image; and a predetermined output of the synthesizing processing result of the image synthesizing processing means. Output means for outputting to the body, when the subject image captured by the camera is synthesized by the image synthesis processing means into the background image selected by the background image selection means according to the index specified by the instruction means. The brightness and saturation data for each area corresponding to the position designated by the indication means is read from the brightness and saturation storage means for each area, and the subject image captured by the camera based on the brightness and saturation data. An image synthesizing method, wherein the brightness and the saturation of the image are corrected and the background image selected by the background image selecting means is synthesized in accordance with the index specified by the specifying means.
JP37487998A 1998-12-28 1998-12-28 Image synthesizing apparatus and image synthesizing method Expired - Fee Related JP3591575B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP37487998A JP3591575B2 (en) 1998-12-28 1998-12-28 Image synthesizing apparatus and image synthesizing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP37487998A JP3591575B2 (en) 1998-12-28 1998-12-28 Image synthesizing apparatus and image synthesizing method

Publications (2)

Publication Number Publication Date
JP2000196956A JP2000196956A (en) 2000-07-14
JP3591575B2 true JP3591575B2 (en) 2004-11-24

Family

ID=18504586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP37487998A Expired - Fee Related JP3591575B2 (en) 1998-12-28 1998-12-28 Image synthesizing apparatus and image synthesizing method

Country Status (1)

Country Link
JP (1) JP3591575B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3903870B2 (en) * 2002-07-29 2007-04-11 オムロンエンタテインメント株式会社 PHOTO PRINT DEVICE CONTROL METHOD, PHOTO PRINT DEVICE CONTROL PROGRAM, RECORDING MEDIUM CONTAINING PHOTO PRINT DEVICE CONTROL PROGRAM, PHOTO PRINT DEVICE, AND PRINT MEDIUM UNIT
JP2007241687A (en) * 2006-03-09 2007-09-20 Casio Comput Co Ltd Imaging apparatus and image editing device
CA2690987C (en) * 2007-06-29 2016-01-19 Thomson Licensing Method and apparatus for chroma key production
JP2016058937A (en) * 2014-09-11 2016-04-21 辰巳電子工業株式会社 Image editing device for game, image editing method for game and computer program
JP6583660B2 (en) 2015-03-26 2019-10-02 パナソニックIpマネジメント株式会社 Image composition apparatus and image composition method
JP2016033821A (en) * 2015-09-18 2016-03-10 辰巳電子工業株式会社 Photographing play device, image generation method, and image generation program
CN108024057B (en) * 2017-11-30 2020-01-10 Oppo广东移动通信有限公司 Background blurring processing method, device and equipment

Also Published As

Publication number Publication date
JP2000196956A (en) 2000-07-14

Similar Documents

Publication Publication Date Title
EP1408452B1 (en) Image editing method, image editing apparatus, program for implementing image editing method, and recording medium recording program
US6344907B1 (en) Image modification apparatus and method
EP2018049B1 (en) Method of assembling a panoramic image and camera therefor
JP4131929B2 (en) Object image composition method
KR20090009108A (en) Method of assembling a panoramic image, method of providing a virtual 3d projection of a panoramic image and camera therefor
JP4110560B2 (en) Image processing method and apparatus
JP2011217125A (en) Image processor, image processing method, and program
JP2007240887A (en) Automatic photographing device and method thereof
JP3591575B2 (en) Image synthesizing apparatus and image synthesizing method
JP4340836B2 (en) Image composition apparatus and image composition program
JP2006309661A (en) Image reproducing apparatus and image reproducing program
JP2006277729A (en) Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program
JP2000287127A (en) Image synthesizing device
JP3062859U (en) Image synthesis device
JP3564701B2 (en) Image printing apparatus and method
JP2005252739A (en) Static image generating device and method thereof
JP2007241199A (en) Automatic photographing device and method thereof
JP4148165B2 (en) Image composition to create a composite image by overlaying images
JP4859974B2 (en) Information processing apparatus, print system, and image composition method
JP2008187256A (en) Motion image creating device, method and program
JP4454026B2 (en) Program, information storage medium, photo printing apparatus and photo printing method
JP2000261722A (en) Device and method for compositing image
JP2007166383A (en) Digital camera, image composing method, and program
JPH11308527A (en) Image sequence parallel display method and system and recording medium recording image sequence parallel display program
JP4284447B2 (en) Morphing camera and morphing method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040817

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees