JP4984975B2 - カメラおよび画像処理プログラム - Google Patents

Description

本発明は、画像データに挿入画像を挿入するカメラおよび画像処理プログラムに関する。

カメラ等により生成した画像データに日付などの挿入画像を挿入する技術が考えられている。このような技術においては、主要被写体に挿入画像が重なってしまう問題がある。そこで、特許文献１の発明では、画像認識を行うことにより、主要被写体である人物の顔と重ならない位置に挿入画像を挿入している。
特開２００６−１７２１１８号公報

しかし、上述した特許文献１の発明では、挿入画像が大きい場合には、主要被写体と重ならない位置に挿入画像を挿入することができない場合がある。この場合、主要被写体に挿入画像が重なってしまうおそれがある。
本発明は、上記問題に鑑みてなされたものであり、挿入画像とこの挿入画像を挿入する領域との大きさに応じて、適切な大きさの挿入画像を挿入することができるカメラおよび画像処理プログラムを提供することを目的とする。

本発明のカメラは、被写体の像を撮像して画像データを生成する撮像部と、前記画像データの画像に挿入する挿入画像を決定する挿入画像決定部と、前記被写体における主要被写体領域を検出する第１の検出部と、前記主要被写体領域に基づいて、前記被写体における背景領域を検出する第２の検出部と、前記背景領域から、前記挿入画像を挿入する挿入領域を選択する挿入領域選択部と、前記挿入領域の候補である挿入領域候補が複数ある場合に、前記複数の挿入領域候補のそれぞれに対して、前記挿入画像を拡大または縮小する倍率を、前記挿入領域候補の大きさと前記挿入画像の大きさとに応じて決定する倍率決定部と、前記複数の挿入領域候補の中から、前記倍率決定部の決定した倍率が最も高い倍率に対応する前記挿入領域候補を、前記挿入画像を挿入する挿入領域として決定する挿入領域決定部とを備え、前記挿入領域選択部は、前記背景領域を複数のブロックに分割し、色分布の差と輝度分布の差とがそれぞれ所定の閾値以内である連続したブロックからなる領域が複数存在するか否かを判断し、複数存在すると判断した場合は、複数の前記連続したブロックを前記複数の挿入領域候補として選択し、前記挿入領域選択部は、拡大または縮小後の前記挿入画像の大きさが、全ての前記挿入領域候補において閾値を下回る場合には、前記連続したブロックにかかわらず前記背景領域全体から前記挿入領域を選択する。

なお、前記挿入領域決定部により決定した前記挿入領域に関して前記倍率決定部により決定した前記倍率に応じて、前記挿入画像を拡大または縮小するサイズ変更部と、前記挿入領域決定部により決定した前記挿入領域に、前記サイズ変更部により拡大または縮小した前記挿入画像を挿入する挿入部とを更に備えても良い。
また、前記撮像部が生成した前記画像データと、前記挿入画像の画像データと、前記挿入領域決定部により決定した前記挿入領域を示す情報と、前記挿入領域に関して前記倍率決定部が決定した前記倍率とを関連付けて記録媒体に記録する記録部を更に備えても良い。

また、好ましくは、タッチパネル式の表示部を更に備え、前記挿入画像決定部は、前記表示部を介したユーザ操作に基づく手書きの画像情報か、前記手書きの画像情報に対して文字認識処理を施して得られるテキスト情報を、前記挿入画像として取得する取得部を含んでも良い。
また、好ましくは、前記挿入画像決定部は、前記取得部が取得した前記挿入画像の領域を抽出する抽出部を含んでも良い。

また、好ましくは、前記抽出部が抽出した前記挿入画像の領域を確認するための確認画像を前記表示部に表示する表示制御部と、前記挿入画像の領域を、連結または切断するユーザ指示を受け付ける領域変更受付部とを更に備え、前記挿入画像決定部は、前記領域変更受付部が受け付けたユーザ指示に基づいて前記挿入画像を決定しても良い。
また、好ましくは、前記抽出部が抽出した前記挿入画像の領域を確認するための確認画像を前記表示部に表示する表示制御部と、前記挿入画像が複数の領域からなる場合に、前記複数の領域のうち、少なくとも２つの領域を関連付けるユーザ指示を受け付ける領域関連付け受付部とを更に備え、前記挿入画像決定部は、前記領域関連付け受付部が受け付けたユーザ指示に基づいて前記挿入画像を決定しても良い。

また、好ましくは、前記挿入画像決定部は、ユーザ指示により関連付けが行われた複数の領域に文字情報が含まれる場合にその文字情報が縦書きか横書きかを判定する判定部と、前記判定部による判定結果に応じて前記複数の領域の配置を決定する配置決定部とを含んでも良い。
また、好ましくは、前記挿入画像が複数ある場合に、前記複数の挿入画像に優先順位を付ける優先順位決定部を更に有し、前記優先順位の高い順に、前記挿入領域選択部は、その挿入画像を挿入する前記挿入領域を選択し、前記倍率決定部は、前記挿入領域選択部により選択した前記挿入領域の大きさと、その挿入領域に挿入する前記挿入画像の大きさとに応じて前記倍率を決定しても良い。

また、好ましくは、前記優先順位決定部は、前記複数の挿入画像の大きさと、ユーザによる前記挿入画像の入力順と、ユーザによる優先順位の指示との少なくとも１つに基づいて、前記優先順位を付けても良い。
また、好ましくは、挿入領域決定部を更に有し、前記挿入領域の候補である挿入領域候補が複数ある場合に、前記倍率決定部は前記複数の挿入領域候補のそれぞれに対して、前記挿入画像を拡大または縮小する倍率を決定し、前記挿入領域決定部は、前記複数の挿入領域候補の中から、前記倍率決定部の決定した倍率が最も高い倍率に対応する前記挿入領域候補を、前記挿入画像を挿入する挿入領域として決定しても良い。

また、好ましくは、前記挿入領域選択部は、前記挿入領域候補が複数存在するか否かを判断し、複数存在すると判断した場合は、前記複数の挿入領域候補の形状に基づいて特定の条件に合う前記挿入領域候補を第２挿入領域候補として選択し、前記倍率決定部は、前記複数の第２挿入領域候補のそれぞれに対して、前記挿入画像を拡大または縮小する倍率を決定しても良い。

また、好ましくは、前記挿入領域決定部は、拡大または縮小後の前記挿入画像の大きさが閾値を下回るか否かを加味して前記挿入領域を決定しても良い。
また、好ましくは、前記挿入領域選択部は、前記背景領域を複数のブロックに分割し、色分布の差と輝度分布の差とがそれぞれ所定の閾値以内である連続したブロックからなる領域が複数存在するか否かを判断し、複数存在すると判断した場合は、複数の前記連続したブロックを前記複数の挿入領域候補として選択しても良い。

また、好ましくは、前記挿入領域選択部は、拡大または縮小後の前記挿入画像の大きさが、全ての前記挿入領域候補において閾値を下回る場合には、前記連続したブロックにかかわらず前記背景領域全体から前記挿入領域を選択しても良い。
また、好ましくは、前記第１の検出部は、顔認識技術とＡＦエリアの情報との少なくとも一方に基づいて、前記主要被写体領域を検出しても良い。

また、好ましくは、前記挿入領域選択部は、前記背景領域を複数のブロックに分割し、色分布の差と輝度分布の差とがそれぞれ閾値以内である連続したブロックからなる領域を、前記挿入領域として選択しても良い。
また、好ましくは、前記挿入部により挿入された前記挿入画像の挿入結果を確認するための確認画像を表示する表示部と、前記挿入画像の位置を変更するユーザ指示と、前記サイズ変更部による拡大または縮小の倍率を変更するユーザ指示と、前記挿入画像を回転させるユーザ指示との少なくとも１つを受け付ける挿入画像編集受付部とを更に備えても良い。

なお、上記発明に関する構成を、処理対象の画像データに対する画像処理を実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。

本発明のカメラおよび画像処理プログラムによれば、上記問題に鑑みてなされたものであり、挿入画像とこの挿入画像を挿入する領域との大きさに応じて、適切な大きさの挿入画像を挿入することができる。

＜第１実施形態＞
以下、図面を用いて本発明の第１実施形態について説明する。第１実施形態では、電子カメラを例に挙げて説明を行う。
電子カメラ１は、図１の外観図に示すように、背面に画像表示部２、ズームボタン３Ｌおよび３Ｒ、十字キー４を備える。また、上面に電源ボタン５、レリーズボタン６を備える。画像表示部２は、後述するタッチパネル２１を備えた表示部である。ユーザは、ペン等を使用してこのタッチパネル２１に接触することにより、各種入力を行うことができる。

図２は、第１実施形態の電子カメラ１の構成を示すブロック図である。電子カメラ１は、図２に示すように、光学系１１、光学系制御部１２、撮像素子１３、画像処理部１４、メモリ１５、記録部１６、記録媒体１７、操作部１８、表示制御部１９、ＣＰＵ２０、タッチパネル２１を備える。光学系１１は、レンズや絞りなどを含む。また、光学系１１は、交換可能である。光学系制御部１２は、絞りやレンズの焦点位置の制御を行う。撮像素子１３は、光学系１１を介して結像された被写体像を画像データに変換して、画像処理部１４に出力する。画像処理部１４は、色信号生成、マトリクス変換処理、γ変換処理、補正処理、後述する挿入画像を挿入するための画像処理など各種のディジタル信号処理を行う。なお、各画像処理の具体的な方法は説明を省略する。メモリ１５は、画像処理部１４による画像処理後の画像データを一時記録する。記録部１６は、メモリ１５に一時記録された画像データを記録媒体１７に記録する。記録媒体１７は、メモリカードなどのリムーバブルメモリである。操作部１８は、十字キー４、電源ボタン５、レリーズボタン６などを含む。表示制御部１９は、画像表示部２への表示内容を制御する。ＣＰＵ２０は、各部を統合的に制御する。また、ＣＰＵ２０は、操作部１８に対するユーザ操作の有無と、タッチパネル２１に対するユーザ操作の有無とを検知する。また、ＣＰＵ２０は、挿入画像の挿入領域を決定する。決定の詳細は後述する。また、ＣＰＵ２０は、各処理を実行するためのプログラムを予め記録している。

タッチパネル２１はユーザが手書き文字などを入力するための入力装置である。タッチパネル２１は画像表示部２の上面に取り付けられている。タッチパネル２１は、ユーザによるタッチパネル２１の押圧位置を検出し、その押圧位置に応じた入力信号をＣＰＵ２０へ出力する。画像表示部２上に設置されたタッチパネル２は透明であるため、タッチパネル２１が設置されていることによって画像表示部２上の表示が遮られることはない。タッチパネル２１は、表示範囲上に格子状に区切られた微細な入力領域を有しており、ユーザがこのタッチパネル２１を指やタッチペンで押圧すると押圧位置にある入力領域がオンとなる。タッチパネル２１は、オンとなった入力領域のタッチパネル２１上における位置を特定する情報、例えば座標値をタッチパネル２１の操作信号としてＣＰＵ２０へ出力する。

また、電子カメラ１は、撮像により生成した画像データに挿入画像を挿入する機能を備える。挿入画像には、３種類の画像がある。１つ目は、ユーザがタッチパネル２１を介して入力する手書きの画像情報（以下、「手書き情報」と称する）に基づく挿入画像である。２つ目は、ユーザがタッチパネル２１を介して入力した手書き情報に対して文字認識処理を施すことにより得られる挿入画像である。３つ目は、文字メッセージ、記号、図などの情報（以下、「スタンプ情報」と称する）である。電子カメラ１は、内蔵のフラッシュメモリに複数のスタンプ情報を予め記録している。

さらに、撮像時の撮影条件（露出値、シャッタスピードなど）、撮影日時、位置情報などの撮影に関係する情報を、挿入画像として使用しても良い。また、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍｓ）により取得される位置情報を、挿入画像として使用しても良い。
電子カメラ１において、挿入画像を挿入する際のＣＰＵ２０の動作について、図３から図９のフローチャートを用いて説明する。挿入画像を挿入する処理の実行開始は、ユーザにより操作部１８またはタッチパネル２１を介して行われる。

ステップＳ１：ＣＰＵ２０は、挿入画像を挿入する対象の画像を決定する。挿入画像を挿入する対象の画像は、撮像素子１３により生成される画像か記録媒体１７に記録された画像である。
まず、撮像素子１３により生成される画像に対して挿入画像を挿入する場合について説明する。ユーザによりレリーズボタン６が操作されると、各部を制御することにより被写体像を撮像して画像を生成し、生成した画像の画像データをメモリ１５に一時記録する。一方、記録媒体１７に記録された画像に対して挿入画像を挿入する場合には、ＣＰＵ２０は、画像表示部２に対する表示等により操作部１８またはタッチパネル２１を介した画像の指定をユーザに促す。そして、ユーザにより挿入画像を挿入する対象の画像が指定されると、記録媒体１７から該当する画像の画像データを読み出し、メモリ１５に一時記録する。

ステップＳ２：ＣＰＵ２０は、ステップＳ１で決定した画像における主要被写体領域を検出する。ＣＰＵ２０は、公知技術と同様に主要被写体領域を検出する。例えば、顔認識処理により検出する場合は、まず色空間変換を行って肌色領域を検出する。そして、検出した肌色領域に眼が存在するか否かを判定することにより顔領域を検出する。さらに、顔領域と連続する人物の体部分を検出して主要被写体領域を検出する。ＣＰＵ２０は、人物の顔領域の下であって顔の幅の約３倍の幅の領域を、人物の体部分の領域として検出する。ＣＰＵ２０は画像の上下の判定をカメラの姿勢検出センサの出力に基づいて行うことができる。

主要被写体領域の検出はどのような手法を用いても良い。例えば、ＡＦエリア情報を使用して主要被写体領域を検出しても良い。ＡＦエリア情報とは、被写体のどのエリアに対して光学系１１の焦点検出を行うかを示す情報である。ＡＦエリアは、操作部１８の操作に基づいてＣＰＵ２０により決定される。また、検出した被写体領域の情報をＡＥ／ＡＦ制御に使用しても良い。

図１０に、検出した主要被写体領域の例を示す。図１０Ａは、ステップＳ１で決定した画像の一例である。図１０Ｂは、ステップＳ２で検出した主要被写体領域の例である。図１０Ｂにおいて、斜線で示す領域が主要被写体領域として検出された領域である。
ステップＳ３：ＣＰＵ２０は、ステップＳ２で検出した主要被写体領域に基づいて、背景領域を検出する。ＣＰＵ２０は、ステップＳ１で決定した画像のうち、ステップＳ２で検出した主要被写体領域を除いた部分を背景領域として検出する。図１１に、検出した背景領域の例を示す。図１１において、斜線で示す領域が背景領域として検出された領域である。

ステップＳ４：ＣＰＵ２０は、ステップＳ１で決定した画像に挿入する挿入画像を決定する。このステップの詳細は後述する。
ステップＳ５：ＣＰＵ２０は、ステップＳ４で決定した挿入画像を挿入する挿入領域を選択する。ＣＰＵ２０は、ステップＳ１で決定した画像のうち、ステップＳ３で検出した背景領域に該当する部分を複数のブロックに分割する。分割数は、画像表示部２における表示素子の精細度や撮像素子１３の画素数などにより予め定められる。図１２Ａにブロックに分割した例を示す。

そして、ＣＰＵ２０は、各ブロックごとに色分布の代表値と輝度分布の代表値とを算出する。色分布の代表値は、例えば、各画素の色差信号値の平均値である。また、輝度分布の代表値は、例えば、各画素の輝度信号値の平均値である。各画素の輝度信号値と色差信号値とは、各画素のＲ，Ｇ，Ｂの値から所定の演算により求められる。
次に、ＣＰＵ２０は、隣接するブロック間の色分布の代表値の差分を求める。また、同様にＣＰＵ２０は、隣接するブロック間の輝度分布の代表値の差分を求める。そして、色分布の代表値の差分と輝度分布の代表値の差分との両方が、それぞれ所定の閾値以下である場合に、２つのブロックを連続した挿入領域と判断する。

さらにＣＰＵ２０は、この２つのブロックの一方のブロックと、２つのブロックに隣接するブロックとに対して、同様に輝度分布の代表値の差分と色分布の代表値の差分とを求める。そして、輝度分布の代表値の差分と色分布の代表値の差分とのそれぞれが閾値以下である場合、これらの３つのブロックを連続した挿入領域とする。ＣＰＵ２０は上述した処理を繰り返して、連続した複数のブロックを挿入領域の候補の１つとして選択する。

ＣＰＵ２０は、このような処理を、ステップＳ１で決定した画像のうち、ステップＳ３で検出した背景領域に該当する部分全体に対して行う。そして、色分布の代表値の差分と輝度分布の代表値の差分とに関する上述した条件を満たす連続したブロックを挿入領域の候補として選択する。
なお、この処理において選択される挿入領域の候補は１つであるとは限らない。背景領域の内容によっては、２つ以上の挿入領域の候補が選択される場合もある。図１２Ｂに選択された挿入領域の候補の例を示す。図１２Ｂにおいて、斜線で示す領域が挿入領域の候補として選択された領域である。図１２Ｂの例では、Ｅ１からＥ４の４つの領域が挿入領域の候補として選択されている。この４つの領域は、それぞれ、色分布および輝度分布が均一に近い領域である。そのため、挿入画像の挿入に好適である。

ステップＳ６：ＣＰＵ２０は、ステップＳ４で決定した挿入画像の挿入領域を決定する。このステップの詳細は後述する。
ステップＳ７：ＣＰＵ２０は、ステップＳ４で決定した挿入画像をステップＳ１で決定した画像に合成し、合成画像を生成する。このステップの詳細は後述する。
ステップＳ８：ＣＰＵ２０は、各部を制御して、メモリ１５に一時記録した合成画像の画像データを記録媒体１７に記録する。なお、ＣＰＵ２０は、挿入画像の挿入対象である画像と、ステップＳ７で生成した合成画像とを関連付けて記録媒体１７に記録しても良い。また、ＣＰＵ２０は、挿入画像を挿入せずに、挿入対象である画像の画像データと、挿入画像の画像データと、挿入領域の位置情報とを関連付けて記録媒体１７に記録しても良い。また、ＣＰＵ２０は、挿入領域を決定せずに、挿入対象である画像の画像データと、挿入画像の画像データと、挿入情報（主要被写体領域の情報、背景領域の情報、挿入領域の情報の一部または全部）とを関連付けて記録媒体１７に記録しても良い。また、ＣＰＵ２０は、挿入画像の画像データとして、後述するステップＳ１１で入力される挿入画像の画像データを記録しても良い。また、ＣＰＵ２０は、挿入画像の画像データとして、後述するステップＳ１８からステップＳ２４で編集が施された挿入画像の画像データを記録しても良い。

次に、図３のフローチャートのステップＳ４で説明した挿入画像を決定する際のＣＰＵ２０の動作について、図４のフローチャートを用いて説明する。
ステップＳ１１：ＣＰＵ２０は、挿入画像の入力が開始されたか否かを判定する。そして、ＣＰＵ２０は、挿入画像の入力が開始されると後述するステップＳ１３に進む。一方、一定の時間が経過しても挿入画像の入力が開始されないと判定すると、ＣＰＵ２０は、ステップＳ１２に進む。ユーザは、操作部１８を操作するか、または、タッチパネル２１に接触することにより、上述した３種類の挿入画像を入力することができる。

図１３Ａに、手書き情報の挿入画像の入力例を示す。図１３Ａの例では、Ｌ１の部分に「たんじょう日おめでとう」の文字が入力されている。また、Ｌ２の部分に「’０６．１１．１０」の文字が入力されている。手書き情報の挿入画像の入力においては、図１３Ａに示すように、主要被写体領域および背景領域に関係なく手書き情報を入力可能である。このように画像表示部２（タッチパネル２１）の表示面全体を使用して入力可能とすることにより、文字などの入力が容易になる。また、タッチパネル２１の解像度が低い場合でも、大きく文字が書けるので視認しやすい文字などを入力することができる。

文字認識処理による挿入画像の場合、ＣＰＵ２０は、図１３ＡのＬ１およびＬ２の部分に入力された手書き情報に文字認識処理を施す。そして、ＣＰＵ２０は、文字認識処理により得られたテキスト情報を挿入画像とする。
図１３Ｂに、スタンプ情報の挿入画像の入力例を示す。図１３Ｂの例では、Ｓ１の部分に「☆」の記号が３つ入力されている。スタンプ情報の挿入画像の入力においても、図１３Ｂに示すように、主要被写体領域および背景領域に関係なくスタンプ情報を入力可能である。

ステップＳ１２：ＣＰＵ２０は、キャンセルが指示されたか否かを判定する。そして、ＣＰＵ２０は、キャンセルが指示されると挿入画像を決定する一連の処理を終了する。一方、キャンセルが指示されないと判定すると、ＣＰＵ２０は、ステップＳ１１に戻る。キャンセルの指示は、ユーザにより操作部１８またはタッチパネル２１を介して行われる。
ステップＳ１３：ＣＰＵ２０は、挿入画像の入力が完了したか否かを判定する。そして、ＣＰＵ２０は、挿入画像の入力が完了したと判定すると、ステップＳ１４に進む。挿入画像の入力完了指示は、ユーザにより操作部１８またはタッチパネル２１を介して行われる。なお、一定の時間が経過する間にユーザによる挿入画像の入力操作が行われない場合に、挿入画像の入力が完了したと判定しても良い。

ステップＳ１４：ＣＰＵ２０は、挿入画像の領域を抽出する。
図１４Ａに抽出された挿入画像の領域の例を示す。図１４Ａは、図１３ＡのＬ１で説明した手書き情報の挿入画像のうち「た」の部分の拡大図である。ＣＰＵ２０は、手書き情報時に接触を感知した点から、所定のピクセル数離れたピクセルの軌跡を求める。そして、その軌跡が閉じた領域を挿入画像の領域として抽出する。図１４Ａの例では、領域Ａ１が抽出される。図１４Ｂに、図１３ＡのＬ１で説明した手書き情報の挿入画像全体について抽出した領域の例を示す。図１４Ｂの例では、領域Ａ２が抽出される。

なお、挿入画像の領域の抽出を簡略化しても良い。例えば、図１４Ｃに示すように、手書き情報時に接触を感知した点のうち、最も左にある点Ｐ１と、最も右にある点Ｐ２と、最も上にある点Ｐ３と、最も下にある点Ｐ４とに基づく矩形の領域Ａ３を抽出しても良い。
以下では、図１４Ａおよび図１４Ｂを用いて説明した方法で挿入画像の領域を抽出した場合を例に挙げて説明する。

ＣＰＵ２０は、図１４Ａおよび図１４Ｂを用いて説明した処理と同様の処理を、入力された全ての挿入画像に対して行うと、ステップＳ１５に進む。
ステップＳ１５：ＣＰＵ２０は、表示制御部１９を制御し、確認画像を画像表示部２に表示する。ＣＰＵ２０は、図１５に示すように、画像表示部２の表示領域Ｄ１に、ステップＳ１４で抽出した挿入画像の領域を表示する。また、ＣＰＵ２０は、図１５に示すように、画像表示部２の表示領域Ｄ２に、「ＯＫボタン」および「編集ボタン」を表示する。

なお、図１５の例では、画像表示部２にステップＳ１４で抽出した挿入画像の領域のみを表示する例を示したが、図１３Ｂの例と同様に、挿入対象の画像にステップＳ１４で抽出した挿入画像の領域を示す画像を重畳して表示しても良い。
ステップＳ１６：ＣＰＵ２０は、確認ＯＫが指示されたか否かを判定する。そして、ＣＰＵ２０は、確認ＯＫが指示されると挿入画像を決定する一連の処理を終了する。一方、確認ＯＫが指示されないと判定すると、ＣＰＵ２０は、ステップＳ１７に進む。確認ＯＫの指示は、図１５で説明したＯＫボタンをユーザが選択することにより行われる。

ステップＳ１７：ＣＰＵ２０は、編集開始が指示されたか否かを判定する。そして、ＣＰＵ２０は、編集開始が指示されるとステップＳ１８に進む。一方、編集開始が指示されないと判定すると、ＣＰＵ２０は、ステップＳ１６に戻る。編集開始の指示は、図１５で説明した編集ボタンをユーザが選択することにより行われる。
ステップＳ１８：ＣＰＵ２０は、表示制御部１９を制御し、画像表示部２に編集画面を表示する。

図１６Ａに編集画面の例を示す。編集画面には、図１６Ａに示すように、ステップＳ１４で抽出した挿入画像の領域とＯＫボタンとが表示される。
ステップＳ１９：ＣＰＵ２０は、ユーザがタッチパネル２１を用いて連結操作を行ったか否かを判定する。そして、ＣＰＵ２０は、連結操作が行われるとステップＳ２０に進む。一方、連結操作が行われないと判定すると、ＣＰＵ２０は、後述するステップＳ２１に進む。連結操作は、図１６Ａに示すように、ユーザがタッチパネル２１を用いて抽出された複数の領域を囲む（矢印Ｙ１からＹ４）操作することにより行われる。

ステップＳ２０：ＣＰＵ２０は、連結処理を行う。ＣＰＵ２０は、ステップＳ１９において連結操作が行われた複数の領域を１つの領域として連結する。図１６Ｂに３つの☆の記号を連結した領域の例を示す。
ステップＳ２１：ＣＰＵ２０は、ユーザがタッチパネル２１を用いて切断操作を行ったか否かを判定する。そして、ＣＰＵ２０は、切断操作が行われるとステップＳ２２に進む。一方、切断操作が行われないと判定すると、ＣＰＵ２０は、後述するステップＳ２３に進む。切断操作は、図１６Ａに示すように、ユーザがタッチパネル２１を用いて抽出された領域外の２点（点Ｐ１１および点Ｐ１２）をつなぐ直線を入力することにより行われる。

ステップＳ２２：ＣＰＵ２０は、切断処理を行う。ＣＰＵ２０は、ステップＳ２１において切断操作が行われた領域を入力された直線に応じて切断する。図１６Ｃに、図１３ＡのＬ１で説明した「たんじょう日おめでとう」を「たんじょう日」と「おめでとう」とに切断した領域の例を示す。
ステップＳ２３：ＣＰＵ２０は、ユーザがタッチパネル２１を用いて関連付け操作を行ったか否かを判定する。そして、ＣＰＵ２０は、関連付け操作が行われるとステップＳ２４に進む。一方、関連付け操作が行われないと判定すると、ＣＰＵ２０は、後述するステップＳ２５に進む。関連付け操作は、図１６Ａに示すように、ユーザがタッチパネル２１を用いて抽出された複数の領域内の点（点Ｐ１３および点Ｐ１４）を連続して独立に選択する操作を行うことにより行われる。

ステップＳ２４：ＣＰＵ２０は、関連付け処理を行う。ＣＰＵ２０は、ステップＳ２３において関連付け操作が行われた領域のそれぞれについて、関連付け操作が行われたことを示す情報と関連付けの対象の領域を示す情報とを、その領域の挿入画像に対応付けて記録する。
ステップＳ２５：ＣＰＵ２０は、編集完了が指示されたか否かを判定する。そして、ＣＰＵ２０は、編集完了が指示されると挿入画像を決定する一連の処理を終了する。一方、編集完了が指示されないと判定すると、ＣＰＵ２０は、ステップＳ１９に戻る。編集完了の指示は、図１６Ａで説明したＯＫボタンをユーザが選択することにより行われる。

なお、ステップＳ１８で説明した編集画面に、編集に関するボタンなどを表示しても良い。例えば、図１７に示すように、画像表示部２の表示領域Ｄ３に、編集対象である抽出した挿入画像の領域を表示する。また、画像表示部２の表示領域Ｄ４に、「ＯＫボタン」、「連結ボタン」、「切断ボタン」および「関連付けボタン」を表示する。ユーザは、タッチパネル２１を用いてこれらのボタンを操作することができる。すると、ＣＰＵ２０は、各ボタンの機能に対応した処理（ステップＳ２０，Ｓ２２，Ｓ２４）を実行する。

次に、図３のフローチャートのステップＳ６で説明した挿入画像の挿入領域を決定する際のＣＰＵ２０の動作について、図５から図８のフローチャートを用いて説明する。
以下では、上述した挿入画像を決定する処理において、図１６Ａに示した手書き情報の「’０６．１１．１０」と、図１６Ｂに示した３つの☆の記号を連結した挿入画像と、図１６Ｃに示した手書き情報の「たんじょう日」および「おめでとう」とを決定したものとする。また、図１６Ｂに示した３つの☆の記号を連結した挿入画像と、図１６Ｃに示した手書き情報とは関連付け処理が施されたものとして以下の説明を行う。

ステップＳ３１：ＣＰＵ２０は、挿入画像をグルーピングする。ＣＰＵ２０は、互いに関連付け処理が施された複数の挿入画像を１つのグループとしてまとまる。図１６Ａに示した例では、図１６Ａに示した手書き情報の「’０６．１１．１０」を第１のグループとする。また、図１６Ｂに示した３つの☆の記号を連結した挿入画像と、図１６Ｃに示した手書き情報とをまとめて第２のグループとする。

ステップＳ３２：ＣＰＵ２０は、ステップＳ３１でグルーピングした各グループに優先順位を付ける。ＣＰＵ２０は、各グループに含まれる挿入画像の面積の合計を求める。そして、ＣＰＵ２０は、面積が大きい順に各グループに優先順位を付ける。図１６Ａに示した例では、第２のグループが優先順位１位である。また、第１のグループが優先順位２位である。

なお、面積の他に各挿入画像の入力順やユーザによる優先順位の指示などに応じて、優先順位を付けても良い。また、複数のファクターを組み合わせて優先順位を付けても良い。
ステップＳ３３：ＣＰＵ２０は、文字情報を含むグループについて、縦書きか横書きかを検出する。縦書きか横書きかの判定は、手書き情報が入力された際の入力方向や挿入画像のアスペクト比などに応じて行う。手書き情報が入力された際の入力方向が左から右である場合には、横書きであると判定できる。また、手書き情報が入力された際の入力方向が上から下である場合には、縦書きであると判定できる。また、アスペクト比が横長の場合には、横書きと判定できる。逆に、アスペクト比が縦長の場合には、縦書きと判定できる。

ステップＳ３４：ＣＰＵ２０は、優先順位が最も高いグループを選択する。ここでは、第２のグループを選択する。図１６Ｂに示した３つの☆の記号を連結した挿入画像と、図１６Ｃに示した手書き情報とを選択する。
ステップＳ３５：ＣＰＵ２０は、ステップＳ３４で選択したグループが関連付け処理が行われたグループであるか否かを判定する。そして、ＣＰＵ２０は、関連付け処理が行われたグループであると判定するとステップＳ３６に進む。一方、関連付け処理が行われたグループでないと判定すると、ＣＰＵ２０は、後述するステップＳ５２に進む。

ステップＳ３６：ＣＰＵ２０は、ステップＳ３４で選択したグループに含まれる挿入画像の配置の組み合わせを１つ選択する。挿入画像の配置の組み合わせには、上下方向と左右方向との２種類が考えられる。横書きの文字情報を含む場合には、図１８Ａに示す上から下の配置と、図１８Ｂに示す左から右の配置とが考えられる。また、縦書きの文字情報を含む場合には、図１９Ａに示す上から下の配置と、図１９Ｂに示す右から左の配置とが考えられる。

ステップＳ３７：ＣＰＵ２０は、ステップＳ３６で選択した配置の組み合わせで、ステップＳ３４で選択したグループに含まれる挿入画像を配置した際に、全体が縦長の形状を有するか否かを判定する。そして、ＣＰＵ２０は、縦長の形状を有すると判定するとステップＳ３８に進む。一方、縦長の形状を有さない（横長の形状を有する）と判定すると、ＣＰＵ２０は、後述するステップＳ４２に進む。

なお、図１８および図１９の例においては、図１８Ａおよび図１９Ａに示す配置の組み合わせは縦長の形状を有する。一方、図１８Ｂおよび図１９Ｂに示す配置の組み合わせは横長の形状を有する。
ステップＳ３８：ＣＰＵ２０は、縦長の挿入領域を１つ選択し、ステップＳ３４で選択したグループに含まれる挿入画像を当てはめる。挿入領域が縦長であるか横長であるかは、例えば、挿入領域の上下方向の最大長と左右方向の最大長とに基づくアスペクト比により求められる。図１２Ｂに示したＥ１からＥ４の４つの領域のうち、Ｅ１およびＥ２は縦長の領域である。また、Ｅ３およびＥ４は横長の領域である。

ＣＰＵ２０は、縦長の挿入領域を１つ選択し、ステップＳ３４で選択したグループの挿入画像を、ステップＳ３６で選択した配置の組み合わせで配置したものを挿入領域に当てはめる。そして、当てはめる位置を変化させながら倍率が最大となる位置を求める。
ステップＳ３９：ＣＰＵ２０は、ステップＳ３８で求めた位置に当てはめたときの倍率を算出する。

ステップＳ４０：ＣＰＵ２０は、ステップＳ３９で算出した倍率を、ステップＳ３８で選択した挿入領域に対応付けて記録する。
ステップＳ４１：ＣＰＵ２０は、他に縦長の挿入領域が存在するか否かを判定する。そして、ＣＰＵ２０は、他に縦長の挿入領域が存在すると判定するとステップＳ３８に戻る。すなわち、ＣＰＵ２０は、全ての縦長の挿入領域について同様の処理を行う。

図２０Ａは、第２のグループ（ステップＳ３４で選択したグループ）の挿入画像を、図１８Ａに示したように上下方向に配置（ステップＳ３６で選択した配置の組み合わせで配置）したものを縦長の挿入領域（Ｅ１およびＥ２）に当てはめた場合の例である。
一方、他に縦長の挿入領域が存在しないと判定すると、ＣＰＵ２０は、後述するステップＳ４６に進む。

ステップＳ４２：ＣＰＵ２０は、横長の挿入領域を１つ選択し、ステップＳ３４で選択したグループに含まれる挿入画像を当てはめる。
ＣＰＵ２０は、横長の挿入領域を１つ選択し、ステップＳ３４で選択したグループの挿入画像を、ステップＳ３６で選択した配置の組み合わせで配置したものを挿入領域に当てはめる。そして、当てはめる位置を変化させながら倍率が最大となる位置を求める。

ステップＳ４３：ＣＰＵ２０は、ステップＳ４２で求めた位置に当てはめたときの倍率を算出する。
ステップＳ４４：ＣＰＵ２０は、ステップＳ４４で算出した倍率を、ステップＳ４２で選択した挿入領域に対応付けて記録する。
ステップＳ４５：ＣＰＵ２０は、他に横長の挿入領域が存在するか否かを判定する。そして、ＣＰＵ２０は、他に横長の挿入領域が存在すると判定するとステップＳ４２に戻る。すなわち、ＣＰＵ２０は、全ての横長の挿入領域について同様の処理を行う。

一方、他に横長の挿入領域が存在しないと判定すると、ＣＰＵ２０は、ステップＳ４６に進む。
ステップＳ４６：ＣＰＵ２０は、ステップＳ３４で選択したグループに含まれる挿入画像の他の配置の組み合わせが存在するか否かを判定する。そして、ＣＰＵ２０は、他の配置の組み合わせが存在すると判定するとステップＳ３６に戻る。そして、ステップＳ３６において、ＣＰＵ２０は、前回とは異なる配置の組み合わせを選択する。

図２０Ｂは、第２のグループ（ステップＳ３４で選択したグループ）の挿入画像を、図１８Ｂに示したように左右方向に配置（ステップＳ３６で選択した配置の組み合わせで配置）したものを横長の挿入領域（Ｅ３およびＥ４）に当てはめた場合の例である。
一方、他の配置の組み合わせが存在しないと判定すると、ＣＰＵ２０は、ステップＳ４７に進む。

ステップＳ４７：ＣＰＵ２０は、算出した倍率が最大の挿入領域を選択する。ここでは、図２０Ａおよび図２０Ｂからも明らかなように、Ｅ１からＥ４の４つの挿入領域のうち、挿入領域Ｅ１における倍率が最大である。したがって、挿入領域Ｅ１が選択される。
ステップＳ４８：ＣＰＵ２０は、ステップＳ４７の選択に基づき、最大の倍率でステップＳ３４で選択したグループの挿入画像をリサイズした際の挿入画像の大きさが閾値以上であるか否かを判定する。閾値は、例えば、合成画像を所定の大きさ（例えば、「Ｌ判」）で印刷した際に、視認可能な挿入画像の大きさを経験的に求めたものに基づく。具体的には、上述した視認可能な挿入画像の大きさを、撮像素子１３の画素数に応じて換算することにより求めることができる。

そして、ＣＰＵ２０は、閾値以上である判定するとステップＳ４９に進む。一方、閾値未満であると判定すると、ＣＰＵ２０は、後述するステップＳ６１に進む。
ステップＳ４９：ＣＰＵ２０は、ステップＳ４７で選択した挿入領域を、ステップＳ３４で選択したグループの挿入画像の挿入領域として決定する。そして、ＣＰＵ２０は、ステップＳ３４で選択したグループの挿入画像に対応付けて、決定した挿入領域を示す情報と倍率を示す情報とを記録する。

ステップＳ５０：ＣＰＵ２０は、ステップＳ４９で決定した挿入領域を以降の処理における候補から除く。ここでは、図２０Ａに示した挿入領域Ｅ１を挿入画像を挿入する挿入領域として決定したので、挿入領域Ｅ１から挿入画像が挿入される部分を除く。この結果、図２１Ａに示すように、挿入領域Ｅ１に変えて挿入領域Ｅ５および挿入領域Ｅ６を以降の処理で候補とする。なお、挿入領域Ｅ２から挿入領域Ｅ４については、挿入画像を挿入する挿入領域として決定されていないので、以降の処理でも同様に候補とする。

ステップＳ５１：ＣＰＵ２０は、全てのグループについて挿入領域が決定したか否かを判定する。そして、ＣＰＵ２０は、全てのグループについて挿入領域が決定したと判定すると挿入画像の挿入領域を決定する一連の処理を終了する。一方、全てのグループについて挿入領域が決定していないと判定すると、ＣＰＵ２０は、ステップＳ３４に戻り、次に優先順位の高いグループを選択する。

ステップＳ５２からステップＳ６０：ＣＰＵ２０は、関連付け処理の行われていない挿入画像についてステップＳ３７からステップＳ４５と同様の処理を行う。そして、ＣＰＵ２０は、ステップＳ５６またはステップＳ６０においてＮｏと判定すると、前述したステップＳ４７に進む。
図２１Ｂは、第１のグループ（ステップＳ３４で選択したグループ）の挿入画像を、横長の挿入領域（Ｅ３、Ｅ４、Ｅ５、Ｅ６）に当てはめた場合の例である。ここでは、図２１Ｂに示すように、挿入領域Ｅ３、挿入領域Ｅ４、挿入領域Ｅ６における倍率が最大である。このように、倍率が略等しい複数の挿入領域が存在する場合には、例えば、ステップＳ２で検出した主要被写体からの位置が近い挿入領域を優先的に選択しても良い。図２１Ｂの例では、主要被写体に最も近い位置に存在する挿入領域Ｅ６を選択しても良い。ただし、図２１Ｂに示すように、１つの領域内の複数の位置において同じ倍率である場合には、いずれか１つを適宜選択すれば良い。図２１ＢのＥ６の例では、右上側の位置は主要被写体領域と重なることが懸念されるので、左下側の位置を選択すると良い。また、最初に入力された位置に近い位置を優先的に選択しても良い。

ステップＳ６１：ＣＰＵ２０は、ステップＳ５で選択した挿入領域に代えて、ステップＳ３で検出した背景領域全体から新たに挿入領域を選択する。このように、ステップＳ５で説明した連続したブロックにかかわらず背景領域全体から挿入領域を選択することにより、ステップＳ５よりも面積の大きい挿入領域を選択することができる。ここでは、図１１において、斜線で示した領域を挿入領域として選択する。

なお、ステップＳ６１において、背景領域全体から新たに挿入領域を選択する代わりに、ステップＳ５で挿入領域を選択した場合よりも条件を緩くして新たに挿入領域を選択しても良い。
ステップＳ６２からステップＳ７３：ＣＰＵ２０は、ステップＳ３５からステップＳ４６と同様の処理を行う。そして、ＣＰＵ２０は、ステップＳ７３において、ステップＳ３４で選択したグループに含まれる挿入画像の他の配置の組み合わせが存在するか否かを判定する。そして、ＣＰＵ２０は、他の配置の組み合わせが存在すると判定するとステップＳ６３に戻る。そして、ステップＳ６３において、ＣＰＵ２０は、前回とは異なる配置の組み合わせを選択する。

一方、他の配置の組み合わせが存在しないと判定すると、ＣＰＵ２０は、後述するステップＳ８３に進む。
ステップＳ７４からステップＳ８２：ＣＰＵ２０は、ステップＳ３７からステップＳ４５と同様の処理を行う。そして、ＣＰＵ２０は、ステップＳ７８またはステップＳ８２においてＮｏと判定すると、後述するステップＳ８３に進む。

ステップＳ８３：ＣＰＵ２０は、ステップＳ４７と同様に、算出した倍率が最大の挿入領域を選択する。ステップＳ６１において、背景領域全体から挿入領域を選択しているため、ステップＳ８３においては、ステップＳ４７と比較してより大きい倍率が期待できる。
ステップＳ８４：ＣＰＵ２０は、ステップＳ４８と同様に、ステップＳ８３の選択に基づき、最大の倍率でステップＳ３４で選択したグループの挿入画像をリサイズした際の挿入画像の大きさが閾値以上であるか否かを判定する。

そして、ＣＰＵ２０は、閾値以上である判定すると後述するステップＳ８６に進む。一方、閾値未満であると判定すると、ＣＰＵ２０は、ステップＳ８５に進む。
ステップＳ８５：ＣＰＵ２０は、ステップＳ８３の選択に基づき、ステップＳ３４で選択したグループの挿入画像をリサイズした際の挿入画像の大きさが、ステップＳ８４で説明した閾値と略一致するように倍率を再び決定する。この結果、合成画像を所定の大きさで印刷した際に、視認可能な挿入画像の大きさを実現することができる。ただし、倍率を優先した結果、挿入画像が主要被写体領域に重なってしまう場合には、画像表示部２にエラーメッセージを表示するなどして、ユーザに報知すると良い。

なお、ステップＳ３４で選択したグループの挿入画像をリサイズした際の挿入画像の大きさが、ステップＳ８４で説明した閾値未満である場合に、ステップＳ８５において、倍率を再び決定することなくステップＳ８３の選択に基づく倍率を採用しても良い。この場合、挿入画像が主要被写体領域に重なってしまうことを回避することができる。ただし、画像表示部２にエラーメッセージを表示するなどして、挿入画像の大きさが閾値未満であることをユーザに報知すると良い。

ステップＳ８６：ＣＰＵ２０は、ステップＳ４９と同様に、ステップＳ８３で選択した挿入領域を、ステップＳ３４で選択したグループの挿入画像の挿入領域として決定する。そして、ＣＰＵ２０は、ステップＳ３４で選択したグループの挿入画像に対応付けて、決定した挿入領域を示す情報と倍率とを記録する。そして、ＣＰＵ２０は、前述したステップＳ５０に進む。

次に、図３のフローチャートのステップＳ７で説明した挿入画像を合成し、合成画像を生成する際のＣＰＵ２０の動作について、図９のフローチャートを用いて説明する。
ステップＳ９１：ＣＰＵ２０は、表示制御部１９を制御し、確認画像を画像表示部２に表示する。ＣＰＵ２０は、画像表示部２に挿入画像を上述した一連の処理で決定した倍率で拡大または縮小し、挿入対象の画像データの画像の挿入領域に挿入する。そしてＣＰＵ２０はこの挿入処理により生成された画像を画像表示部２に表示する。また、ＣＰＵ２０は、画像表示部２に、図１５と同様な「ＯＫボタン」および「編集ボタン」を表示する。

ステップＳ９２：ＣＰＵ２０は、確認ＯＫが指示されたか否かを判定する。そして、ＣＰＵ２０は、確認ＯＫが指示されると後述するステップＳ１０２に進む。一方、確認ＯＫが指示されないと判定すると、ＣＰＵ２０は、ステップＳ９３に進む。ユーザにより確認ＯＫが指示されたということは、ステップＳ９１において表示された挿入画像入りの画像にユーザが満足したということである。確認ＯＫの指示は、ステップＳ９４で説明したＯＫボタンをユーザが選択することにより行われる。

ステップＳ９３：ＣＰＵ２０は、ステップＳ１７と同様に、編集開始が指示されたか否かを判定する。そして、ＣＰＵ２０は、編集開始が指示されるとステップＳ９４に進む。一方、編集開始が指示されないと判定すると、ＣＰＵ２０は、ステップＳ９２に戻る。編集開始の指示は、ステップＳ９１で説明した編集ボタンをユーザが選択することにより行われる。

ステップＳ９４：ＣＰＵ２０は、表示制御部１９を制御し、画像表示部２に編集画面を表示する。
編集画面は、ステップＳ９１で説明した確認画像に基づき、挿入画像の拡大縮小操作と、挿入画像の挿入位置の移動操作と、挿入画像の回転操作とを受け付け可能な画面である。このような編集画面は公知技術と同様であるため説明を省略する。また、編集画面には、ＯＫボタンが表示される。

ステップＳ９５：ＣＰＵ２０は、ユーザがタッチパネル２１を用いて拡大縮小操作を行ったか否かを判定する。そして、ＣＰＵ２０は、拡大縮小操作が行われるとステップＳ９６に進む。一方、拡大縮小操作が行われないと判定すると、ＣＰＵ２０は、後述するステップＳ９７に進む。拡大縮小操作は、公知技術と同様に行われる。
ステップＳ９６：ＣＰＵ２０は、ステップＳ９５で行われた拡大縮小操作に基づいて、該当する挿入画像の拡大縮小処理を行う。

ステップＳ９７：ＣＰＵ２０は、ユーザがタッチパネル２１を用いて挿入位置の移動操作を行ったか否かを判定する。そして、ＣＰＵ２０は、挿入位置の移動操作が行われるとステップＳ９８に進む。一方、挿入位置の移動操作が行われないと判定すると、ＣＰＵ２０は、後述するステップＳ９９に進む。挿入位置の移動操作は、公知技術と同様に行われる。

ステップＳ９８：ＣＰＵ２０は、ステップＳ９７で行われた挿入位置の移動操作に基づいて、該当する挿入画像の挿入位置移動処理を行う。
ステップＳ９９：ＣＰＵ２０は、ユーザがタッチパネル２１を用いて回転操作を行ったか否かを判定する。そして、ＣＰＵ２０は、回転操作が行われるとステップＳ１００に進む。一方、回転操作が行われないと判定すると、ＣＰＵ２０は、後述するステップＳ１０１に進む。回転操作は、公知技術と同様に行われる。

ステップＳ１００：ＣＰＵ２０は、ステップＳ９９で行われた回転操作に基づいて、該当する挿入画像の回転処理を行う。
ステップＳ１０１：ＣＰＵ２０は、ステップＳ２５と同様に、編集完了が指示されたか否かを判定する。そして、ＣＰＵ２０は、編集完了が指示されるとステップＳ９１に戻り、再び確認画像を表示する。一方、一定の時間が経過しても編集完了が指示されないと判定すると、ＣＰＵ２０は、ステップＳ９５に戻る。編集完了の指示は、ステップＳ９４で説明したＯＫボタンをユーザが選択することにより行われる。

ステップＳ１０２：ＣＰＵ２０は、合成画像を生成する。ＣＰＵ２０は、画像処理部１４を制御して、ステップＳ４で決定した挿入画像をステップＳ９２の確認ＯＫ時の倍率でリサイズする。ＣＰＵ２０は、挿入画像が複数存在する場合には、複数の挿入画像をそれぞれをリサイズする。そして、メモリ１５に一時記録した画像データ（ステップＳ１で決定した画像の画像データ）に対して、ステップＳ９２の確認ＯＫ時の挿入領域に、リサイズ後の画像を挿入して合成画像を生成する。ＣＰＵ２０は、挿入画像が複数存在する場合には、複 数の挿入画像をそれぞれの挿入領域に挿入して合成画像を生成する。

図２２に、生成された合成画像の例を示す。
そして、ＣＰＵ２０は、記録部１６を制御して、生成した合成画像の画像データを記録媒体１７に記録し、合成画像を生成する一連の処理を終了する。
以上説明したように、第１実施形態によれば、被写体の像を撮像して画像データを生成する撮像部と、画像データの画像に挿入する挿入画像を決定する挿入画像決定部と、被写体における主要被写体領域を検出する第１の検出部と、主要被写体領域に基づいて、被写体における背景領域を検出する第２の検出部と、背景領域から、挿入画像を挿入する挿入領域を選択する挿入領域選択部と、挿入領域の大きさと挿入画像の大きさとに応じて、挿入画像を拡大または縮小する倍率を決定する倍率決定部とを備える。したがって、挿入画像とこの挿入画像を挿入する領域との大きさや形状に応じて、適切な倍率を決定することができる。

また、第１実施形態によれば、倍率決定部により決定した倍率に応じて挿入画像を拡大または縮小するサイズ変更部と、挿入領域に、サイズ変更部により拡大または縮小した挿入画像を挿入する挿入部とを更に備える。したがって、挿入画像とこの挿入画像を挿入する領域との大きさに応じて、適切な大きさの挿入画像を挿入することができる。
また、第１実施形態によれば、撮像部が生成した画像データと、挿入画像の画像データと、挿入領域を示す情報と、倍率決定部が決定した倍率とを関連付けて記録媒体に記録する記録部を更に備える。したがって、撮影後の所望のタイミングで、適切な位置に挿入画像を挿入することができる。

また、第１実施形態によれば、タッチパネル式の表示部を更に備え、挿入画像決定部は、表示部を介したユーザ操作に基づく手書き情報か、手書き情報に対して文字認識処理を施して得られるテキスト情報を、挿入画像として取得する取得部を含む。したがって、様々な挿入画像を挿入することができる。さらに、手書き情報については、表示部の表示面全体を使用して入力可能とすることにより、文字などの入力が容易になる。また、表示部のタッチパネルの感度が低い場合でも、視認しやすい文字などを入力することができる。また、大きく入力した手書き情報を縮小して挿入することにより、手書き情報の粗さが目立ちにくくなることも期待できる。

なお、第１実施形態では、撮像時に挿入画像の挿入を行う場合と、記録部から読み出した画像に挿入画像の挿入を行う場合とを例に挙げて説明した。しかし、撮像時に挿入画像を挿入する挿入領域を決定しておき、再生時にユーザ指示に応じて挿入画像の挿入を実行する構成としても良い。
また、第１実施形態では、タッチパネル２１を備える例を示したが、タッチパネル式でない操作部材を備える構成であっても良い。ユーザはこの操作部材を操作することにより、文字等を入力することができる。また、図２３に示すように、背面全体に画像表示部２Ａを備えるものであっても良い。この場合、図２３に示すように画像表示部２Ａの表示領域Ｄ５に、第１実施形態で説明したズームボタン３Ｌおよび３Ｒ、十字キー４に対応するタッチパネル２１で操作可能なアイコンを表示する。そして、手書き情報の挿入画像入力時には、アイコンを表示する表示領域Ｄ５を含む画像表示部２Ａ全体を使用して入力可能とすると良い。

また、第１実施形態では、背景領域から挿入領域を選択する際（ステップＳ５参照）に、色分布と輝度分布との両方をファクターとして使用する例を示したが、いずれか一方のみを使用しても良い。また、色信号および輝度値に予め範囲を定めておき、その範囲内に色信号および輝度値が存在するブロックを選択する構成としても良い。また、色分布の代表値の差分と輝度分布の代表値の差分とに関する条件を満たす連続したブロックを２つ検出した場合に、それらのブロックの色信号および輝度値と同様の色信号および輝度値を有するブロックを選択する構成としても良い。

また、第１実施形態において、挿入画像を決定する処理（図４参照）の編集時（ステップＳ１７からステップＳ２５）に、挿入画像を回転させる回転操作を受け付ける構成としても良い。また、挿入画像の挿入領域を決定する処理（図５から図８参照）において、挿入画像を挿入領域に当てはめる際（ステップＳ３８、ステップＳ４２など）に、挿入画像を回転させて当てはめる構成としても良い。また、挿入画像の挿入領域を決定する処理（図５から図８参照）において、グループに含まれる挿入画像の配置の組み合わせを選択する際（ステップＳ３６、ステップＳ６３）に、挿入画像を斜め方向に配置する構成としても良い。

＜第２実施形態＞
以下、図面を用いて本発明の第２実施形態について説明する。第２実施形態では、コンピュータを例に挙げて説明を行う。
図２４は、第２実施形態のコンピュータ１００の構成を示す図である。コンピュータ１００は、図２４に示すように、メモリ１０７、記録部１０８、操作部１１０、ＣＰＵ１１３、取得部１２０、表示制御部１２１、画像表示部１２２を備える。メモリ１０７は、取得部１２０により取得した画像データなどを一時記録する。記録部１０８は、メモリ１０７に一時記録された画像データなどを記録する。操作部１１０は、電源ボタン、マウス、キーボードなどを含む。ＣＰＵ１１３は、各部を統合的に制御する。また、ＣＰＵ１１３は、挿入画像の挿入領域を決定する。決定の詳細は後述する。また、ＣＰＵ１１３は、各処理を実行するためのプログラムを予め記録している。取得部１２０は、有線、無線、記録媒体用のドライブなどを介して、電子カメラなどの外部機器や記録媒体から画像データを取得する。表示制御部１２１は、画像表示部１２２への画像の表示を制御する。画像表示部１２２は、液晶表示素子などの画像表示素子を備える。

次に、コンピュータ１００におけるＣＰＵ１１３の動作について、図２５のフローチャートを用いて説明する。
ステップＳ１１１：ＣＰＵ１１３は、ユーザによる指示が行われたか否かを判定する。そして、ＣＰＵ１１３は、ユーザによる指示が行われたと判定すると、ステップＳ１１２に進む。

ステップＳ１１２：ＣＰＵ１１３は、挿入画像を挿入する対象の画像の決定が指示されたか否かを判定する。そして、ＣＰＵ１１３は、画像の決定が指示されたと判定すると、後述するステップＳ１１４に進む。一方、画像の決定以外の指示が行われた場合には、ＣＰＵ１１３は、ステップＳ１１３に進む。
ステップＳ１１３：ＣＰＵ１１３は、指示にしたがった処理を行う。処理の具体的な方法は公知技術と同様であるため、説明を省略する。ＣＰＵ１１３は、指示にしたがった処理を行うと、ステップＳ１１１に戻る。

ステップＳ１１４：ＣＰＵ１１３は、挿入画像を挿入する対象の画像を決定する。ＣＰＵ１１３は、取得部１２０を制御して、外部機器や記録媒体から対象の画像の画像データを取得する。または、ＣＰＵ１１３は、記録部１０８から対象の画像の画像データを読み出す。そして、ＣＰＵ１１３は、決定した画像の画像データをメモリ１０７に一時記録する。なお、画像には、タグ情報を有するものもある。本実施形態において、タグ情報には、挿入画像の画像データ、挿入情報などが含まれる。挿入画像の画像データは、第１実施形態と同様の手書き情報の挿入画像、文字認識処理による挿入画像、スタンプ情報の挿入画像などの画像データである。挿入情報は、第１実施形態で説明した挿入領域の位置情報、主要被写体領域の情報、背景領域の情報などである。

ステップＳ１１５：ＣＰＵ１１３は、タグ情報に挿入画像の画像データが存在するか否かを判定する。そして、ＣＰＵ１１３は、タグ情報に挿入画像の画像データが存在すると判定すると、ステップＳ１１６に進む。一方、挿入画像の画像データが存在しないと判定すると、ＣＰＵ１１３は、後述するステップＳ１１８に進む。
ステップＳ１１６：ＣＰＵ１１３は、挿入画像を決定する。例えば、ＣＰＵ１１３は、図４のフローチャートのステップＳ１５からステップＳ２５と同様の処理を行って、挿入画像を決定する。

ステップＳ１１７：ＣＰＵ１１３は、タグ情報に挿入情報が存在するか否かを判定する。そして、ＣＰＵ１１３は、タグ情報に挿入情報が存在すると判定すると、後述するステップＳ１２２に進む。一方、タグ情報に挿入情報が存在しないと判定すると、ＣＰＵ１１３は、後述するステップＳ１１９に進む。
ステップＳ１１８：ＣＰＵ１１３は、挿入画像を決定する。例えば、ＣＰＵ１１３は、図４のフローチャートのステップＳ１１からステップＳ２５と同様の処理を行って、挿入画像を決定する。

ステップＳ１１９：ＣＰＵ１１３は、ステップＳ１１４で決定した画像における主要被写体領域を検出する。例えば、ＣＰＵ１１３は、図３のフローチャートのステップＳ２と同様の処理を行って、主要被写体領域を検出する。
ステップＳ１２０：ＣＰＵ１１３は、ステップＳ１１９で検出した主要被写体領域に基づいて、背景領域を検出する。例えば、ＣＰＵ１１３は、図３のフローチャートのステップＳ３と同様の処理を行って、背景領域を検出する。

ステップＳ１２１：ＣＰＵ１１３は、ステップＳ１１６またはステップＳ１１８で決定した挿入画像を挿入する挿入領域の候補を選択する。例えば、ＣＰＵ１１３は、図３のフローチャートのステップＳ５と同様の処理を行って、挿入領域の候補を選択する。
ステップＳ１２２：ＣＰＵ１１３は、ステップＳ１１６またはステップＳ１１８で決定した挿入画像の挿入領域を決定する。例えば、ＣＰＵ１１３は、図５から図８のフローチャートのステップＳ３１からステップＳ８６と同様の処理を行って、挿入画像の挿入領域を決定する。なお、ＣＰＵ１１３は、ステップＳ１１７においてタグ情報に挿入情報が存在すると判定した場合には、その挿入情報に含まれる情報に応じて適宜挿入画像の挿入領域を決定する。

ステップＳ１２３：ＣＰＵ１１３は、ステップＳ１１６またはステップＳ１１８で決定した挿入画像をステップＳ１１４で決定した画像に合成し、合成画像を生成する。例えば、ＣＰＵ１１３は、図９のフローチャートのステップＳ９１からステップＳ１０２と同様の処理を行って、合成画像を生成する。
ステップＳ１２４：ＣＰＵ１１３は、各部を制御して、メモリ１０７に一時記録した合成画像の画像データを記録部１０８に記録する。

以上説明したように、第２実施形態によれば、処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムにより、第１実施形態と同様の効果を得ることができる。

第１実施形態の電子カメラ１の外観図である。 第１実施形態の電子カメラ１のブロック図である。 第１実施形態の電子カメラ１の動作を示すフローチャートである。 第１実施形態の電子カメラ１の動作を示す別のフローチャートである。 第１実施形態の電子カメラ１の動作を示す別のフローチャートである。 第１実施形態の電子カメラ１の動作を示す別のフローチャートである。 第１実施形態の電子カメラ１の動作を示す別のフローチャートである。 第１実施形態の電子カメラ１の動作を示す別のフローチャートである。 第１実施形態の電子カメラ１の動作を示す別のフローチャートである。 主要被写体領域について説明する図である。 背景領域について説明する図である。 挿入領域の選択について説明する図である。 挿入画像について説明する図である。 挿入画像の領域の抽出について説明する図である。 編集画面の例を示す図である。 編集画面を利用した操作について説明する図である。 編集画面の別の例を示す図である。 挿入画像の配置の組み合わせについて説明する図である。 挿入画像の配置の組み合わせについて説明する別の図である。 挿入領域の決定について説明する図である。 挿入領域の決定について説明する別の図である。 生成された合成画像の例を示す図である。 第１実施形態の電子カメラ１の変形例である。 第２実施形態のコンピュータ１００の構成を示す図である。 第２実施形態のコンピュータ１００の動作を示すフローチャートである。

符号の説明

１…電子カメラ，２・１２２…画像表示部，１１…光学系，１２…光学系制御部，１３…撮像素子，１４…画像処理部，１５・１０７…メモリ，１６・１０８…記録部，１７…記録媒体，１８・１１０…操作部，１９・１２１…表示制御部，２０・１１３…ＣＰＵ，１００…コンピュータ，１２０…取得部

Claims (31)

1. 被写体の像を撮像して画像データを生成する撮像部と、
   前記画像データの画像に挿入する挿入画像を決定する挿入画像決定部と、
   前記被写体における主要被写体領域を検出する第１の検出部と、
   前記主要被写体領域に基づいて、前記被写体における背景領域を検出する第２の検出部と、
   前記背景領域から、前記挿入画像を挿入する挿入領域を選択する挿入領域選択部と、
   前記挿入領域の候補である挿入領域候補が複数ある場合に、前記複数の挿入領域候補のそれぞれに対して、前記挿入画像を拡大または縮小する倍率を、前記挿入領域候補の大きさと前記挿入画像の大きさとに応じて決定する倍率決定部と、
   前記複数の挿入領域候補の中から、前記倍率決定部の決定した倍率が最も高い倍率に対応する前記挿入領域候補を、前記挿入画像を挿入する挿入領域として決定する挿入領域決定部とを備え、
   前記挿入領域選択部は、前記背景領域を複数のブロックに分割し、色分布の差と輝度分布の差とがそれぞれ所定の閾値以内である連続したブロックからなる領域が複数存在するか否かを判断し、複数存在すると判断した場合は、複数の前記連続したブロックを前記複数の挿入領域候補として選択し、
   前記挿入領域選択部は、拡大または縮小後の前記挿入画像の大きさが、全ての前記挿入領域候補において閾値を下回る場合には、前記連続したブロックにかかわらず前記背景領域全体から前記挿入領域を選択する
   ことを特徴とするカメラ。
2. 請求項１に記載のカメラにおいて、
   前記挿入領域決定部により決定した前記挿入領域に関して前記倍率決定部により決定した前記倍率に応じて、前記挿入画像を拡大または縮小するサイズ変更部と、
   前記挿入領域決定部により決定した前記挿入領域に、前記サイズ変更部により拡大または縮小した前記挿入画像を挿入する挿入部とを更に備える
   ことを特徴とするカメラ。
3. 請求項１に記載のカメラにおいて、
   前記撮像部が生成した前記画像データと、前記挿入画像の画像データと、前記挿入領域決定部により決定した前記挿入領域を示す情報と、前記挿入領域に関して前記倍率決定部が決定した前記倍率とを関連付けて記録媒体に記録する記録部を更に備える
   ことを特徴とするカメラ。
4. 請求項１に記載のカメラにおいて、
   タッチパネル式の表示部を更に備え、
   前記挿入画像決定部は、前記表示部を介したユーザ操作に基づく手書きの画像情報か、前記手書きの画像情報に対して文字認識処理を施して得られるテキスト情報を、前記挿入画像として取得する取得部を含む
   ことを特徴とするカメラ。
5. 請求項４に記載のカメラにおいて、
   前記挿入画像決定部は、前記取得部が取得した前記挿入画像の領域を抽出する抽出部を含む
   ことを特徴とするカメラ。
6. 請求項５に記載のカメラにおいて、
   前記抽出部が抽出した前記挿入画像の領域を確認するための確認画像を前記表示部に表示する表示制御部と、
   前記挿入画像の領域を、連結または切断するユーザ指示を受け付ける領域変更受付部とを更に備え、
   前記挿入画像決定部は、前記領域変更受付部が受け付けたユーザ指示に基づいて前記挿入画像を決定する
   ことを特徴とするカメラ。
7. 請求項５に記載のカメラにおいて、
   前記抽出部が抽出した前記挿入画像の領域を確認するための確認画像を前記表示部に表示する表示制御部と、
   前記挿入画像が複数の領域からなる場合に、前記複数の領域のうち、少なくとも２つの領域を関連付けるユーザ指示を受け付ける領域関連付け受付部とを更に備え、
   前記挿入画像決定部は、前記領域関連付け受付部が受け付けたユーザ指示に基づいて前記挿入画像を決定する
   ことを特徴とするカメラ。
8. 請求項７に記載のカメラにおいて、
   前記挿入画像決定部は、ユーザ指示により関連付けが行われた複数の領域に文字情報が含まれる場合にその文字情報が縦書きか横書きかを判定する判定部と、前記判定部による判定結果に応じて前記複数の領域の配置を決定する配置決定部とを含む
   ことを特徴とするカメラ。
9. 請求項１に記載のカメラにおいて、
   前記挿入画像が複数ある場合に、前記複数の挿入画像に優先順位を付ける優先順位決定部を更に有し、
   前記優先順位の高い順に、前記挿入領域選択部は、その挿入画像を挿入する前記挿入領域を選択し、前記倍率決定部は、前記挿入領域選択部により選択した前記挿入領域の大きさと、その挿入領域に挿入する前記挿入画像の大きさとに応じて前記倍率を決定する
   ことを特徴とするカメラ。
10. 請求項９に記載のカメラにおいて、
    前記優先順位決定部は、前記複数の挿入画像の大きさと、ユーザによる前記挿入画像の入力順と、ユーザによる優先順位の指示との少なくとも１つに基づいて、前記優先順位を付ける
    ことを特徴とするカメラ。
11. 請求項１に記載のカメラにおいて、
    前記挿入領域選択部は、前記挿入領域候補が複数存在するか否かを判断し、複数存在すると判断した場合は、前記複数の挿入領域候補の形状に基づいて特定の条件に合う前記挿入領域候補を第２挿入領域候補として選択し、
    前記倍率決定部は、前記複数の第２挿入領域候補のそれぞれに対して、前記挿入画像を拡大または縮小する倍率を決定する
    ことを特徴とするカメラ。
12. 請求項１に記載のカメラにおいて、
    前記挿入領域決定部は、拡大または縮小後の前記挿入画像の大きさが閾値を下回るか否かを加味して前記挿入領域を決定する
    ことを特徴とするカメラ。
13. 請求項１に記載のカメラにおいて、
    前記第１の検出部は、顔認識技術とＡＦエリアの情報との少なくとも一方に基づいて、前記主要被写体領域を検出する
    ことを特徴とするカメラ。
14. 請求項１に記載のカメラにおいて、
    前記挿入領域選択部は、前記背景領域を複数のブロックに分割し、色分布の差と輝度分布の差とがそれぞれ閾値以内である連続したブロックからなる領域を、前記挿入領域として選択する
    ことを特徴とするカメラ。
15. 請求項２に記載のカメラにおいて、
    前記挿入部により挿入された前記挿入画像の挿入結果を確認するための確認画像を表示する表示部と、
    前記挿入画像の位置を変更するユーザ指示と、前記サイズ変更部による拡大または縮小の倍率を変更するユーザ指示と、前記挿入画像を回転させるユーザ指示との少なくとも１つを受け付ける挿入画像編集受付部とを更に備える
    ことを特徴とするカメラ。
16. 処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムであって、
    前記処理対象の画像データを選択する画像選択手順と、
    前記画像データの画像に挿入する挿入画像を決定する挿入画像決定手順と、
    前記処理対象の画像データにおける主要被写体領域を検出する第１の検出手順と、
    前記主要被写体領域に基づいて、前記被写体における背景領域を検出する第２の検出手順と、
    前記背景領域から、前記挿入画像を挿入する挿入領域を選択する挿入領域選択手順と、
    前記挿入領域の候補である挿入領域候補が複数ある場合に、前記複数の挿入領域候補のそれぞれに対して、前記挿入画像を拡大または縮小する倍率を、前記挿入領域候補の大きさと前記挿入画像の大きさとに応じて決定する倍率決定手順と、
    前記複数の挿入領域候補の中から、前記倍率決定手順において決定した倍率が最も高い倍率に対応する前記挿入領域候補を、前記挿入画像を挿入する挿入領域として決定する挿入領域決定手順とを有し、
    前記挿入領域選択手順では、前記背景領域を複数のブロックに分割し、色分布の差と輝度分布の差とがそれぞれ所定の閾値以内である連続したブロックからなる領域が複数存在するか否かを判断し、複数存在すると判断した場合は、複数の前記連続したブロックを前記複数の挿入領域候補として選択し、
    前記挿入領域選択手順では、拡大または縮小後の前記挿入画像の大きさが、全ての前記挿入領域候補において閾値を下回る場合には、前記連続したブロックにかかわらず前記背景領域全体から前記挿入領域を選択する
    ことを特徴とする画像処理プログラム。
17. 請求項１６に記載の画像処理プログラムにおいて、
    前記挿入領域決定手順において決定した前記挿入領域に関して前記倍率決定手順により決定した前記倍率に応じて、前記挿入画像を拡大または縮小するサイズ変更手順と、
    前記挿入領域決定手順において決定した前記挿入領域に、前記サイズ変更手順において拡大または縮小した前記挿入画像を挿入する挿入手順とを更に有する
    ことを特徴とする画像処理プログラム。
18. 請求項１６に記載の画像処理プログラムにおいて、
    前記処理対象の画像データにおける被写体に含まれる主要被写体情報に基づいて決定された挿入情報を取得する挿入情報取得手順と、
    前記挿入情報取得手順において、前記挿入情報を取得したか否かを判定する判定手順とを更に有し、
    前記判定手順において、前記挿入情報を取得したと判定すると、前記挿入領域選択手順では、前記挿入情報に基づいて前記挿入領域を選択し、前記倍率決定手順では、前記挿入領域選択手順において選択した前記挿入領域の大きさと、その挿入領域に挿入する前記挿入画像の大きさとに応じて前記倍率を決定し、前記挿入領域決定手順では、前記挿入領域候補を前記挿入領域として決定する
    ことを特徴とする画像処理プログラム。
19. 請求項１６に記載の画像処理プログラムにおいて、
    前記挿入画像決定手順は、前記画像データの画像に挿入する挿入画像を取得する挿入画像取得手順を含む
    ことを特徴とする画像処理プログラム。
20. 請求項１９に記載の画像処理プログラムにおいて、
    前記挿入画像取得手順では、前記挿入画像として、ユーザ操作に基づく手書きの画像情報と、前記手書きの画像情報に対して文字認識処理を施して得られるテキスト情報と、予め用意された複数の前記挿入画像から、ユーザにより選択された挿入画像との少なくとも１つを取得する
    ことを特徴とする画像処理プログラム。
21. 請求項２０に記載の画像処理プログラムにおいて、
    前記挿入画像決定手順は、前記挿入画像取得手順において取得した前記挿入画像の領域を抽出する抽出手順を含む
    ことを特徴とする画像処理プログラム。
22. 請求項２１に記載の画像処理プログラムにおいて、
    前記抽出手順において抽出した前記挿入画像の領域を確認するための確認画像を表示部に表示する表示手順と、
    前記挿入画像の領域を、連結または切断するユーザ指示を受け付ける領域変更受付手順とを更に有し、
    前記挿入画像決定手順では、前記領域変更受付手順において受け付けたユーザ指示に基づいて前記挿入画像を決定する
    ことを特徴とする画像処理プログラム。
23. 請求項２１に記載の画像処理プログラムにおいて、
    前記抽出手順において抽出した前記挿入画像の領域を確認するための確認画像を表示部に表示する表示手順と、
    前記挿入画像が複数の領域からなる場合に、前記複数の領域のうち、少なくとも２つの領域を関連付けるユーザ指示を受け付ける領域関連付け受付手順とを更に有し、
    前記挿入画像決定手順では、前記領域関連付け受付手順において受け付けたユーザ指示に基づいて前記挿入画像を決定する
    ことを特徴とする画像処理プログラム。
24. 請求項２３に記載の画像処理プログラムにおいて、
    前記挿入画像決定手順は、ユーザ指示により関連付けが行われた複数の領域に文字情報が含まれる場合にその文字情報が縦書きか横書きかを判定する判定手順と、前記判定手順による判定結果に応じて前記複数の領域の配置を決定する配置決定手順とを含む
    ことを特徴とする画像処理プログラム。
25. 請求項１６に記載の画像処理プログラムにおいて、
    前記挿入画像が複数ある場合に、前記複数の挿入画像に優先順位を付ける優先順位決定手順を更に有し、
    前記優先順位の高い順に、前記挿入領域選択手順では、その挿入画像を挿入する前記挿入領域を選択し、前記倍率決定手順では、前記挿入領域選択手順において選択した前記挿入領域の大きさと、その挿入領域に挿入する前記挿入画像の大きさとに応じて前記倍率を決定する
    ことを特徴とする画像処理プログラム。
26. 請求項２５に記載の画像処理プログラムにおいて、
    前記優先順位決定手順では、前記複数の挿入画像の大きさと、ユーザによる前記挿入画像の入力順と、ユーザによる優先順位の指示との少なくとも１つに基づいて、前記優先順位を付ける
    ことを特徴とする画像処理プログラム。
27. 請求項１６に記載の画像処理プログラムにおいて、
    前記挿入領域選択手順では、前記挿入領域候補が複数存在するか否かを判断し、複数存在すると判断した場合は、前記複数の挿入領域候補の形状に基づいて特定の条件に合う前記挿入領域候補を第２挿入領域候補として選択し、
    前記倍率決定手順では、前記複数の第２挿入領域候補のそれぞれに対して、前記挿入画像を拡大または縮小する倍率を決定する
    ことを特徴とする画像処理プログラム。
28. 請求項１６に記載の画像処理プログラムにおいて、
    前記挿入領域決定手順では、拡大または縮小後の前記挿入画像の大きさが閾値を下回るか否かを加味して前記挿入領域を決定する
    ことを特徴とする画像処理プログラム。
29. 請求項１６に記載の画像処理プログラムにおいて、
    前記第１の検出手順では、顔認識技術とＡＦエリアの情報との少なくとも一方に基づいて、前記主要被写体領域を検出する
    ことを特徴とする画像処理プログラム。
30. 請求項１６に記載の画像処理プログラムにおいて、
    前記挿入領域選択手順では、前記背景領域を複数のブロックに分割し、色分布の差と輝度分布の差とがそれぞれ閾値以内である連続したブロックからなる領域を、前記挿入領域として選択する
    ことを特徴とする画像処理プログラム。
31. 請求項１７に記載の画像処理プログラムにおいて、
    前記挿入手順により挿入された前記挿入画像の挿入結果を確認するための確認画像を表示部に表示する表示手順と、
    前記挿入画像の位置を変更するユーザ指示と、前記サイズ変更手順による拡大または縮小の倍率を変更するユーザ指示と、前記挿入画像を回転させるユーザ指示との少なくとも１つを受け付ける挿入画像編集受付手順とを更に有する
    ことを特徴とする画像処理プログラム。

Images