JP5668514B2 - 自動写真作成装置 - Google Patents

Description

本発明は、自動写真作成装置に関し、さらに詳しくは、利用者をカメラで撮影し、その撮影画像に基づき生成される合成画像を写真等として出力する自動写真作成装置に関する。

従来、利用者をカメラで撮影し、その撮影画像を写真シールや写真カード等として出力する遊戯用写真作成装置が知られている。このような遊戯用写真作成装置は、遊戯性または娯楽性が高いことから、撮影画像と合成すべき画像を、利用者の嗜好に応じて、予め用意された多種多様な背景画像および前景画像（例えばフレーム画像やスタンプ画像など）から選択したり、タッチペンを用いて利用者が自由に描いたりできるように構成されているものが多い。利用者によるこのような操作は、撮影画像に対してなされるため、「落書き」と呼ばれる。

このような遊戯用写真作成装置では、限定された撮影室内で撮影するため、カメラに広角レンズが使用されることが多い。この広角レンズは、樽型歪みと呼ばれる歪曲収差を生じることが知られており、このような歪曲収差により生じる撮影画像の変形を補正する手法には従来より様々な工夫がなされている。

例えば、特開２００１−３１１９９３号公報には、カメラによりズームイン又はズームアウトを行った後に、撮影された使用者の画像をソフト的に歪補正するフォトブースの構成が開示されている。

特開２００１−３１１９９３号公報

ここで、遊戯用写真作成装置における撮影室内で人物を撮影する際、人物の足部分が不自然に写ることがある。すなわち典型的には、遊戯用写真作成装置に設けられるカメラの位置は、通常立っている人物の前方近傍であって、当該人物の胸またはそれ以上の高さであり、その位置から人物を撮影すると、人物の足が不自然に短く写ることがある。

また、立っている人物の足首からつま先までの部分は、地面に対してほぼ平行となっているのが通常である。そのため、この部分と、地面に対してほぼ垂直となっている足首から上の部分とで写り方が異なり、結果的に不自然に写ることがある。

このような不自然な写り方は、遊戯用写真作成装置において撮影された画像に対して、上記樽型歪みや幾何歪みなどを補正する周知の画像処理を行ったとしても、根本的な改善は望めない。

そこで、本発明では、撮影対象となる利用者の足部分が不自然に写らないよう画像補正を行う自動写真作成装置を提供することを目的とする。

第１の発明は、被写体である利用者を含む像を撮影する撮影手段と、前記撮影手段により得られる撮影画像を含む合成画像を写真として出力する出力手段とを備える自動写真作成装置であって、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成手段を備えることを特徴とする。

第２の発明は、第１の発明において、
前記画像合成手段は、前記利用者の足首近傍から所定の上限位置までの像を含むべき脚部画像を前記方向に拡大し、縮小された足先画像と拡大された脚部画像とが接するように前記合成画像を生成することを特徴とする。

第３の発明は、第２の発明において、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記撮影画像において足首が写るべき予め定められた位置を含む線分を下辺とし、前記撮影画像において膝が写るべき予め定められた上限位置を含む線分を上辺とする矩形領域を前記脚部画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする。

第４の発明は、第２または第３の発明において、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記撮影画像において足首が写るべき予め定められた位置を含む線分を上辺とし、前記撮影画像の下端を含む線分または前記撮影画像において足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域を前記足先画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする。

第５の発明は、第２から第４までのいずれか１つの発明において、
前記画像合成手段は、前記撮影画像における縮小前の前記足先画像の下端位置と前記縮小された足先画像の下端位置とを一致させ、かつ前記撮影画像における拡大前の前記脚部画像の上端位置と前記拡大された脚部画像の上端位置とを一致させるよう、前記足先画像を縮小し前記脚部画像を拡大することを特徴とする。

第６の発明は、第２の発明において、
前記脚部画像に前記利用者の顔の像が含まれるか否かを判定する顔検出手段をさらに備え、
前記画像合成手段は、前記顔検出手段によって前記顔の像が含まれないと判定される場合、前記脚部画像を前記方向に第１の拡大率で拡大し、前記顔検出手段によって前記顔の像が含まれると判定される場合、前記脚部画像を拡大しないか、または前記第１の拡大率よりも小さい第２の拡大率で前記脚部画像を前記方向に拡大することを特徴とする。

第７の発明は、第２の発明において、
前記撮影手段による撮影対象であって、所定の色を付された被撮影面を有する背景提示手段と、
前記撮影画像に含まれる前記被撮影面の像が占める領域の色に対応するクロマキーマスクを作成するマスク作成手段と、
前記マスク作成手段により作成されたクロマキーマスクを使用することによって前記利用者の像のみを含む利用者画像を抽出する利用者画像抽出手段と
をさらに備え、
前記画像合成手段は、前記利用者画像を含む前記合成画像と、所定の背景付加画像とを合成するクロマキー処理を行うことにより、新たな合成画像を生成することを特徴とする。

第８の発明は、第７の発明において、
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、前記利用者の足首の位置を検出する足首検出手段をさらに備え、
前記画像合成手段は、前記足首検出手段により検出される足首の位置に基づき、前記足先画像および前記脚部画像を定めることを特徴とする。

第９の発明は、第８の発明において、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記足首検出手段により検出される前記利用者の少なくとも１つの足首の位置に基づき算出される位置を含む線分を上辺とし、前記撮影画像の下端を含む線分または前記撮影画像において足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域または当該矩形領域内に含まれる前記利用者画像の対応部分を前記足先画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする。

第１０の発明は、第８または第９の発明において、
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、前記利用者の膝の位置を検出する膝検出手段をさらに備え、
前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記膝検出手段により検出される前記利用者の少なくとも１つの膝の位置に基づき算出される位置を含む線分を上辺とし、前記足首検出手段により検出される前記利用者の少なくとも１つの足首の位置に基づき算出される位置を含む線分を下辺とする矩形領域または当該矩形領域内に含まれる前記利用者画像の対応部分を前記脚部画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする。

第１１の発明は、第８の発明において、
前記足首検出手段は、前記利用者画像に基づき、一人以上の前記利用者の各足首の位置をそれぞれ検出し、
前記画像合成手段は、前記足首検出手段により検出される各足首の位置に基づき、前記各足首の像および当該各足首に対応する足先の像を含む前記利用者画像の対応部分を前記各足首に対応する足先画像と定めるとともに、前記各足首および当該各足首に対応する前記上限位置の像を含む前記利用者画像の対応部分を前記各足首に対応する脚部画像と定め、前記各足首に対応する縮小された足先画像と拡大された脚部画像とが前記各足首でそれぞれ接するように前記合成画像を生成することを特徴とする。

第１２の発明は、第１１の発明において、
前記利用者画像抽出手段により抽出される前記利用者画像に基づき、一人以上の前記利用者の各膝の位置をそれぞれ検出する膝検出手段をさらに備え、
前記画像合成手段は、前記膝検出手段により検出される前記各膝の位置を前記各足首に対応する前記上限位置として前記脚部画像を定めることを特徴とする。

第１３の発明は、被写体である利用者を含む像を撮影する撮影ステップと、前記撮影ステップにより得られる撮影画像を含む合成画像を写真として出力する出力ステップとを備える自動写真作成方法であって、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成ステップを備えることを特徴とする。

第１４の発明は、コンピュータである自動写真作成装置に、
被写体である利用者を含む像を撮影する撮影ステップと、
前記撮影ステップにより得られる撮影画像を含む合成画像を写真として出力する出力ステップと、
前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成ステップとを実行させることを特徴とする、プログラムである。

上記第１の発明によれば、利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように合成画像を生成するので、撮影対象となる利用者の足部分が不自然に写らないように（不自然に長く見えないように）することができる。

上記第２の発明によれば、足先画像を所定方向に縮小するとともに、利用者の足首近傍から所定の上限位置までの像を含むべき脚部画像を方向に拡大し、縮小された足先画像と拡大された脚部画像とが接するように合成画像を生成するので、利用者の像の連続性を保ちつつ、撮影対象となる利用者の足部分が不自然に写らないように（不自然に長く見えないように）することができ、利用者の足をスタイル良く長く見せることができる。

上記第３の発明によれば、撮影画像において足首が写るべき予め定められた位置を含む線分を下辺とし、膝が写るべき予め定められた上限位置を含む線分を上辺とする矩形領域を脚部画像と定め、足先画像を下方向に縮小するとともに脚部画像を下方向に拡大するので、予め定められた位置を使用する簡易な構成により、利用者の足部分が不自然に写らないようにすることができる。特に限定された撮影室内での利用者の位置（例えば足首等の高さ）はほぼ一定であると言えるので、このような簡易な構成が可能となる。

上記第４の発明によれば、足首が写るべき予め定められた位置を含む線分を上辺とし、撮影画像の下端を含む線分または足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域を足先画像と定め、足先画像を下方向に縮小するとともに脚部画像を下方向に拡大するので、予め定められた位置を使用する簡易な構成により、利用者の足部分が不自然に写らないようにすることができる。また同様に、特に限定された撮影室内での利用者の位置（例えば足首等の高さ）はほぼ一定であると言えるので、このような簡易な構成が可能となる。

上記第５の発明によれば、縮小前の足先画像の下端位置と縮小された足先画像の下端位置とを一致させ、かつ拡大前の脚部画像の上端位置と拡大された脚部画像の上端位置とを一致させるので、利用者の像の連続性を簡単に保つことができ、利用者の足部分が不自然に写らないようにすることができる。

上記第６の発明によれば、顔検出手段によって脚部画像に利用者の顔の像が含まれると判定される場合、脚部画像を拡大しないか、または第１の拡大率よりも小さい第２の拡大率で脚部画像を拡大するので、撮影対象となる利用者の足部分が不自然に写らないように（不自然に長く見えないように）しつつ、撮影画像に写る利用者の顔が変形するような違和感を解消または低減することができる。

上記第７の発明によれば、被撮影面の像が占める領域の色に対応するクロマキーマスクを作成し、作成されたクロマキーマスクを使用することによって利用者の像のみを含む利用者画像を抽出し、利用者画像を含む合成画像と、所定の背景付加画像とを合成するので、遊戯性の高い合成画像が得られるとともに、抽出された利用者画像を使用することにより容易に足先画像を縮小し脚部画像を拡大することができる。

上記第８の発明によれば、利用者画像に基づき、利用者の足首の位置を検出し、検出される足首の位置に基づき、足先画像および脚部画像を定めるので、利用者の実際の足首の位置に基づき、正確な範囲の足先画像を得ることができる。よって、より正確に利用者の足部分が不自然に写らないようにすることができる。

上記第９の発明によれば、利用者画像に基づき検出した利用者の少なくとも１つの足首の位置に基づき定められる矩形領域または当該矩形領域内に含まれる利用者画像部分を足先画像と定めるので、予め定められた足首の位置に基づく場合よりも正確な範囲の足先画像を得ることができる。よって、より正確に利用者の足部分が不自然に写らないようにすることができる。

上記第１０の発明によれば、利用者画像に基づき検出した利用者の少なくとも１つの膝の位置に基づき定められる矩形領域または当該矩形領域内に含まれる利用者画像部分を脚部画像と定めるので、予め定められた膝の位置に基づく場合よりも正確な範囲の脚部画像を得ることができる。よって、より正確に利用者の足部分が不自然に写らないようにすることができる。

上記第１１の発明によれば、利用者画像に基づき一人以上の利用者の各足首の位置をそれぞれ検出し、各足首の位置に基づき足先画像を定めるとともに、各足首に対応する脚部画像を定めるので、各利用者の各足の位置が異なっている場合であっても、それぞれの足首位置に応じた足先画像を得ることができ、それぞれの足先画像について適宜に縮小することができる。よって、漏れなく、より確実に利用者の足部分が不自然に写らないようにすることができる。

上記第１２の発明によれば、利用者画像に基づき一人以上の利用者の各膝の位置をそれぞれ検出し、各膝の位置に基づき脚部画像を定めるので、各利用者の各足の位置が異なっている場合であっても、それぞれの足首位置に応じた足先画像およびそれぞれの膝位置に応じた脚部画像を得ることができる。よって、漏れなく、より確実かつ正確に利用者の足部分が不自然に写らないようにすることができる。

上記第１３の発明によれば、装置発明である上記第１の発明の効果と同様の効果を自動写真作成方法において奏することができる。

上記第１４の発明によれば、装置発明である上記第１の発明の効果と同様の効果をプログラムにおいて奏することができる。

本発明の一実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。 上記実施形態における撮影ユニットの正面図である。 上記実施形態における編集ユニットの正面図である。 上記実施形態における出力ユニットの正面図である。 上記実施形態における撮影操作用タッチパネルの表示構成を示す模式図である。 上記実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。 上記実施形態における撮影処理の手順を示すフローチャートである。 上記実施形態における落書き編集処理の手順を示すフローチャートである。 上記実施形態において、カメラ位置近傍から見た利用者Ｕ１，Ｕ２と背景との位置関係を簡略に示す図である。 上記実施形態において、撮影室側面方向から見た利用者Ｕと背景との位置関係を簡略に示す図である。 上記実施形態において、撮影画像における予め定められた足首位置および膝位置を示す図である。 上記実施形態において、脚バランス処理の第１の態様による処理の結果得られる画像を示す図である。 上記実施形態における撮影画像における検出された各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を示す図である。 上記実施形態における、脚バランス処理の第３の態様における処理後の各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を含む利用者画像を示す図である。 上記実施形態において、図１３に示す例とは異なる撮影画像における検出された各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を示す図である。

以下、添付図面を参照しつつ本発明の一実施形態について説明する。
＜１．全体構成＞
図１は、本発明の一実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。より詳細には、図１（ａ）は、この遊戯用写真作成装置を横から見た外観側面図であり、図１（ｂ）は、上から見た外観平面図である。この遊戯用写真作成装置は、利用者が入る撮影室２と、利用者を撮影し背景画像および前景画像の選択を受け付ける撮影ユニット３と、利用者による落書き（描画操作）を含む編集操作を受け付け撮影画像に合成した合成画像を生成する編集ユニット４と、合成画像を出力する出力ユニット５とを備えている。図２は、撮影ユニット３の正面図であり、図３は、編集ユニット４の正面図であり、図４は、出力ユニット５の正面図である。以下、図１から図４を参照しつつ、本実施形態に係る遊戯用写真作成装置の全体構成について説明する。

撮影室２は、略直方体形状であって、撮影ユニット３は、内部に入る利用者から見て前の面である撮影室２の前面に沿って配置されている。なお、撮影室２の左右両側面の一部には、それぞれ利用者が出入りするための開口部と、当該開口部の一部または全部を覆う遮光カーテンとが設けられている。また、撮影室２の内部に入る利用者から見て後ろの面である背面にはクロマキー合成処理のための単一の色（ここでは青色または緑色）が付されている。なお、これらの色は床面等にも付されているものとする。

撮影ユニット３は、利用者を撮影する撮像手段としてのカメラ１０と、当該カメラ１０の上下左右の位置に配置され閃光を発するストロボ１１、１２、１３Ｌ、１３Ｒ、１４と、当該カメラ１０の下方に配置され利用者からの操作の受け付けや撮影画像の表示等を行う撮影操作用タッチパネル２０とを備えている。

カメラ１０は、典型的には、ＣＣＤ（電荷結合素子）を利用してデジタル画像信号を生成するデジタルカメラであって、利用者を撮影し、その撮影画像を表す画像信号を出力する。なお、ここでのカメラ１０は広角レンズを使用しており、撮影画像には樽型歪みが生じているものとする。ストロボ１１〜１４は、撮影のための充分な光を得るために利用者に向かって閃光を発する。撮影操作用タッチパネル２０は、撮影の際に利用者による各種操作を受け付けるための操作画面を提供するとともに、上記画像信号に基づく画像をリアルタイムで表示するように構成されている。

図５は、撮影操作用タッチパネル２０の表示構成を示す模式図である。図５に示すように、撮影操作用タッチパネル２０には、リアルタイムで撮影画像を表示するためのリアルタイムプレビュー領域２０１と、ポーズの見本を表示するためのポーズ見本表示領域２０２と、撮影によって得られる落書き対象画像を表示するための落書き対象画像表示領域２０３とが含まれている。

また撮影ユニット３は、コンピュータを中心に構成され各部の制御等を行う制御装置、Ｉ／Ｏ制御装置、および編集ユニット４と通信を行うためのネットワークアダプタ等を内蔵している。また、撮影ユニット３は、前面下方にコイン投入口２６を備えている。

編集ユニット４は、撮影ユニット３と同様のコンピュータを中心に構成され各部の制御等を行う制御装置、および撮影ユニット３等と通信を行うためのネットワークアダプタ等を内蔵している。また、編集ユニット４は、図１（ｂ）に示すように、２組の利用者がプレイ可能なように２つのユニット４ａ、４ｂに分かれている。そのうちの一方のユニット４ａには、落書き領域や落書きのためのメニュー、ツール等を表示する領域を含みＧＵＩ（Graphical User Interface）表示手段として機能する編集操作用タッチパネル４００と、当該編集操作用タッチパネル４００に対する操作に使用されるポインティングデバイスとしての４つのタッチペン４９Ｌ１、４９Ｌ２、４９Ｒ１、４９Ｒ２とが設けられている。なお、他方のユニット４ｂについても同様の構成となっている。ここで図１（ａ）において手前に見えるユニット４ａを「落書きブースＡ」と呼び、その反対側（図では裏側）のユニット４ｂを「落書きブースＢ」と呼ぶ。

本実施形態における編集操作用タッチパネル４００は、各ユニット４ａ、４ｂにおいて典型的にはそれぞれ２人の利用者が同時に落書きを行えるような表示構成となっている。なお、本説明においては、左側の利用者が使用する構成要素には「Ｌ」を含む参照符号を付し、右側の利用者が使用する構成要素には「Ｒ」を含む参照符号を付している。

また、本実施形態における編集操作用タッチパネル４００に表示される表示画面は、典型的には２人の利用者の操作に適するよう、左右に２分割されて表示されている。以下では、この表示画面のうちの左側の操作画面を左操作画面といい、右側の操作画面を右操作画面という。

さらに、編集操作用タッチパネル４００は、４つのタッチペン４９Ｌ１、４９Ｌ２、４９Ｒ１、４９Ｒ２による操作位置を同時に検出可能に構成されており、かつ、検出される各操作位置が、４９Ｌ１、４９Ｌ２、４９Ｒ１、４９Ｒ２のうちのいずれの操作に対応するのかも検出可能となっている。例えば、編集操作用タッチパネル４００として静電容量方式のタッチパネルを使用した場合には、このような複数の操作位置の同時検出と操作されたタッチペンの識別とが可能である。

なお、左操作画面用の２つのタッチペン（以下「左画面用ペン」という）４９Ｌ１、４９Ｌ２、または右操作画面用の２つのタッチペン（以下「右画面用ペン」という）４９Ｒ１、４９Ｒ２は、それぞれが同時に使用（入力操作）できるが、これをできないように、すなわち先にアクティブとなり（先に操作入力が受け付けられ）継続的にアクティブとなっているタッチペンのみが操作入力可能となるように制御してもよい。このように制御すれば描画レスポンスを高速に保つことができる。

また、上記タッチペンの数には特に限定がなく、またタッチペンに代えて、同時に座標検出可能な周知のポインティングデバイス（例えばトラックボールやカーソルキー、カメラ画像に基づく位置判定など）を入力操作手段として使用してもよい。

出力ユニット５は、図４に示すように、典型的には携帯電話端末に内蔵される赤外線通信ポートにより、例えばデコメール（登録商標）画像等の素材画像や撮影画像に落書きをした合成画像などを利用者の携帯電話端末に転送する際に利用者によって操作される出力操作用タッチパネル３０と、出力操作用タッチパネル３０の下方に配置され上記素材画像等を赤外線信号として携帯電話端末に向けて直接送信するための赤外線通信ポート（非接触通信ポート）３１と、上記通信の際に必要な操作方法や効果音などを音声によって利用者に知らせるスピーカ３２とを備えている。また、出力ユニット５は、前面下方に、編集ユニット４で編集操作が行われた合成画像を印刷した写真シールや写真カード等を取り出す取出口３３を備えている。

出力操作用タッチパネル３０は、利用者が合成画像を印刷された写真シールを携帯電話端末でも見たい場合に、上記赤外線通信機能（またはその他の近接無線通信機能）を備えた携帯電話端末に送信するのに必要な各種操作を受け付けるための操作画面を提供するように構成されていている。

このような出力ユニット５も、撮影ユニット３と同様のコンピュータを中心に構成され各部の制御等を行う制御装置および編集ユニット４等と通信を行うためのネットワークアダプタ等を内蔵しているほか、合成画像を写真シール等として印刷するネットワークプリンタ３５を備えている。

以上のような構成において、利用者は、撮影室２において撮影を行った後、編集ユニット４の落書きブースＡまたは落書きブースＢの編集操作用タッチパネル４００を使用することにより、撮影画像に基づいて生成された落書き対象画像に対して落書きを行う。そして、利用者は、落書きによって生成された合成画像をネットワークプリンタによって印刷したり、赤外線通信機能を有する携帯電話端末に画像を送信し、携帯電話端末で受信した画像を端末画面に表示させたりする。

＜２．機能的構成＞
図６は、本実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。図６に示されるようにこの遊戯用写真作成装置は、機能的には、主として利用者を撮影する処理（撮影処理）を行うための撮影処理部７と、主として落書き対象画像に対する利用者の落書き操作に応じて当該落書き対象画像の編集処理を行うための編集処理部８と、編集処理が行われた落書き対象画像を写真シール等として出力したり、赤外線通信を利用して携帯電話端末に出力したりする処理（出力処理）を行う出力処理部９とから構成されている。

撮影処理部７は、第１の制御部７０と、撮像部７１と、第１の表示・操作部７２と、Ｉ／Ｏ制御部７３と、照明部７４と、第１の通信部７５とによって構成されている。編集処理部８は、第２の制御部８０と、第２の表示・操作部８１、８２と、第２の通信部８３とによって構成されている。出力処理部９は、第３の制御部９０と、第３の表示・操作部９１と、印刷出力部９２と、音声出力部９３と、非接触通信部９４と、第３の通信部９５とによって構成されている。ネットワークアダプタである第１、第２および第３の通信部７５、８３、９５は、ＬＡＮ（Local Area Network）であるネットワーク６を介してそれぞれ相互に通信可能となっている。

撮像部７１は、ＣＣＤ等の撮像素子を用いて構成されるカメラ１０に相当し、リアルタイムに画像を取り込んで当該画像（撮影画像）を表す画像信号を出力する。この画像信号は第１の制御部７０に入力されて、その内部のメモリに撮影画像データとして一時的に記憶される。また、この撮影画像データは撮影画像信号として第１の制御部７０から第１の表示・操作部７２に供給され、当該撮影画像信号に基づく撮影画像がリアルタイムに表示される。

第１の表示・操作部７２は、撮影操作用タッチパネル２０に相当し、撮影画像に合成されるべき背景画像および前景画像を選択する操作や、出力されるべき写真のレイアウトを決定するための利用者の操作やシャッター操作等を受け付ける。これらの操作を示す信号は、操作信号として第１の制御部７０に入力される。ここで、利用者を撮影するための（選択された撮影メニューに対応する）所定の処理が開始されると、第１の表示・操作部７２に利用者のための案内が表示され、その後の第１の制御部７０からの指示に基づき、数秒程度の予め決められた時間の経過後にカメラ１０の撮影方向にストロボ１１〜１４から閃光が放たれる。そのとき、利用者の撮影画像を表す信号として撮像部７１から出力される画像信号が第１の制御部７０に入力され、第１の制御部７０内のメモリまたは補助記憶装置としてのハードディスク装置等に撮影画像データとして格納される。

照明部７４は、カメラ１０の上下左右の位置に配置されたストロボ１１、１２、１３Ｌ、１３Ｒ、１４に相当し、第１の制御部７０からの指示に基づきＩ／Ｏ制御部７３によって点灯／消灯および調光が制御される。Ｉ／Ｏ制御部７３は、撮影ユニット３に内蔵されるＩ／Ｏ制御装置に相当し、第１の制御部７０からの指示に基づき、照明部７４を制御する。また、後述のコイン検出部（不図示）からの検出信号等の入力信号を第１の制御部７０へ転送する。第１の通信部７５は、撮影ユニット３に内蔵されるネットワークアダプタに相当し、ネットワーク６を介したデータ送受信の際のインタフェースとして機能する。

第１の制御部７０は、撮影ユニット３に内蔵され、ＣＰＵ、メモリ、フレームバッファ、タイマー、補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをＣＰＵが実行することにより、上述のようにして入力される操作信号等に基づき各部を制御するために、上述のように各部に指示を出す。また撮影された画像に基づいて落書き対象画像を生成する。生成された落書き対象画像はフレームバッファに書き込まれることにより、第１の表示・操作部７２に表示される。さらに、第１の制御部７０は、落書き対象画像に所定の背景画像や前景画像を描画した画像である合成画像を生成する。この落書き対象画像には、詳しくは後述するようにマスクの作成に使用されるキー色となる背景色が付されており、周知のクロマキー合成処理の手法に基づき、利用者の像のみを含む撮影画像部分を抽出し、当該撮影画像部分が背景画像中に嵌め込まれるように合成する。なお、撮影画像または利用者の像のみを含む撮影画像部分に対して後述する各種補正処理がなされる。このように生成された合成画像はフレームバッファに書き込まれることにより第１の表示・操作部７２に表示される。こうして撮影および合成画像の生成が終了すると、生成された合成画像は利用者の入力操作に応じて適宜選択された後、第１の通信部７５を介して、編集ユニット４に対応する第２の制御部８０へ送られる。

上記の構成要素の他、撮影ユニット３におけるコイン投入口２６に投入されたコインを検出するためのコイン検出部（不図示）が更に撮影ユニット３に設けられており、第１の制御部７０は、コイン検出部での検出結果に基づき、利用者に所定時間だけ撮影や背景画像および前景画像の選択や落書き等、本遊戯用写真作成装置によるプレイを許容するように各部を制御する。このコイン検出部による検出動作やその検出結果に基づく第１の制御部７０による制御動作は、従来の遊戯用写真作成装置と同様であって周知であるので、その詳しい説明を省略する。

第２の制御部８０は、編集ユニット４に内蔵され、ＣＰＵ、メモリ、フレームバッファ、および補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをＣＰＵが実行することにより、落書き編集処理に関する全体の制御を行う。また、第２の制御部８０は、第１の制御部７０から送られてきた撮影画像に対する落書き処理を行うための操作信号に基づき、落書き対象画像に所定画像を描画した画像である合成画像を生成する。生成された合成画像は利用者の指示に応じて対応する第２の表示・操作部８１、８２に表示される。上記のような合成画像の生成が終了すると、当該合成画像は出力ユニット５に送られる。なお、印刷出力部９２が別の合成画像を出力中である場合には、その旨が表示されるとともに終了を待って送られる。

第２の表示・操作部８１、８２は、主として落書きのためのＧＵＩ表示手段として機能する編集操作用タッチパネル４００に相当し、タッチペンを用いた利用者の操作を受け付ける。第２の通信部８３は、編集ユニット４に内蔵されるネットワークアダプタに相当し、ネットワーク６を介したデータ送受信の際のインタフェースとして機能する。

第３の制御部９０は、出力ユニット５に内蔵され、ＣＰＵ、メモリ、フレームバッファ、タイマー、および補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをＣＰＵが実行することにより、出力処理に関する全体の制御を行う。第３の制御部９０は、第２の制御部８０から送られてきた合成画像を合成画像データとしてメモリに格納する。印刷出力部９２は出力ユニットに内蔵されるネットワークプリンタ３５に相当し、メモリに格納された複数の合成画像データを（適宜にレイアウトした）写真シール（または写真カード）として印刷する。印刷された写真シール等は、出力ユニット５の正面下方に設けられた取出口３３から取り出される。

また、第３の制御部９０は、編集ユニット４から送られてきた合成画像に基づいて写真シール等の印刷処理を開始すると同時に、利用者が作成した合成画像のデータを携帯電話端末にダウンロードできるように、利用者の入力操作を受け付けるための操作画面を第３の表示・操作部９１に表示する。この第３の表示・操作部９１は出力操作用タッチパネル３０に相当し、受け付けた入力操作を操作信号として第３の制御部９０に入力する入力手段として機能する。

第３の制御部９０は、入力された操作信号に基づき、利用者の携帯電話端末に画像データを送信するように非接触通信部９４に対して指示を出す。非接触通信部９４は赤外線通信ポート３１に相当する。上記画像データは、非接触通信部９４から非接触通信方式の赤外線信号として利用者の携帯電話端末に直接送信される。第３の通信部９５は、出力ユニット５に内蔵されるネットワークアダプタに相当し、ネットワーク６を介したデータ送受信の際のインタフェースとして機能する。

ここで、第３の制御部９０は、上記入力操作が行われていない間、補助記憶装置に予め記憶されているデモ画像（デモンストレーション用の画像）やミニゲームの画像等をフレームバッファに書き込むことにより第３の表示・操作部９１に表示する。また音声出力部９３は、スピーカ３２に相当する。音声出力部９３は、第３の表示・操作部９１に表示される操作画面と連動して入力操作方法を利用者に説明し、また第３の表示・操作部９１にデモ画像やミニゲームが表示されているときに楽曲や効果音等を流す。

ここで、各制御装置において実行される上記所定プログラムは、例えば、そのプログラムを記録した記録媒体であるＤＶＤ−ＲＯＭによって提供される。すなわち、上記所定プログラムの記録媒体としてのＤＶＤ−ＲＯＭが補助記憶装置として制御装置内に内蔵されたＤＶＤ−ＲＯＭ駆動装置に装着され、そのＤＶＤ−ＲＯＭから所定プログラムが読み出されて補助記憶装置としてのハードディスク装置にインストールされる。また、上記所定プログラムは、ＤＶＤ−ＲＯＭ以外の記録媒体（ＣＤ−ＲＯＭ等）や通信回線を介して提供されてもよい。そして、本遊戯用写真作成装置の起動のための操作がなされると、ハードディスク装置にインストールされた所定プログラムは、制御装置内のメモリに転送されてそこに一時的に格納され、制御装置内のＣＰＵによって実行される。これにより、制御装置による上記各部の制御処理が実現される。

なお、上記第１から第３までの制御部７０，８０，９０は、異なるユニットに内蔵される異なるコンピュータを含む装置に相当するものとして説明したが、このような構成は一例であって、上記第１から第３までの制御部７０，８０，９０は、２つ以下または４つ以上の装置により実現されてもよい。この場合には各装置において、それぞれ実現されるべき機能に応じたプログラムが実行される。また、撮影ユニット３、編集ユニット４、および出力ユニット５についても、２つ以下または４つ以上のユニットにより構成されてもよい。

＜３．遊戯用写真作成装置における処理手順＞
上述したように、この遊戯用写真作成装置には、撮影ユニット３と編集ユニット４と出力ユニット５とが含まれている。撮影ユニット３では撮影処理が行われ、編集ユニット４では後述する落書き編集処理が行われ、出力ユニット５では出力処理が行われる。なお、或る利用者が撮影ユニット３でプレイしている時に他の利用者は編集ユニット４でプレイし、さらに他の利用者は出力ユニット５で合成画像を出力することができるように構成されている。すなわち、この遊戯用写真作成装置は、撮影処理と落書き編集処理と出力処理とを並行して行うことができる。以下に、撮影処理、落書き編集処理、および出力処理の手順の概要について説明する。

＜３．１ 撮影処理＞
図７は、本実施形態における撮影処理の手順を示すフローチャートである。この遊戯用写真作成装置が使用されていない時（プレイが行われていない時）には、撮影操作用タッチパネル２０にはデモ画像が表示されている。デモ画像の表示中に利用者がコイン投入口２６にコインを投入すると、プレイが開始される（ステップＳ１００）。

プレイが開始されると、第１の制御部７０は、利用者による撮影モードの選択を受け付ける（ステップＳ１１０）。ステップＳ１１０では、例えば画質（具体的にはコントラストが高いくっきりとした画質、柔らかなふんわりとした画質、または透明感のあるクールな画質のうちのいずれか）を選択し、明るさを選択し、自動で撮影するか手動で撮影するかを選択し、自動で撮影する場合には撮影用テーマの選択が行われる。この場合、第１の制御部７０は、予め用意された複数の撮影用テーマの中から１つ以上の撮影用テーマを利用者に選択させるための画面を撮影操作用タッチパネル２０に表示し、利用者による選択操作を受け付ける。そして、第１の制御部７０は、利用者の選択操作に基づいて選択情報を取得し、選択された撮影用テーマに基づいて、撮影の際に使用するフレームと背景との組み合わせを決定する。また手動で撮影する場合は、上記フレームと背景とを利用者が自由に決定する。その後、処理はステップＳ１２０に進み、撮影が行われる。この撮影により、撮影画像データが第１の制御部７０のメモリに格納される。

ステップＳ１３０では、撮影画像に基づいて生成された落書き対象画像（撮影画像を含む画像）が、撮影操作用タッチパネル２０に表示される。詳しくは、ステップＳ１３０の処理が行われる都度、図５に示した撮影操作用タッチパネル２０の落書き対象画像表示領域２０３に落書き対象画像が順次追加表示される。その後、処理はステップＳ１４０に進み、第１の制御部７０は、予め定められた枚数の撮影が終了したか否かを判定する。判定の結果、当該枚数の撮影が終了していれば処理はステップＳ１５０に進み、当該枚数の撮影が終了していなければステップＳ１２０に戻る。なお、実際には撮影のための制限時間（例えば３分）が設けられる。

ステップＳ１５０では、複数の落書き対象画像の中から実際の落書き対象となる画像の（利用者による）選択が行われる。具体的には、第１の制御部７０は、落書きおよび印刷に使用する画像を利用者に選択させるために、落書き対象画像の一覧を撮影操作用タッチパネル２０に表示し、利用者による選択操作を受け付ける。ステップＳ１５０の終了後、処理はステップＳ１６０に進む。

ステップＳ１６０では、選択された落書き対象となる画像に対して周知の歪曲収差、典型的には広角レンズを使用するカメラ１０によって生じる樽型歪みを解消するための補正処理が行われる。この補正処理は、例えば方形の画像を糸巻き型に変形するような縮小変形処理を行うものである。このような補正処理は周知であるので詳しい説明は省略する。また、ここで幾何学歪み、例えば立位姿勢の利用者に対してカメラの撮影位置が比較的高いことから生じる（足が短く見えるような）歪みを補正する処理を行ってもよい。ステップＳ１６０の終了後、処理はステップＳ１７０に進む。

ステップＳ１７０では、歪曲収差が補正された落書き対象となる画像に対してクロマキー合成処理が行われる。このクロマキー合成処理は、一般的にはクロマキーマスクを作成する処理と、背景画像を合成する処理とを含む。クロマキーマスクとは、例えば周知の合成マスク（アルファチャネル）であって、対象となる撮影画像のうちのキー色（ここでは青色または緑色）を有する領域、すなわち撮影室２の背面の像が占める領域を透明とし、それ以外の領域を非透明とするためのデータである。この合成マスクは一般的には対象となる画像の画素毎に０（完全透明）または２５５（完全非透明）の透過度を示す値αが設定される。このようなクロマキーマスクを使用することにより、撮影画像の非透明領域（α＝２５５）に相当する背景画像の領域は隠され（マスクされ）、その透明領域（α＝０）に相当する背景画像の領域は見えるように合成される。そのため、あたかも対象となる撮影画像の非透明領域の部分が切り取られ、切り取られた当該部分が上記背景画像に対して貼り付けられたような合成画像が得られる。このようなクロマキー処理によって遊戯性の高い写真作成を行うことができる。なお、この背景画像は撮影中に利用者によって適宜選択されるが、後述する落書き処理中に利用者の選択操作に応じて選ばれてもよい。

ステップＳ１８０では、クロマキー合成処理がなされた落書き対象画像に対して、撮影対象となる利用者の足部分が不自然に写らないよう、本実施形態の特徴的な処理である脚バランス補正処理が行われる。なお、この上記落書き対象画像に変えて、撮影画像そのものに対して脚バランス補正処理を行ってもよいし、クロマキー合成前の上記透明領域に対応する利用者の像のみを含む撮影画像部分（以下「利用者画像」という）に対して脚バランス補正処理を行ってもよい。この脚バランス処理は、複数の処理態様が考えられ、それらの処理内容は詳しく後述する。そして、第１の制御部７０は、以上のように補正された画像を実際の落書き対象画像として第２の制御部８０に送る。ステップＳ１８０の終了後、処理はステップＳ１９０に進む。

ステップＳ１９０では、案内画面の表示が行われる。具体的には、第１の制御部７０は、利用者を編集ユニット４のいずれか（４ａまたは４ｂ）に導くための画面を撮影操作用タッチパネル２０に表示する。これにより、撮影処理が終了する。

＜３．２ 落書き編集処理＞
図８は、本実施形態における落書き編集処理の手順を示すフローチャートである。第２の制御部８０が所定のプログラムに基づき図８に示すように動作することで、この落書き編集処理が実現される。この処理では、上述した撮影処理の終了後、第２の制御部８０は、ネットワーク（ＬＡＮ）６を介して第１の制御部７０から送られる落書き対象画像（図７のステップＳ１５０で利用者によって選択され、ステップＳ１６０，Ｓ１７０で補正された画像）を取得する（ステップＳ２００）。その後、タイマー４６が所定の時間（具体的には、落書きを許可する時間）に設定され、カウントダウンが開始される（ステップＳ２１０）。

タイマー４６のカウントダウン開始後、編集ユニット４を構成するユニット４ａ，４ｂのそれぞれの編集操作用タッチパネル４００において、落書き編集操作画面が表示され、利用者による落書き操作（描画操作）が受け付けられる（ステップＳ２３２〜Ｓ２３６）。なおこの落書き編集処理時において、編集ユニット４では、撮影画像に基づく落書き対象画像に対する編集操作の他に、デコメール画像等の素材画像を作成するための編集操作が受け付けられてもよい。

具体的には、編集操作画面内のボタンやツールなどの１つをタッチペンでタッチすると、その座標値が入力され（Ｓ２３２）、対応する落書き画面処理（Ｓ２３４）が行われる。その後ステップＳ２３６においてタイマー４６の残り時間が０になる（または利用者が終了させる操作を行う）ことにより落書きが終了したかが判定され、終了していない場合（Ｓ２３６においてＮｏの場合）にはステップＳ２３２に戻り、落書きが終了するまで処理が繰り返され、落書きが終了した場合（Ｓ２３６においてＹｅｓの場合）には、処理はステップＳ２４０に進む。

ステップＳ２４０では、出力される写真の分割パターンの選択が行われる。具体的には、第２の制御部８０は、予め用意された複数の分割パターンの中からいずれかの分割パターンを利用者に選択させるための画面を編集操作用タッチパネル４００に表示し、利用者による選択操作を受け付ける。そして、第２の制御部８０は、利用者の選択操作に基づいて、選択情報を取得する。ステップＳ２４０の処理が終了した後、ステップＳ２５０の処理に進む。

ステップＳ２５０では、案内画面の表示が行われる。具体的には、第２の制御部８０は、利用者を出力ユニット５に導くための画面を編集操作用タッチパネル４００に表示する。これにより、落書き編集処理が終了する。落書き編集処理が終了すると、出力ユニット５において、編集ユニット４から送られてきた合成画像に基づいて写真シール等の印刷処理が開始されることなどについては前述した通りである。

以上のような処理のうち、前述したようにステップＳ１８０における脚バランス補正処理が特徴的な内容となっており、複数の処理態様が考えられる。以下、順に具体的に説明する。なお、この脚バランス補正処理（Ｓ１８０）は、第１の制御部７０によって、撮影終了直後に行われるが、第２の制御部８０によって行われてもよいし、落書き操作中に例えば利用者の指示に応じて行われる構成であってもよい。

＜３．３ 脚バランス処理の具体的な内容＞
＜３．３．１ 第１の処理態様＞
図９は、カメラ位置近傍から見た利用者Ｕ１，Ｕ２と背景との位置関係を簡略に示す図であり、図１０は、撮影室側面方向から見た利用者Ｕと背景との位置関係を簡略に示す図である。

図９に示されるように、利用者Ｕ１，Ｕ２は、撮影室２内部のクロマキー色を付された背面１１０を背にして、クロマキー色が付された床面１２０の上に立っている。背面（背景）１１０および床面１２０のうち、カメラ１０により撮影される撮影範囲１０１は点線で示されている。ここで利用者Ｕ１，Ｕ２は並んで立っており、背面からその足首までの距離はほぼ同一であるものとする。したがって、図１０では、利用者Ｕ１，Ｕ２を特に区別せず利用者Ｕとして示している。

図１０を参照すれば分かるように、カメラ１０の画角に応じて、（利用者Ｕを含む）点線で囲まれた領域内の対象物がカメラ１０により撮影されることになるが、立位姿勢の利用者Ｕの足首からつま先までは、床面１２０に対して平行に位置することになる。そしてカメラ１０から足首までの図中では一点鎖線で示される線分と床面１２０とのなす角が４５度より大きい場合には、カメラ１０により撮影された利用者Ｕの足首からつま先までの部分の長さは、実際の長さよりも長く写ることになる。また、上記角度が４５度以下である場合であっても、人物写真を見るときの仮想的な（または心理的な）視点位置は、実際のカメラの位置よりも人物から離れた位置に置かれることが多い。特に、カメラ１０の撮影位置が床面から高い位置にあることによって足が短く見える（写る）ことを防止するため、前述したステップＳ１６０において歪曲収差補正とともに幾何学歪み補正等を行う場合には、実際のカメラの位置よりも離れた（やや下方の）位置に仮想的な視点が置かれることが多い。そのため、上記角度に関わらず、撮影画像に含まれる利用者Ｕの足首からつま先までの長さが不自然に長く伸びているように感じられることがある。

そこで、ステップ１８０に示される脚バランス処理の第１の態様では、利用者Ｕの足首からつま先までを含む画像部分（以下「足先画像」という）を下方向に縮小するとともに、利用者Ｕの膝から足首までを含む画像部分（以下「脚部画像」という）を下方向に拡大することにより、上記不自然な見え方を解消する。

なお、利用者Ｕの足首からつま先までの長さを、不自然に長く伸びていると感じられない程度に縮小し、上記脚部画像を拡大する処理を行わない構成も考えられる。この構成によって、撮影対象となる利用者の足部分が不自然に写らないように（不自然に長く見えないように）することができる。ただし、この拡大処理だけでは、足首からつま先までの長さのみを縮小すると、その部分だけが小さくなったことによる違和感を生じることがある。また、ステップＳ１６０において幾何学歪み補正等を行うことにより、足が短く見えないよう補正する処理がなされる場合であっても、足首からつま先までの長さだけを縮小すると、足が全体として短く見える（写る）ことがある。さらに利用者Ｕの膝から足首まで長さを伸ばすように脚部画像を拡大することにより、利用者Ｕのスタイルが（実際よりも）良く見える効果も得られる。そのため、上記足先画像の縮小とともに、上記脚部画像の拡大を合わせて行うのが好適である。

また、利用者Ｕの膝付近から足首付近までの長さを伸ばすようにすることは、スタイルよく見せるために好適であるが、たとえば利用者Ｕの太ももや足の付け根、または腰付近（若しくはそれより上の所定位置）から足首付近までの長さを伸ばすようにしても全体としてスタイルよく見せることはできる。そのため、脚部画像は、上記のように膝付近から足首付近を含む画像部分に限られるわけではなく、およそ利用者Ｕの足の全部または一部を含む画像部分であればよい。

ここで第１の処理態様では、利用者Ｕの足首位置および膝位置は、予め定められた位置に決定される。すなわち、利用者が立位姿勢をとる場合、手や肘の位置は様々に変化するため、予め定めることは不可能に近い。しかし、平均的な身長の利用者の足首や膝の位置のうち、カメラ１０から見て左右方向における（立ち）位置を予め定めることは困難であっても、カメラ１０から見て上下方向における（立ち）位置を予め定めることは比較的容易である。なぜなら、限定された撮影室２内で背面を背にする利用者は、当該背面からほぼ等しい距離を空けて立つことが多く、したがって、足を大きく振り上げるなどの姿勢を取らない限り、利用者Ｕの足首位置および膝位置は、ほぼ一定の位置（高さ）になるからである。そこで、撮影画像における利用者Ｕの足首位置および膝位置であると（比較的高い確度で）推測される予め定められた足首位置および膝位置に基づき、上記足先画像の縮小と脚部画像の拡大とを行う。以下、図１１および図１２を参照して、この第１の処理態様の内容について説明する。

なお、以下において足首や膝、足先などの位置とは、撮影画像（または利用者画像など）における上下方向（Ｙ軸方向）の位置（すなわち左右方向（Ｘ軸方向）の位置を考慮しない位置）を指す。

図１１は、撮影画像における予め定められた足首位置および膝位置を示す図である。図１１では、撮影範囲１０１に等しいものとして撮影画像１１１の範囲（外周）を点線で示している。前述のように、利用者Ｕの足首位置および膝位置は、ほぼ一定の位置（高さ）になるので、このことに基づき予め定められる膝位置は図中では線分Ｐａとして示され、足首位置は図中では線分Ｐｂとして示されている。

したがって、脚部画像は、利用者Ｕ１，Ｕ２の足首位置を含むであろうと推測され、かつ利用者Ｕ１，Ｕ２の膝位置を含むであろうと推測される画像領域、すなわち線分Ｐａを上辺とし線分Ｐｂを下辺とし、これら上辺および下辺と撮影画像の左端（左辺）および右端（右辺）とで囲まれた領域と定めることができる。

また、足先画像は、利用者Ｕ１，Ｕ２の足首位置を含むであろうと推測され、かつ利用者Ｕ１，Ｕ２の足先位置を含むであろうと推測される画像領域、すなわち線分Ｐｂを上辺とし撮影画像の下端（下辺）を下辺とし、これらと撮影画像の左端（左辺）および右端（右辺）とで囲まれた領域と定めることができる。

ここで、足先画像の下辺を撮影画像の下端（下辺）と一致させる場合には、利用者Ｕ１，Ｕ２の足先位置を含む可能性が極めて高いが、実際の足先位置は撮影画像の下端から離れた上方であることが多い。すなわち、前述のように、限定された撮影室２内で背面を背にする利用者は、当該背面からほぼ等しい位置に立つことが多く、したがって、利用者Ｕの足首位置および膝位置と同様に、足先位置もほぼ一定の位置（高さ）になる。よって、線分Ｐａ，Ｐｂと同様に足先位置を含むべき線分を設定することが可能であるので、この足先位置を含むべき線分を、撮影画像の下端に代えて、足先画像の下辺とすることもできる。

次に、以上のようにして決定される足先画像および脚部画像は、利用者の像の一部であるため、利用者の像としての連続性が保たれるように縮小または拡大されなければならない。そこで、脚部画像は、線分Ｐａである上辺を固定して下方へ拡大し、足先画像は、撮影画像の下端（または足先位置を含むべき線分）である下辺を固定して下方へ縮小するとともに、拡大された脚部画像の下辺と縮小された足先画像の上辺とが接するように画像変形処理を行う。この処理により得られる画像が脚バランス処理の第１の処理態様により最終的に得られる画像となる。

図１２は、脚バランス処理の第１の態様による処理の結果得られる画像を示す図である。図１２に示されるように、脚部画像は拡大の前後でその上辺（ここでは線分Ｐａ）の位置に変化はなく、足先画像は拡大の前後で下辺（ここでは撮影画像の下辺）の位置に変化はなく、上記画像変形処理により拡大された脚部画像と縮小された足先画像とが接する辺（図中では線分Ｐｃとして示されている）の位置が線分Ｐｂの位置から下方へ移動している。

具体的には、足先画像は下方へ０．８倍（もちろんそれ以外の倍率であってもよい）に縮小されており、脚部画像は縮小された足先画像と接する位置まで拡大されている。このように、撮影画像における縮小前の足先画像の下端位置と縮小された足先画像の下端位置とを一致させ、かつ撮影画像における拡大前の脚部画像の上端位置と拡大された脚部画像の上端位置とを一致させるよう、足先画像を縮小し脚部画像を拡大すれば、画像変形処理後の利用者の像の連続性が保たれるとともに、利用者Ｕの足首からつま先までが不自然に長く見える（写る）状態を解消でき、利用者Ｕ１，Ｕ２の足をスタイル良く長く見せることができる。ここで足先画像を縮小する程度（縮小率）が決定されると、画像変形の前後で撮影画像の大きさが変わらない限り、脚部画像を拡大する程度（拡大率）は自ずと定まるが、画像変形の前後で撮影画像の大きさが変わるように構成されてもよく、上記縮小率と無関係に上記拡大率が定められてもよい。

なお、上記足先画像は、線分Ｐｂを上辺、撮影画像の下端または足先位置を含むべき線分を下辺とする撮影画像の矩形領域部分であり、脚部画像は、線分Ｐａを上辺、線分Ｐｂを下辺とする撮影画像の矩形領域部分であるものとして説明したが、これらの矩形領域に含まれる（クロマキー処理によって抽出された）利用者画像部分であってもよい。撮影画像に対して上記画像変形処理を行った後にクロマキー処理を行う場合と、クロマキー処理後の利用者画像に対して上記画像変形処理を行う場合とで変わりはないからである。

また前述したように、脚部画像は、利用者Ｕの膝近傍から足首近傍までを含むものでなくてもよいので、例えば一般的な利用者Ｕの腰近傍から足首近傍までを含む撮影画像部分が脚部画像であってもよい。この場合には、図１１における線分Ｐａの位置が（一般的な利用者の）膝位置（膝の高さ）ではなく、腰位置（腰の高さ）となる。そのため、一般的な利用者より相当に背が低い利用者（典型的には子供）や、しゃがんだ姿勢の利用者などが撮影対象に含まれている場合、上記画像変形処理により脚部画像を拡大すると違和感を生じる合成画像が生成されることがある。特に、線分Ｐａ，Ｐｂの間に利用者の顔部分が位置することにより、脚部画像に顔の像が含まれる場合、画像の拡大によって顔の形が変形してしまうため、特に違和感を生じることになる。

そこで、ステップ１８０に示される脚バランス処理の第１の態様における変形例として、脚部画像に利用者Ｕの顔の像が含まれる場合には、脚部画像を下方向に一切拡大しないか、または拡大する程度（拡大率）を小さくする構成が考えられる。このように構成すれば、顔が変形するような違和感を解消または低減することができる。具体的には、第１の制御部７０は、脚部画像である線分Ｐａ，Ｐｂの間の撮影画像中に、人物の顔の像が含まれているか否かを周知のパターン認識などの手法に基づく顔認識処理により判定し、当該顔認識処理によって顔の像が含まれていると判定されない場合には、上記第１の態様と同一の処理を行い、含まれていると判定される場合には、脚部画像を下方向に一切拡大しないか、または拡大率を小さく設定した後に拡大し、足首画像を縮小する。そうすれば、利用者Ｕの足首からつま先までが不自然に長く見える状態を解消しつつ、撮影画像に写る利用者の顔が変形するような違和感を解消または低減することができる。なお、上記顔認識には顔検出用ＬＳＩチップなどのハードウェアを使用してもよい。そうすればソフトウェア処理の場合よりも顔検出を高速化することができる。

以上のような上記脚バランス処理の第１の態様における画像変形処理は、ステップＳ１６０における歪曲収差補正や、ステップＳ１７０におけるクロマキー合成処理を前提にするものではないため、これらの処理を省略してもよいし、これらの処理の間や前に行ってもよい。また、ステップＳ１６０における歪曲収差補正と同時に行う構成であってもよい。

さらにステップＳ１７０におけるクロマキー合成処理を画像変形処理と関連付け、このクロマキー合成処理により得られる利用者画像に基づき、利用者Ｕ１，Ｕ２の（実際の）足首位置および膝位置を検出する構成も考えられる。そうすれば、正確な足首位置および膝位置が得られるので、利用者Ｕの足首からつま先までが不自然に長く見える状態をより確実に解消でき、また利用者Ｕ１，Ｕ２の足をよりスタイル良く長く見せることができる。以下、上記利用者画像を利用した脚バランス処理の第２の態様について説明する。

＜３．３．２ 第２の処理態様＞
この第２の処理態様では、上記第１の処理態様とは異なり、利用者画像に基づき、利用者Ｕ１，Ｕ２の実際の足首位置および膝位置を検出する。この足首位置および膝位置を検出する方法としては、周知のパターンマッチングに基づく画像認識手法など、様々な方法が考えられる。

例えば、各利用者に対応する利用者画像の上下方向の長さ（具体的には頭の上端から足先までの長さ）に基づき、足首位置および膝位置を算出してもよい。なぜなら、人間の足首位置および膝位置は、身長に対して所定の割合で定まる位置にあることが多いからである。

また、利用者画像の左右方向の幅から（典型的には最も幅が大きい位置で）腰の位置を検出し、当該腰の位置（および足先位置など）を上記上下方向の長さとともに判断対象とすることにより、足首位置および膝位置を算出してもよい。腰の位置から足の長さが定まることが多いからである。

さらに、利用者画像の形状を解析することにより、当該利用者画像のそれぞれの足部分に対応する画像における足先からの最初の屈曲位置を足首位置とし、二番目の屈曲位置を膝位置として検出してもよい。

さらにまた、様々な姿勢をとる利用者を撮影することにより得られる数多くの利用者画像の画像パターンとその足首位置および膝位置とを対応付けて予め記憶しておき、上記クロマキー処理により得られる利用者画像とその形状が近似する画像パターンを検索し、当該画像パターンに対応する足首位置および膝位置を、本両者画像における足首位置および膝位置として検出してもよい。

以上のようにして足首位置および膝位置を検出すれば、上記第１の処理態様における線分Ｐａ，Ｐｂを設定することができるので、上記第１の処理態様と同様に画像変形処理を行うことにより、同様に利用者Ｕの足首からつま先までが不自然に長く見える状態を解消でき、利用者Ｕ１，Ｕ２の足をスタイル良く長く見せることができる。

なお、本第２の処理態様においても第１の処理態様と同様に、上記足先画像および脚部画像は、撮影画像の矩形領域部分である必要はなく、これらの矩形領域に含まれる（クロマキー処理によって抽出された）利用者画像部分であってもよい。

また、第１の態様における変形例と同様に、脚部画像に利用者Ｕの顔の像が含まれる場合には、脚部画像を下方向に一切拡大しないか、または拡大する程度（拡大率）を小さくしてもよい。このように構成すれば、顔が変形するような違和感を解消または低減することができる。

ここで、上記第２の処理態様では、利用者Ｕ１，Ｕ２の各足首位置および各膝位置は、それぞれ同一かまたはほぼ変わらない位置にあるものとして説明したが、これらが異なる場合には、全ての位置を平均化したり、最も異なる１つを除いて平均化したり、または代表的な１つの位置に基づいて決定するなど様々な手法などが考えられる。

もっとも、さらに正確な画像変形処理を行うためには、利用者Ｕ１，Ｕ２の各足首位置および各膝位置を個別に検出した上で、個別に（すなわち各利用者の片足ずつについて）画像変形処理を行う必要がある。そこでこのように個別の画像変形処理を行う、脚バランス処理の第３の態様について、図１３および図１４を参照して説明する。

＜３．３．３ 第３の処理態様＞
図１３は、撮影画像における検出された各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を示す図である。図中では、利用者Ｕ２の左足（図では右側の足）がややカメラ位置から後方（撮影室２の背面に近づく方向）に置かれており、その結果、利用者Ｕ２の左足の足首の位置（高さ）が利用者Ｕ１の両足首の位置および利用者Ｕ２の右足の足首の位置（高さ）とは異なっている。なお、このような違いは説明を簡単にするための例示であって、各利用者の各足首の位置および各膝の位置は、いずれか一箇所以上が異なっていればよく、実際には全て同一であってもよい。

また図中では、利用者Ｕ１，Ｕ２の膝位置（を含む線分の位置）はｈａとして示され、利用者Ｕ１の両足首および利用者Ｕ２の右足の足首の位置（を含む線分の位置）はｈｂとして示され、利用者Ｕ２の左足の足首の位置（を含む線分の位置）はｈｄとして示されている。

さらに、この第２の処理態様では、足先の位置も検出される構成であって、利用者Ｕ１の両足の足先および利用者Ｕ２の右足の足先の位置（を含む線分の位置）はｈｃとして示され、利用者Ｕ２の左足の足先の位置（を含む線分の位置）はｈｅとして示されている。

なお、足先の位置は利用者画像の各下端であるため容易に検出することができ、足首および膝の位置は、各種画像認識手法により検出することができることは前述したとおりである。

ここで、クロマキー処理に基づき生成される利用者画像のうち、利用者Ｕ１の右足（図では左側の足）における脚部画像Ａ１１ａは、膝位置ｈａを上限とし足首位置ｈｂを下限とする利用者画像部分であり、足先画像Ａ１１ｂは、足首位置ｈｂを上限とし足先位置ｈｃを下限とする利用者画像部分である。そして、足先画像Ａ１１ｂを足先位置ｈｃに向かって下方向へ０．８倍に縮小するとともに、脚部画像Ａ１１ａを縮小後の足先画像Ａ１１ｂと接するように足先位置ｈｃに向かって下方向へ拡大する。

また、利用者Ｕ１の左足における脚部画像Ａ１２ａおよび足先画像Ａ１２ｂと、利用者Ｕ２の右足における脚部画像Ａ２１ａおよび足先画像Ａ２１ｂとについては、上記利用者Ｕ１の右足における脚部画像Ａ１１ａおよび足先画像Ａ１１ｂと同一の足首位置および膝位置であるので、同一の拡大縮小処理が行われる。

さらに、利用者Ｕ２の左足における脚部画像Ａ２２ａは、膝位置ｈａを上限とし足首位置ｈｄを下限とする利用者画像部分であり、足先画像Ａ２２ｂは、足首位置ｈｄを上限とし足先位置ｈｅを下限とする利用者画像部分である。この足首位置ｈｄおよび足先位置ｈｅは、上記足首位置ｈｂおよび足先位置ｈｃとは異なるので、足先画像Ａ２２ｂを足先位置ｈｅに向かって下方向へ０．８倍に縮小するとともに、脚部画像Ａ２２ａを縮小後の足先画像Ａ２２ｂと接するように足先位置ｈｅに向かって下方向へ拡大する。この画像変形処理における縮小率は他と同じであっても、（脚部画像Ａ２２ａおよび足先画像Ａ２２ｂにおけるそれぞれ上下方向の長さが他と異なることにより）画像変形後の足首位置は、上記第１の処理態様による場合とは異なる。

図１４は、上記画像変形処理後の各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を含む利用者画像を示す図である。図１４に示されるように、上記画像変形後の利用者Ｕ１の両足首および利用者Ｕ２の右足首の位置は、ともに足首位置ｈｆであるが、利用者Ｕ２の左足首の位置は、足首位置ｈｇであり、各利用者の各足毎に正確に足首位置が検出され、個別に適切な画像変形処理がなされている。すなわち、或る足首の位置が他の足首の位置とは異なる場合に、一律に上記画像変形処理を行うと、当該足首を含む脚部画像または足先画像の変形が適切なものではなくなることがある。本第３の処理態様によれば、このような不都合を解消することができ、各足に対して漏れなくより確実に、利用者Ｕのその他の足首からつま先までが不自然に長く見える状態を適切に解消することができ、また利用者Ｕ１，Ｕ２の足をよりスタイル良く長く見せることができる。

なお、ここでは説明の便宜のために、拡大または縮小の方向は下方向であるように説明したが、これは通常、立位姿勢の利用者の各足は、床に対して垂直に伸びるためである。したがって、利用者の足毎に伸びる方向（例えば脚部画像および足先画像に含まれる最も離れた２点を結ぶ線分に沿った方向等）を算出し、足毎に算出された伸びる方向へ上記画像変形処理における拡大および縮小を行う構成であってもよい。また、各足における脚部画像と足先画像とについて個別にそれぞれの伸びる方向を算出し、拡大または縮小を行う構成であってもよい。

また、以上では画像変形処理を各足において必ず行うものとして説明したが、例えば図１５に示されるように足を大きく振り上げている場合など、足首から足先が床に対して平行またはほぼ平行になっていない場合（典型的には足先を床面から離して伸ばしている場合）、この足首からつま先までの足先画像に対して画像変形処理を行うと、かえって違和感を生じる場合も考えられる。

図１５は、図１３に示す例とは異なる撮影画像における検出された各利用者の足首位置および膝位置と、対応する足先画像および脚部画像を示す図である。この図１５に示されるように、利用者Ｕ１，Ｕ２の膝位置ｈａ、利用者Ｕ１の両足首および利用者Ｕ２の右足の足首位置ｈｂおよび足先位置ｈｃは、図１３に示される場合と同一であるが、利用者Ｕ２の左足の足首位置ｈｉおよび足先位置ｈｊは、図１３に示される場合よりもさらに上方にあって足先を伸ばす形（すなわち膝から足先までがほぼ同一直線上にある形）となっている。

したがって、各足毎に適切な方向に拡大および縮小を行う第２の処理態様における画像変形処理を各足に対して行う場合、実際に伸びているはずの利用者Ｕ２の左足における足先の画像が縮小されるため、かえって違和感を生じることがある。そこで、例えば、同一の利用者Ｕ（ここでは利用者Ｕ２）の他方の足（ここでは右足）における足首位置よりも、当該足（ここでは左足）の足先位置が上である場合、当該足先は通常は床面から離れているため、床面と平行でなく伸ばされているものとして、当該足における脚部画像および足先画像に対しては、上記画像変形処理を行わないようにする。

そうすれば、不自然に長く見えていない（すなわち実際に長く見えるべき）足首からつま先までを縮小することなく、利用者Ｕのその他の足首からつま先までが不自然に長く見える状態を適切に解消することができ、また利用者Ｕ１，Ｕ２の足をよりスタイル良く長く見せることができる。

＜４．効果＞
以上のように本実施形態によれば、足先画像は下方に縮小され、脚部画像は縮小された足先画像と接する位置まで拡大されるので、利用者の像の連続性を保ちつつ、撮影対象となる利用者の足部分が不自然に写らないように（不自然に長く見えないように）することができ、利用者の足をスタイル良く長く見せることができる。

３…撮影ユニット
４…編集ユニット
５…出力ユニット
６…ネットワーク（ＬＡＮ）
１０…カメラ
２０…撮影操作用タッチパネル
３０…出力操作用タッチパネル
３５…ネットワークプリンタ
３１…非接触通信ポート（赤外線ポート）
３２…スピーカ
４９Ｌ１、４９Ｌ２…左画面用タッチペン
４９Ｒ１、４９Ｒ２…右画面用タッチペン
７０…第１の制御部
７２…第１の表示・操作部（撮影操作用タッチパネル）
８０…第２の制御部（ＧＵＩ制御装置）
８１、８２…第２の表示・操作部（編集操作用タッチパネル）
９０…第３の制御部
９１…第３の表示・操作部（出力操作用タッチパネル）
９２…印刷出力部（ネットワークプリンタ）
１０１…撮影範囲
１１０…背面
４００…編集操作用タッチパネル
Ｕ、Ｕ１、Ｕ２ …利用者

Claims (14)

1. 被写体である利用者を含む像を撮影する撮影手段と、前記撮影手段により得られる撮影画像を含む合成画像を写真として出力する出力手段とを備える自動写真作成装置であって、
   前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成手段を備えることを特徴とする、自動写真作成装置。
2. 前記画像合成手段は、前記利用者の足首近傍から所定の上限位置までの像を含むべき脚部画像を前記方向に拡大し、縮小された足先画像と拡大された脚部画像とが接するように前記合成画像を生成することを特徴とする、請求項１に記載の自動写真作成装置。
3. 前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記撮影画像において足首が写るべき予め定められた位置を含む線分を下辺とし、前記撮影画像において膝が写るべき予め定められた上限位置を含む線分を上辺とする矩形領域を前記脚部画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする、請求項２に記載の自動写真作成装置。
4. 前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記撮影画像において足首が写るべき予め定められた位置を含む線分を上辺とし、前記撮影画像の下端を含む線分または前記撮影画像において足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域を前記足先画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする、請求項２または請求項３に記載に記載の自動写真作成装置。
5. 前記画像合成手段は、前記撮影画像における縮小前の前記足先画像の下端位置と前記縮小された足先画像の下端位置とを一致させ、かつ前記撮影画像における拡大前の前記脚部画像の上端位置と前記拡大された脚部画像の上端位置とを一致させるよう、前記足先画像を縮小し前記脚部画像を拡大することを特徴とする、請求項２から請求項４までのいずれか１項に記載の自動写真作成装置。
6. 前記脚部画像に前記利用者の顔の像が含まれるか否かを判定する顔検出手段をさらに備え、
   前記画像合成手段は、前記顔検出手段によって前記顔の像が含まれないと判定される場合、前記脚部画像を前記方向に第１の拡大率で拡大し、前記顔検出手段によって前記顔の像が含まれると判定される場合、前記脚部画像を拡大しないか、または前記第１の拡大率よりも小さい第２の拡大率で前記脚部画像を前記方向に拡大することを特徴とする、請求項２に記載の自動写真作成装置。
7. 前記撮影手段による撮影対象であって、所定の色を付された被撮影面を有する背景提示手段と、
   前記撮影画像に含まれる前記被撮影面の像が占める領域の色に対応するクロマキーマスクを作成するマスク作成手段と、
   前記マスク作成手段により作成されたクロマキーマスクを使用することによって前記利用者の像のみを含む利用者画像を抽出する利用者画像抽出手段と
   をさらに備え、
   前記画像合成手段は、前記利用者画像を含む前記合成画像と、所定の背景付加画像とを合成するクロマキー処理を行うことにより、新たな合成画像を生成することを特徴とする、請求項２に記載の自動写真作成装置。
8. 前記利用者画像抽出手段により抽出される前記利用者画像に基づき、前記利用者の足首の位置を検出する足首検出手段をさらに備え、
   前記画像合成手段は、前記足首検出手段により検出される足首の位置に基づき、前記足先画像および前記脚部画像を定めることを特徴とする、請求項７に記載の自動写真作成装置。
9. 前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記足首検出手段により検出される前記利用者の少なくとも１つの足首の位置に基づき算出される位置を含む線分を上辺とし、前記撮影画像の下端を含む線分または前記撮影画像において足先が写るべき予め定められた位置を含む線分を下辺とする矩形領域または当該矩形領域内に含まれる前記利用者画像の対応部分を前記足先画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする、請求項８に記載の自動写真作成装置。
10. 前記利用者画像抽出手段により抽出される前記利用者画像に基づき、前記利用者の膝の位置を検出する膝検出手段をさらに備え、
    前記画像合成手段は、前記撮影画像の左右方向に前記撮影画像の左端から右端までを結ぶ線分のうち、前記膝検出手段により検出される前記利用者の少なくとも１つの膝の位置に基づき算出される位置を含む線分を上辺とし、前記足首検出手段により検出される前記利用者の少なくとも１つの足首の位置に基づき算出される位置を含む線分を下辺とする矩形領域または当該矩形領域内に含まれる前記利用者画像の対応部分を前記脚部画像と定め、前記足先画像を前記撮影画像における下方向に縮小するとともに前記脚部画像を前記下方向に拡大することを特徴とする、請求項８または請求項９に記載の自動写真作成装置。
11. 前記足首検出手段は、前記利用者画像に基づき、一人以上の前記利用者の各足首の位置をそれぞれ検出し、
    前記画像合成手段は、前記足首検出手段により検出される各足首の位置に基づき、前記各足首の像および当該各足首に対応する足先の像を含む前記利用者画像の対応部分を前記各足首に対応する足先画像と定めるとともに、前記各足首および当該各足首に対応する前記上限位置の像を含む前記利用者画像の対応部分を前記各足首に対応する脚部画像と定め、前記各足首に対応する縮小された足先画像と拡大された脚部画像とが前記各足首でそれぞれ接するように前記合成画像を生成することを特徴とする、請求項８に記載の自動写真作成装置。
12. 前記利用者画像抽出手段により抽出される前記利用者画像に基づき、一人以上の前記利用者の各膝の位置をそれぞれ検出する膝検出手段をさらに備え、
    前記画像合成手段は、前記膝検出手段により検出される前記各膝の位置を前記各足首に対応する前記上限位置として前記脚部画像を定めることを特徴とする、請求項１１に記載の自動写真作成装置。
13. 被写体である利用者を含む像を撮影する撮影ステップと、前記撮影ステップにより得られる撮影画像を含む合成画像を写真として出力する出力ステップとを備える自動写真作成方法であって、
    前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成ステップを備えることを特徴とする、自動写真作成方法。
14. コンピュータである自動写真作成装置に、
    被写体である利用者を含む像を撮影する撮影ステップと、
    前記撮影ステップにより得られる撮影画像を含む合成画像を写真として出力する出力ステップと、
    前記撮影画像に含まれる前記利用者の足首近傍からつま先までの像を含むべき撮影画像部分である足先画像を所定方向に縮小するように前記合成画像を生成する画像合成ステップとを実行させることを特徴とする、プログラム。

Images