以下、添付図面を参照しつつ本発明の一実施形態について説明する。
<1. 全体構成>
図1は、本発明の一実施形態に係る遊戯用撮影装置である遊戯用撮影装置の外観を示す図である。より詳細には、図1(a)は、この遊戯用撮影装置を横から見た外観側面図であり、図1(b)は、上から見た外観平面図である。この遊戯用撮影装置は、利用者が入る撮影室2と、利用者を撮影して撮影画像を取得する撮影ユニット3と、撮影画像に対する利用者による落書き(描画操作)を含む編集操作を受け付け、当該撮影画像に合成した合成画像を生成する編集ユニット4と、合成画像を出力する出力ユニット5とを備えている。図2は、撮影ユニット3の正面図であり、図3は、編集ユニット4の正面図であり、図4は、出力ユニット5の正面図である。以下、図1から図4を参照しつつ、本実施形態に係る遊戯用撮影装置の全体構成について説明する。
撮影室2は、略直方体形状であって、撮影ユニット3は、内部に入る利用者から見て前の面である撮影室2の前面に沿って配置されている。なお、撮影室2の左右両側面の一部には、それぞれ利用者が出入りするための開口部と、当該開口部の一部または全部を覆う遮光カーテンとが設けられている。また、撮影室2の内部に入る利用者から見て後ろの面である背面にはクロマキー合成処理のための単一の色(ここでは青色または緑色)が付されている。なお、これらの色は、例えば、撮影ユニット3の撮影範囲に含まれる床面等にも付されていてもよい。また、撮影室2は、上記の構成に限定されることはなく、撮影に適した空間であればよい。
撮影ユニット3は、利用者を撮影する撮像手段としてのカメラ10と、当該カメラ10の上下左右の位置に配置され閃光を発するストロボ11,12,13L,13R,14と、当該カメラ10の下方に配置され利用者からの操作の受け付けや撮影画像の表示等を行う2つの撮影操作用タッチパネル20L,20Rとを備えている。
カメラ10は、典型的には、CCD(電荷結合素子)を利用してデジタル画像信号を生成するデジタルカメラであって、利用者を撮影し、その撮影画像を表す画像信号を出力する。ストロボ11〜14は、撮影のための充分な光を得るために利用者に向かって閃光を発する。2つの撮影操作用タッチパネル20L,20Rは、同一の構成であって、撮影の際に利用者による各種操作を受け付けるための操作画面をそれぞれ提供するとともに、上記画像信号に基づく画像をリアルタイムで表示するように構成されている。なお、ここでは、撮影操作用タッチパネル20Lは、カメラ10に対して左側に立つ利用者によって、撮影操作用タッチパネル20Rは、カメラ10に対して右側に立つ利用者によって使用されるものとする。以下では、撮影操作用タッチパネル20Lを例に挙げて説明するが、撮影操作用タッチパネル20Rも同様の表示を行い操作入力を受け付ける。
図5は、撮影操作用タッチパネル20Lの表示構成を示す模式図である。図5に示すように、撮影時点において、撮影操作用タッチパネル20Lには、リアルタイムで撮影画像を表示するためのリアルタイムプレビュー領域201と、ポーズの見本を表示するためのポーズ見本表示領域202と、撮影によって既に得られた落書き対象画像を表示するための落書き対象画像表示領域203とが表示されている。なお、リアルタイムプレビュー領域201には、撮影画像に対してリアルタイムでクロマキー合成された背景画像が合わせて表示される。
また撮影ユニット3は、編集ユニット4内に内蔵されるコンピュータを中心とした構成要素、すなわち各部の制御等を行う制御装置、I/O制御装置、および他のコンピュータと通信を行うためのネットワークアダプタ等によって制御されている。また、撮影ユニット3は、前面下方にコイン投入口26を備えている。
編集ユニット4は、撮影ユニット3を制御するコンピュータとは異なるコンピュータによって制御されている。また、編集ユニット4は、図1(b)に示すように、2組の利用者がプレイ可能なように2つのユニット4a、4bに分かれている。そのうちの一方のユニット4aには、落書き領域や落書きのためのメニュー、ツール等を表示する領域を含みGUI(Graphical User Interface)表示手段として機能する編集操作用タッチパネル400と、当該編集操作用タッチパネル400に対する操作に使用されるポインティングデバイスとしてのタッチペン49L、49Rとが設けられている。なお、他方のユニット4bについても同様の構成となっている。ここで図1(a)において手前に見えるユニット4aを「落書きブースA」と呼び、その反対側(図では裏側)のユニット4bを「落書きブースB」と呼ぶ。
本実施形態における編集操作用タッチパネル400は、各ユニット4a、4bにおいてそれぞれ2人の利用者が同時に落書きを行えるような表示構成となっている。なお、本説明においては、左側の利用者が使用する構成要素には「L」を含む参照符号を付し、右側の利用者が使用する構成要素には「R」を含む参照符号を付している。もっとも、3人以上の利用者がこれらを適宜に使用してもよい。
また、本実施形態における編集操作用タッチパネル400は、複数のタッチペン49L、49Rによる操作位置を同時に検出可能に構成されており、かつ、検出される各操作位置が、タッチペン49L、49Rのうちのいずれの操作に対応するのかも検出可能となっている。例えば、編集操作用タッチパネル400として静電容量方式のタッチパネルを使用した場合には、このような複数の操作位置の同時検出と操作されたタッチペンの識別とが可能である。
この点、撮影操作用タッチパネル20L,20Rは、タッチペンが使用されるのではなく(もちろん使用されてもよいが)、利用者の指による操作位置を複数検出可能に構成されている。このことを実現するために、撮影操作用タッチパネル20L,20Rとして、例えば上記静電容量方式のタッチパネルや、光センサ方式などその他の周知の方式により、指の近接、接触、または押圧を検出可能な表示パネル(このような検出が可能な表示パネルを「タッチセンサ付きパネル」という)が使用される。
出力ユニット5は、図4に示すように、典型的には前面下方に、編集ユニット4で編集操作が行われた合成画像を印刷した写真シールや写真カード等を取り出す取出口33を備えている。また、出力ユニット5は、例えば携帯電話端末に内蔵される赤外線ポートにより、例えばデコメール(登録商標)画像等の素材画像や撮影画像に落書きをした合成画像などを利用者の携帯電話端末に転送する際に利用者によって操作される出力操作用タッチパネル30と、出力操作用タッチパネル30の下方に配置され上記素材画像等を赤外線信号として携帯電話端末に向けて直接送信するための赤外線ポート(非接触通信ポート)31と、上記通信の際に必要な操作方法や効果音などを音声によって利用者に知らせるスピーカ32とを備えている。なおこの構成は一例であってこれらの要素の一部または全部を備えない場合もある。
出力操作用タッチパネル30は、利用者が合成画像を印刷された写真シール等だけでなく携帯電話端末においても見たい場合に、上記素材画像等を上記非接触通信機能を備えた携帯電話端末に送信するのに必要な各種操作を受け付けるための操作画面を提供するように構成されている。なお、当該操作は主に合成画像の写真シール等が印刷されるまでの時間を利用して行われるので、利用者は写真シール等が印刷されるまでの時間を持て余すことなく有効に利用することができる。また、出力ユニット5に出力操作用タッチパネル30を設けずに、当該操作を編集ユニット4の編集操作用タッチパネル400で行うようにすることもできる。
また出力ユニット5は、携帯電話端末装置55を内蔵しており、利用者によって使用される携帯電話端末によってサーバから当該合成画像をダウンロードできるよう、撮影画像を含む合成画像を画像データとして典型的には第3世代型携帯電話(3G)方式の無線通信方式で近傍の無線基地へ送信し、この画像データは当該無線基地局からインターネットを介して図示されない画像サーバに与えられ蓄積される。
このような出力ユニット5も、撮影ユニット3を制御するコンピュータを中心に構成され各部の制御等を行う制御装置および他のコンピュータと通信を行うためのネットワークアダプタ等によって制御されているほか、合成画像を写真シール等として印刷するネットワークプリンタ35を備えている。
以上のような構成において、利用者は、撮影室2において撮影を行った後、編集ユニット4の落書きブースAまたは落書きブースBの編集操作用タッチパネル400を使用することにより、撮影画像に基づいて生成された落書き対象画像に対して落書きを行う。そして、利用者は、落書きによって生成された合成画像をネットワークプリンタによって印刷したり、赤外線通信機能を有する携帯電話端末に画像を送信し、携帯電話端末で受信した画像を端末画面に表示させたりする。
<2. 機能的構成>
図6は、本実施形態に係る遊戯用撮影装置の要部を機能面から見た構成を示すブロック図である。この図6に示す遊戯用撮影装置は、機能的には、落書き対象画像に対する利用者の落書き操作に応じて当該落書き対象画像の編集処理を行う編集処理部8と、主として利用者を撮影する処理(撮影処理)を行うとともに、編集処理が行われた落書き対象画像を写真シール等として出力したり、作成された素材画像等を非接触通信を利用して携帯電話端末に出力したりする処理(出力処理)を行う撮影出力処理部7とから構成されている。
撮影出力処理部7は、第1の制御部70と、撮像部71と、第1の表示・操作部72と、I/O制御部73と、照明部74と、第1の通信部75と、第4の表示・操作部91と、印刷出力部92と、音声出力部93と、非接触通信部94と、無線通信部96とによって構成されている。また、編集処理部8は、第2の制御部80と、第2の表示・操作部81と、第3の表示・操作部82と、第2の通信部85とによって構成されている。ネットワークアダプタである第1および第2の通信部75,85は、LAN(Local Area Network)であるネットワーク6を介してそれぞれ相互に通信可能となっている。
撮像部71は、CCD等の撮像素子を用いて構成されるカメラ10に相当し、リアルタイムに画像を取り込んで当該画像(撮影画像)を表す画像信号を出力する。この画像信号は第1の制御部70に入力されて、その内部のメモリに撮影画像データとして一時的に記憶される。また、この撮影画像データは撮影画像信号として第1の制御部70から第1の表示・操作部72に供給され、当該撮影画像信号に基づく撮影画像がリアルタイムに表示される。なお実際には、撮影画像として保存される撮影画像データは高解像度の静止画データであり、リアルタイム表示を行うための撮影画像データ(「スルー画像データ」とも呼ばれる)は低解像度の動画データであるが、撮影対象は同一であるので、以下ではこれらを特に区別しないで説明することがある。
第1の表示・操作部72は、ここでは2つの撮影操作用タッチパネル20L,20Rに相当する表示入力受付手段(または表示手段および入力受付手段)として機能し、撮影画像に付加されるべき背景画像(および前景画像)を選択する操作や、後述する利用者の像を補正するためのパラメータ設定等を行う操作、シャッター操作等を受け付ける。これらの操作を示す信号は、操作信号として第1の制御部70に入力される。なお、この第1の表示・操作部72は、複数の操作画面(表示画面)を有する表示入力受付手段として機能すればよいので、1つの撮影操作用タッチパネルを複数の画面に分割して使用してもよい。また操作画面が3つ以上である場合には、2つ以上の撮影操作用タッチパネルのうちの1つ以上を複数の画面に分割して使用してもよい。もちろん撮影操作用タッチパネル20L,20Rは一例であって、そのほかの表示入力装置であってもよいし、表示装置(例えば液晶パネル等)と入力装置(例えばボタンや、キーボード、トラックボール等)とにより表示入力装置が構成されており、画面毎に対応する入力装置による操作入力を受け付け可能に構成されていてもよい。
なお、上記表示入力受付手段、または表示手段および入力受付手段は、それぞれ表示および入力のためのハードウェアのみならず、表示および入力のための機能を実現するソフトウェア等を含むものである。したがって、2つ以上の表示手段が1つの表示装置上で実現されていてもよいし、2つ以上の入力受付手段が1つの入力装置において実現されていてもよい。例えば、1つの液晶タッチパネルの画面内に複数の操作画面が表示される構成では、操作のためのアイコン等が複数の表示手段により表示されており、また(当該アイコン等を押下するなどの)利用者による操作入力が複数の入力受付手段により受け付けられる。
ここで、利用者を撮影するための(選択された撮影メニューに対応する)所定の処理が開始されると、第1の表示・操作部72に利用者のための案内が表示され、その後の第1の制御部70からの指示に基づき、数秒程度の予め決められた時間の経過後にカメラ10の撮影方向にストロボ11〜14から閃光が放たれる。そのとき、利用者の撮影画像を表す信号として撮像部71から出力される画像信号が第1の制御部70に入力され、第1の制御部70内のメモリまたは補助記憶装置としてのハードディスク装置等に撮影画像データとして格納される。
照明部74は、カメラ10の上下左右の位置に配置されたストロボ11,12,13L,13R,14(図2参照)に相当し、第1の制御部70からの指示に基づきI/O制御部73によって点灯/消灯および調光が制御される。I/O制御部73は、撮影ユニット3に内蔵されるI/O制御装置に相当し、第1の制御部70からの指示に基づき、照明部74を制御する。また、後述のコイン検出部(不図示)からの検出信号等の入力信号を第1の制御部70へ転送する。第1の通信部75は、ネットワークアダプタに相当し、ネットワーク6を介したデータ送受信の際のインタフェースとして機能する。
第1の制御部70は、編集ユニット4に内蔵され、CPU、メモリ、フレームバッファ、タイマー、補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、上述のようにして入力される操作信号等に基づき各部を制御するために、上述のように各部に指示を出す。また撮影された画像に基づいて落書き対象画像を生成する。生成された落書き対象画像はフレームバッファに書き込まれることにより、第1の表示・操作部72に表示される。さらに、第1の制御部70は、落書き対象画像に所定の背景画像や前景画像を描画した画像である合成画像を生成する。この落書き対象画像には、マスクの作成に使用されるキー色となる背景色が付されており、周知のクロマキー合成処理の手法に基づき、利用者の像のみを含む撮影画像部分を抽出し、当該撮影画像部分が背景画像中に嵌め込まれるように合成する。このように生成された合成画像はフレームバッファに書き込まれることにより第1の表示・操作部72に表示される。
上記の構成要素の他、撮影ユニット3におけるコイン投入口26に投入されたコインを検出するためのコイン検出部(不図示)が更に撮影ユニット3に設けられており、第1の制御部70は、コイン検出部での検出結果に基づき、利用者に所定時間だけ撮影や背景画像および前景画像の選択や落書き等、本遊戯用撮影装置によるプレイを許容するように各部を制御する。このコイン検出部による検出動作やその検出結果に基づく第1の制御部70による制御動作は、従来の遊戯用撮影装置と同様であって周知であるので、その詳しい説明を省略する。
次に第2の制御部80は、第1の制御部70とは別に、編集ユニット4に内蔵され、CPU、メモリ、フレームバッファ、タイマー、および補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、編集ユニット4において行われる編集処理に関する全体の制御を行う。すなわち第2の制御部80は、第2および第3の表示・操作部81,82を制御するGUI制御手段として機能する。また、第2の制御部80は、生成された落書き対象画像(撮影画像を含む画像)に対する落書き処理を行うための操作信号に基づき、その落書き対象画像に所定画像を描画した画像である合成画像を生成する。描画される所定画像としては、例えば、選択されたスタンプ画像や、タッチペンで描かれた線状の画像、選択された2以上のスタンプを所定の順で重ね合わせることにより生成した合成スタンプ画像等の合成画像を利用することができる。
このような合成画像の生成が終了すると、利用者による分割レイアウトの選択指示を受け付けられ、選択された分割レイアウトを示す情報および生成された合成画像は第1の制御部70に送られる。なお、印刷出力部92が別の合成画像を出力中である場合には、その旨が表示されるとともに終了を待って送られる。なお、これらの情報はネットワーク6を介して送受信される。
第2および第3の表示・操作部81,82は、落書きのためのGUI表示手段として機能する編集操作用タッチパネル400に相当し、タッチペンを用いた利用者の操作を受け付ける。
第2の通信部85は、ネットワークアダプタに相当し、ネットワーク6を介したデータ送受信の際のインタフェースとして機能する。
また第1の制御部70は、上記の撮影処理のほか、出力処理に関する全体の制御を行う。第1の制御部70は、第2の制御部80から送られてきた合成画像を合成画像データとしてメモリに格納する。印刷出力部92は出力ユニットに内蔵されるネットワークプリンタ35に相当し、メモリに格納された合成画像データを(適宜にレイアウトした)写真シール(または写真カード)として印刷する。印刷された写真シール等は、出力ユニット5の正面下方に設けられた取出口33から取り出される。
さらに第1の制御部70は、第2の制御部80から送られてきた分割レイアウト情報および合成画像に基づいて写真シール等の印刷処理を開始すると同時に、利用者の入力操作を受け付けるための後述する操作画面を第4の表示・操作部91に表示する。この第4の表示・操作部91は出力操作用タッチパネル30に相当し、入力受付手段として機能する。出力操作用タッチパネル30は、液晶ディスプレイまたはCRT(Cathode Ray Tube)等の表示手段として機能するモニタと、その上面に積層され、入力座標を認識することができる1人用のタッチパネルから構成される。モニタは複数の画面に分割された操作画面を表示することができ、タッチパネルは分割された複数の画面ごとに利用者のタッチペンを用いた入力操作を受け付け、受け付けた入力操作を操作信号として第1の制御部70に入力する。
無線通信部96は、出力ユニット5に内蔵される携帯電話端末装置55に相当し、携帯電話端末によって図示されない画像サーバ部から当該合成画像をダウンロードできるように、第1の制御部70により作成された合成画像のデータを3G方式の無線通信方式で無線基地部へ送信する。
ここで、第1の制御部70は、落書きを終えてから操作を始めるまでの間、補助記憶装置に予め記憶されているデモ画像(デモンストレーション用の画像)をフレームバッファに書き込むことにより第4の表示・操作部91に表示する。また音声出力部93は、スピーカ32に相当する。音声出力部93は、第4の表示・操作部91に表示される操作画面と連動して入力操作方法を利用者に説明し、また第4の表示・操作部91にデモ画像が表示されているときにデモ画像に応じた楽曲等を流す。なお、入力操作方法の説明や楽曲等は補助記憶装置としてのハードディス装置等に予め格納されている。
その後、第1の制御部70は、第4の表示・操作部91の表示や音声出力部93による音声や効果音等により合成画像の印刷が完了するまで後述するミニゲームを利用者に提供し続ける。このミニゲームの内容も同様にハードディスク装置等に予め格納されている。
ここで、各制御装置において実行される上記所定プログラムは、例えば、そのプログラムを記録した記録媒体であるDVD−ROMによって提供される。すなわち、上記所定プログラムの記録媒体としてのDVD−ROMが補助記憶装置として制御装置内に内蔵されたDVD−ROM駆動装置に装着され、そのDVD−ROMから所定プログラムが読み出されて補助記憶装置としてのハードディスク装置にインストールされる。また、上記所定プログラムは、DVD−ROM以外の記録媒体(CD−ROM等)や通信回線を介して提供されてもよい。そして、本遊戯用撮影装置の起動のための操作がなされると、ハードディスク装置にインストールされた所定プログラムは、制御装置内のメモリに転送されてそこに一時的に格納され、制御装置内のCPUによって実行される。これにより、制御装置による上記各部の制御処理が実現される。
なお、上記第1および第2の制御部70,80は、異なるコンピュータを含む装置に相当するものとして説明したが、このような構成は一例であって、上記第1および第2の制御部70,80は、1つまたは3つ以上の装置により実現されてもよいし、どのユニットに内蔵されていてもよい。なお、この場合には各装置において、それぞれ実現されるべき機能に応じたプログラムが実行される。また、撮影ユニット3、編集ユニット4、および出力ユニット5についても、2つ以下または4つ以上のユニットにより構成されてもよい。
<3. 遊戯用撮影装置における処理手順>
上述したように、この遊戯用撮影装置には、撮影ユニット3と編集ユニット4と出力ユニット5とが含まれている。撮影ユニット3では撮影処理が行われ、編集ユニット4では後述する落書き編集処理が行われ、出力ユニット5では出力処理が行われる。なお、或る利用者が撮影ユニット3でプレイしている時に他の利用者は編集ユニット4でプレイし、さらに他の利用者は出力ユニット5で合成画像を出力することができるように構成されている。すなわち、この遊戯用撮影装置は、撮影処理と落書き編集処理と出力処理とを並行して行うことができる。以下に、撮影処理を中心に、落書き編集処理、および出力処理の手順の概要についても説明する。
<3.1 撮影処理>
図7は、本実施形態における撮影処理の手順を示すフローチャートである。この遊戯用撮影装置が使用されていない時(プレイが行われていない時)には、撮影操作用タッチパネル20L,20Rにはデモ画像が表示されている。デモ画像の表示中に利用者がコイン投入口26にコインを投入すると、プレイが開始される(ステップS110)。
続いてステップS120において、第1の制御部70は、利用者が望む態様で撮影画像に含まれる(典型的には)当該利用者の像が補正されるように、利用者の顔と(典型的には)当該利用者が使用する操作画面との対応付けを行うとともに、撮影画像の補正態様を利用者に選択させる処理(補正対象決定処理)を行う。この補正対象決定処理は、特徴的な構成であるため、詳しく後述する。
上記補正対象決定処理が終了すると、自動で撮影するか手動で撮影するかを選択し、自動で撮影する場合には撮影用テーマの選択が行われる。自動で撮影することが選択された場合、第1の制御部70は、予め用意された複数の撮影用テーマの中から1つ以上の撮影用テーマを利用者に選択させるための画面を撮影操作用タッチパネル20L,20Rに表示し、利用者による選択操作を受け付ける。そして、第1の制御部70は、利用者の選択操作に基づいて選択情報を取得し、選択された撮影用テーマに基づいて、撮影の際に使用するフレームと背景との組み合わせ画像(以下、「背景画像」という)を決定する。このとき、撮影が複数回行われる場合は、撮影の回数に等しい枚数の背景画像が決定される。
一方、手動で撮影する場合は、背景画像を利用者が自由に決定する。つまり、複数種類用意された背景画像の中から、撮影の際に使用するものを利用者が選択する。撮影が複数回行われる場合、撮影の回数に相当する枚数の背景画像を利用者に選択させる。利用者によって選択された背景画像が撮影に使用する背景画像として決定される。
次にステップS130において、第1の制御部70は、図5に示すような操作画面を撮影操作用タッチパネル20L,20Rにそれぞれ表示する。なお前述したように、リアルタイムプレビュー領域201には、撮影画像に対してリアルタイムでクロマキー合成された背景画像が表示されるが、このクロマキー合成表示処理は、一般的にはクロマキーマスクを作成する処理と、背景画像を合成する処理とを含む。クロマキーマスクとは、例えば周知の合成マスク(アルファチャネル)であって、対象となる撮影画像のうちのキー色(ここでは青色または緑色)を有する領域、すなわち撮影室2の背面の像が占める領域を透明とし、それ以外の領域を非透明とするためのデータである。この合成マスクは一般的には対象となる画像の画素毎に0(完全透明)または255(完全非透明)の透過度を示す値αが設定される。このようなクロマキーマスクを使用することにより、撮影画像の非透明領域(α=255)に相当する背景画像の領域は隠され(マスクされ)、その透明領域(α=0)に相当する背景画像の領域は見えるように合成される。そのため、あたかも対象となる撮影画像の非透明領域の部分が切り取られ、切り取られた当該部分が上記背景画像に対して貼り付けられたような合成画像が得られる。このようにして得られる合成画像は、撮影操作用タッチパネル20L,20Rに同じく表示される。なお、ここで表示される撮影画像は実際には撮影画像として保存される(高解像度の)静止画データではなく、リアルタイム表示を行うためのスルー画像データである。このスルー画像データは、撮影処理全体の開始時点から終了時点まで(S100〜S170)、カメラ10から(広義の撮影画像として)連続的に取得される。このようなクロマキー処理によって遊戯性の高い写真作成を行うことができる。
その後、ステップS140に進み、撮影が行われるべき撮影タイミングであるか否かが判定され、撮影タイミングでない場合(ステップS140においてNoの場合)には撮影タイミングとなるまで上記操作画面表示が繰り返され(S140→S130→S140)、撮影タイミングである場合(ステップS140においてYesの場合)には、ステップS150における撮影処理に進む。
ステップS150における撮影処理では、前述したように数秒程度の予め決められた時間の経過後にカメラ10の撮影方向に閃光が放たれ、カメラ10によって取得された撮影画像データが第1の制御部70のメモリに格納される。
次に、ステップS160において、第1の制御部70は、ステップS150において得られた撮影画像に対して、ステップS120において各利用者に選択され確定されたそれぞれの補正態様で、対応する各利用者の像に対して補正し、背景画像と合成することにより落書き対象画像を生成する処理(落書き対象画像生成処理)を行う。この落書き対象画像生成処理(S160)も、上記補正対象決定処理(S120)と関連して特徴的な構成を有するため、詳しく後述する。なお、このステップS160における落書き対象画像生成処理は、以下のステップS170における処理が終了後に行われる構成であってもよい。
続いて、ステップS170において、第1の制御部70は、予め定められた所定回数(セット数)の撮影が終了したか否かを判定する。判定の結果、所定回数の撮影が終了していればステップS180に進み、所定回数の撮影が終了していなければステップS130に戻る。なお、実際には撮影のための制限時間(例えば3分)が設けられており、制限時間よりも(或る程度)早く所定回数の撮影が終了した場合には、さらに撮影が行われる(ボーナスショットと呼ばれる)。
ステップS180では、複数の落書き対象画像の中から実際の落書き対象となる画像の(利用者による)選択が行われる。具体的には、第1の制御部70は、落書きおよび印刷に使用する画像を利用者に選択させるために、落書き対象画像の一覧を撮影操作用タッチパネル20L,20Rに表示し、利用者による選択操作を受け付ける。なお、撮影操作用タッチパネル20Lと撮影操作用タッチパネル20Rとで利用者毎に異なる落書き対象画像を選択する操作を受け付けてもよい。そして、第1の制御部70は、利用者によって選択された画像を実際の(最終的な)落書き対象画像とする。このとき撮影操作用タッチパネル20L,20Rに表示される複数の落書き対象画像は、ステップS160の処理による補正がなされた各撮影画像である。
このステップS180における処理が終了すると、ステップS190の処理に進む。ステップS190では、案内画面の表示が行われる。具体的には、第1の制御部70は、利用者を編集ユニット4のいずれか(4aまたは4b)に導くための画面を撮影操作用タッチパネル20L,20Rに表示する。これにより、撮影処理が終了する。なお、本実施形態では、上記ステップS120における補正対象決定処理の内容と、上記ステップS160における落書き対象画像生成処理の内容とに特徴を有するが、これらの点については図9および図16を参照して後述するものとし、続く落書き編集処理の内容について説明する。
<3.2 落書き編集処理>
図8は、本実施形態における落書き編集処理の手順を示すフローチャートである。第2の制御部80が所定のプログラムに基づき図8に示すように動作することで、この落書き編集処理が実現される。この処理では、上述した撮影処理の終了後、第2の制御部80に内蔵されるタイマーが所定の時間(具体的には、落書きを許可する時間)に設定され、カウントダウンが開始される(ステップS205)。このとき、図7のステップS190の処理(案内表示)によって利用者に移動を促したほうの編集ユニット4(4aまたは4b)の編集操作用タッチパネルにおいて、落書き編集操作画面が表示される。そして、選択された複数の撮影対象画像に対する利用者による落書き操作(描画操作)が受け付けられる(ステップS210〜S240)。なおこの落書き編集処理時において、編集ユニット4では、撮影画像に基づく落書き対象画像(図7のステップS180で選択されたもの)に対する編集操作の他に、デコメール(登録商標)画像等の素材画像を作成するための編集操作が受け付けられてもよいが、その説明は省略する。
タッチパネル400に落書き編集画面が表示された状態で、この画面の所定箇所に配置された所定のツールアイコン(不図示)をタッチペンでタッチすると、タッチしたツールアイコンに対応する落書き機能が選択され、実行可能な状態となる(ステップS210)。続いて、落書き編集画面に表示された落書き対象画像(不図示)を含む領域をタッチペンでタッチすると、タッチされた位置座標が入力され(ステップS220)、当該位置に、典型的には選択した落書き機能に対応する(スタンプ画像等の)合成用画像、すなわち落書きが表示される(ステップS230)。なお、この落書き編集処理では、典型的にはその処理内容が位置とともに順に記憶され、最終的な編集結果が表示される構成となっている。そのため、編集の取り消しも可能である。その後ステップS240においてタイマーの残り時間が0になる(または利用者が終了させる操作を行う)ことにより落書きが終了したかが判定され、終了していない場合(ステップS240においてNoの場合)にはステップS210に戻り、落書きが終了するまで処理が繰り返され、落書きが終了した場合(ステップS240においてYesの場合)には、上記ステップS230の処理において記憶された編集処理の手順に従って、選択された合成用画像と落書き対象画像との(最終的な)合成処理が開始され、合成画像が生成される(ステップS250)。
ステップS260では、出力される写真の分割パターンの選択が行われる。具体的には第2の制御部80は、予め用意された複数の分割パターンの中からいずれかの分割パターンを利用者に選択させるための操作画面を編集操作用タッチパネル400に表示し、利用者による選択操作を受け付ける。ステップS260の処理が終了した後、ステップS270の処理に進む。
ステップS270では、案内画面の表示が行われる。具体的には、第2の制御部80は、利用者を出力ユニット5に導くための画面を編集操作用タッチパネル400に表示する。これにより、落書き編集処理が終了する。落書き編集処理が終了すると、出力ユニット5において、第2の制御部80から送られてきた合成画像(および選択された分割パターンの情報)に基づいて写真シール等の印刷処理が開始されることなどについては前述した通りである。
<3.3 補正対象決定処理>
次に、上記ステップS120における補正対象決定処理の詳しい内容について図9を参照して説明する。図9は、本実施形態における補正対象決定処理の手順を示すフローチャートである。図9に示すステップS121において、第1の制御部70は、通常の撮影とは異なる全員撮影のための説明画面を撮影操作用タッチパネル20L,20Rに表示する。
図10は、全員撮影のための説明画面例を示す図である。この図10に示されるように、利用者の嗜好に合わせた画質(ここでは後述する目の形や濃さ、顔の輪郭や、肌質などの画像補正態様)を設定するため、全員撮影が行われることが撮影操作用タッチパネル20に表示される。なおこの撮影は、詳しくは後述するように、全ての利用者の顔を認識・識別するために行われる。また、上記撮影の他、撮影操作用タッチパネル20にはOKボタン205が表示されており、利用者がこのOKボタン205を押下する操作(具体的には当該位置を指などで触れる操作)を行うことにより、次の操作画面に遷移する。なお、図10に示すように、これから通常の撮影とは異なる全員撮影が行われることを利用者に対して告知することが望ましいが、このような告知は省略することもできる。また、後述する撮影用の操作画面例との関係で、図10に示す説明画面に代えて、またはその後に表示される図示されない画面において、利用者の数を質問する説明文とともに、利用者の数を入力する操作を受け付ける構成であってもよい。
続いてステップS122において、第1の制御部70は、図11に示すような、通常の撮影とは異なる全員撮影のための撮影用の操作画面(撮影画面)を撮影操作用タッチパネル20に表示する。
図11は、全員撮影のための撮影画面例を示す図である。図11に示されるように、撮影操作用タッチパネル20には、通常撮影時と同様の(ここではやや大きい)リアルタイムプレビュー領域201と、このリアルタイムプレビュー領域201内に固定的に(予め定められた位置に)表示される顔位置ガイド206と、OKボタン205とが表示される。この顔位置ガイド206は、通常撮影時には表示されず、また通常撮影時よりも顔が大きく写るように表示されるべき位置が定められている。この顔位置ガイド206が表示されると、この枠内に顔が入るように、かつ枠一杯に顔が写るように、利用者は自然と顔の位置を移動させるので、後述する顔認識を行う際に好適な撮影画像が得られる。もちろん、この顔位置ガイド206は、省略されてもよいが、そのような構成においても、正面を向いて撮影するように、さらには全員の顔がはっきりと写るようカメラ10に近づいて撮影するように、告知文を表示したり、音声による案内を行う構成などが好ましい。
また、図11に示される顔位置ガイド206は、2人の利用者によって使用されることが予定されている形状となっているが、利用者の人数は例えば前述したように図10に示す操作画面内またはその前後で利用者の操作入力を受け付けることにより決定される。したがって、利用者が1人または3人以上である場合には、顔位置ガイド206は、決定された利用者の数に応じて、予め定められた当該数の利用者によって使用されることが予定されている形状で表示される。また、後述する顔認識処理をこの時点で行うことにより、人数を検出してもよい。
このようにして利用者の撮影準備が整った後、撮影操作用タッチパネル20に表示されるOKボタン205を押下する操作が行われると撮影が行われる。すなわち、図9に示される以下のような処理が行われる。
まずステップS123において、第1の制御部70は、撮影タイミングであるか否か(ここでは上記OKボタン205が押下されたか否か)が判定され、撮影タイミングでない場合(ステップS123においてNoの場合)、撮影タイミングとなるまで上記操作画面表示が繰り返され(S123→S122→S123)、撮影タイミングである場合(ステップS123においてYesの場合)、ステップS124における撮影処理に進む。
ステップS124における撮影処理では、通常撮影と同様に数秒程度の予め決められた時間の経過後にカメラ10の撮影方向に閃光が放たれ、カメラ10によって取得された撮影画像データ(ここでは全員撮影画像)が第1の制御部70のメモリに格納される。
続いて、ステップS125では、ステップS124により取得された全員撮影画像に含まれる利用者全員(ここでは2人)の顔を認識する処理が行われる。この顔の認識処理は、顔領域であることを認識する顔領域の認識処理と、利用者の顔を個別に識別するための顔識別処理とを含む。なおこれらは段階的に行われてもよいし、同時的に行われてもよい。また、上記顔領域の認識処理を行うことなく、顔識別処理を行ってもよい。以上のような処理を総じてここでは顔認識処理と呼ぶ。この顔認識処理によって、ここでは2人の利用者の顔領域がそれぞれ認識され、対応する特徴量が算出されることにより2人の利用者の顔が識別される。
より詳しく説明すると、まず顔領域の認識処理は、周知の手法を採用すればよく、例えば予め記憶されたモデル画像を拡大・縮小、回転することによりテンプレート画像を生成し、このテンプレート画像を基準として顔としての特徴を有する画像が撮影画像内に含まれている場合に当該領域を顔領域として認識する手法や、テンプレートを使用しない周知の認識手法、例えば肌色領域の形状に基づき顔領域を認識したり、各種のパターン認識手法を使用した認識手法等を採用可能である。これらの周知の手法についての詳しい説明は省略する。次に、顔識別処理も同様に周知の手法を採用すればよく、例えば顔の目や鼻などの相対的な位置関係や大きさ、目や鼻やほお骨やあごの形を特徴として示す量など、顔を識別するために使用される周知の幾何学的または統計的な数値(以下「特徴量」という)を算出する。この特徴量は、複数のパラメータからなる複数の整数値であるが、他の顔と識別することが可能であればどのように規定されていてもよい。この顔識別処理により、2人の利用者が撮影画像のどの位置に写っていても、どのように撮影されていても識別することが可能となる。このように顔領域を認識し識別するプログラムを実行することにより、簡単にかつセンサなどを設けることなく安価に利用者の顔を認識することができる。なお、周知の顔検出用(または顔識別用)LSIチップなどのハードウェアを使用すれば、ソフトウェア処理の場合よりも顔領域の認識および顔の識別を高速化することができる。また、ここでの顔認識処理は、多数の(登録された)者の顔から1つを正確に抽出することが要求される通常の顔認識処理とは異なり、撮影される複数の利用者を互いに区別することができる程度の認識処理で足り、また区別できる程度の特徴量の算出を行えば足りる。
続いて、ステップS126では、補正対象となる利用者を決定するための後述する利用者選択受付画面が撮影操作用タッチパネル20L,20Rに表示され、表示された利用者選択受付画面に基づく利用者による操作入力の受付が行われる。このような選択受付画面および当該画面に対する入力例を図12および図13を参照して詳しく説明する。
図12は、左側の撮影操作用タッチパネル20Lに表示される利用者選択受付画面例を示す図であり、図13は、右側の撮影操作用タッチパネル20Rに表示される利用者選択受付画面例を示す図である。図12に示されるように、撮影操作用タッチパネル20Lには、上記ステップS124において撮影された全員撮影画像211と、次の画面に遷移するためのOKボタン205とが表示される。これは図13においても同様である。ただし、図12に示される全員撮影画像211に含まれる左側の利用者の顔領域には斜線が付されており、図13に示される全員撮影画像211に含まれる右側の利用者の顔領域には斜線が付されている。この斜線は選択されたことをわかりやすく示すために付されており、利用者が顔領域を押下する操作で顔領域を選択することによって、その色が変わったり、凹んだりする表示態様で表示の変更が行われる。このことにより、選択した利用者の顔領域が容易に識別できる。もっとも、このような表示態様は一例であって、利用者の選択が受付可能であれば、どのような表示態様および入力受付態様であってもよい。このようにして選択された利用者(の顔領域)の選択が完了すると、第1の制御部70は、選択された画面(撮影操作用タッチパネル20L,20Rのいずれかの画面)と、選択された利用者を示す特徴量とを関連付けて記憶する。例えば、左画面では特徴量Aを有する利用者が選択され、右画面では特徴量Bを有する利用者が選択されたことが記憶される。
続いて、ステップS127では、撮影画像の補正態様を決定するための後述する補正選択受付画面が撮影操作用タッチパネル20L,20Rに表示され、表示された補正選択受付画面に基づく利用者による操作入力の受付が行われる。このような補正選択受付画面および当該画面に対する入力例を図14を参照して詳しく説明する。
図14は、利用者による補正態様の選択操作を受け付けるための補正選択受付画面例を示す図である。図14に示されるように、撮影操作用タッチパネル20L,20Rには、補正態様を選択するための複数の補正態様決定ボタン207と、次の画面に遷移するためのOKボタン205とが表示される。
ここで補正態様は、図14に示されるように4種類が設定されており、目の形(具体的には、目の大きさや、つり目やたれ目などの形状等、およそ目の輪郭形状に関連する要素)と、目の濃さ(具体的には、目の色や、瞳の大きさ等、およそ目の内部形状や色彩に関連する要素)と、輪郭(具体的には、顎や頬などの特徴的な部分を含む顔の外縁形状や、髪型、髪の毛の色などに関連する要素)と、肌質(具体的には、肌の色や明るさ、ぼかし具合など、およそ肌の見え方に関連する要素)とが選択可能に表示されている。なお、このような補正は、画像の色彩または形状の少なくとも一方に対する、周知のまたは適宜の変更手法または変形手法を用いることにより、容易に実現することができる。また、これらの補正態様は例示であって周知のあらゆる補正態様を適用可能である。これら4つの補正態様は、それぞれAからDまでの4つの典型的な状態(以下「設定状態」という)が補正態様決定ボタン207によって選択可能に表示されている。なお、図14では、これらの設定状態はAからDまでの記号によって表示されているが、このような記号に代えて設定状態を示す説明文や、補正の程度を示す数字などであってもよい。また、スライダー(バー)などを使用することにより、無段階に変化する量を入力可能に表示されてもよく、これらの種類や、数、入力態様などには特に限定はない。よって、周知の様々な入力インタフェースを使用可能である。このように、或る(種類の)補正態様における補正の状態を設定するための上記設定状態を以下では「パラメータ」とも呼び、このパラメータに設定される数値や記号などの情報を以下では「パラメータの値」とも呼ぶ。
このようにして、これらの補正態様の設定状態(パラメータの設定)が完了すると、第1の制御部70は、選択された画面(撮影操作用タッチパネル20L,20Rのいずれかの画面)と、設定されたパラメータの値とを関連付けて記憶する。このことにより、ステップS126において記憶された画面と特徴量との関係と関連付けることが可能となる。すなわち、(所定の特徴量を有する)各利用者の像に対して、どのような設定状態の補正態様で補正を行うべきかを記憶することができる。例えば、左画面では特徴量Aを示す利用者が選択され、右画面では特徴量Bを示す利用者が選択される場合、特徴量Aを示す利用者の像に対する補正態様の設定状態と、特徴量Bを示す利用者の像に対する補正態様の設定状態とがそれぞれ関連づけられて記憶される。第1の制御部70は、このように各利用者の顔の像と、補正態様の設定状態の入力を含む操作入力とを関連づける関連付け手段として機能する。
また、図14に示されるように、補正態様の設定状態(パラメータ)には初期値が設定されている。図中では、オススメという表題が付された点線で囲まれており、「B」と表記された複数の補正態様決定ボタン207に対応する設定状態がそれぞれの補正態様の初期値として設定されている。なお、実際には利用者による操作入力が行われる前の初期的な選択受付画面として、それぞれ「B」の表記に対応する設定状態が初期的に設定された初期画面が表示される。
このような初期的な設定状態は、利用者によって適宜の補正態様決定ボタン207が押下されることにより変化し、例えば図14に示すような設定状態に変化させることができる。そうして、補正態様の設定状態が決定すれば、図14に示すOKボタン205が押下され、補正態様の設定状態の決定が終了し(パラメータの値を確定し)、補正対象決定処理が終了する。なお、OKボタン205が押されてなくとも、選択受け付け画面(図12参照)が表示されてから所定時間が経過すると、補正態様の設定状態の決定が終了し、補正対象決定処理が終了するようにしてもよい。
以上のように図7に示す補正対象決定処理(S120)が終了すると、所定枚数の撮影が行われ、撮影処理が終了する。その後の落書き処理および出力処理についても前述したとおりである。次に、上記ステップS160における落書き対象画像生成処理の詳しい内容について図15を参照して説明する。
<3.4 落書き対象画像生成処理>
図15は、本実施形態における落書き対象画像生成処理の手順を示すフローチャートである。図15に示すステップS161において、第1の制御部70は、前述したクロマキーマスクを作成するとともに、利用者の占める像(以下「利用者像」という)を利用者毎に(ここでは2つ)生成する。前述したように、クロマキーマスクを作成することによって、2人の利用者像と、キー色を有する撮影室2の背面の像が占める背景領域とを区別することができ、また2人は別れて立っていることが多いため、利用者像は2つに分かれていることが多い。しかし、利用者が接している場合など利用者像が2つに分かれていない場合には、適宜に(例えば2つの顔から等距離となる点からなる)境界線を設定することにより、2つの利用者像を作成する。ここで、利用者の像を2つに分けることは容易でない場合もあるが、補正対象として最も重要であって利用者が特に意識する領域は、顔領域である。この顔領域はほとんどの場合、接することなく2つに分かれており、分かれていない場合であっても、顔認識処理により顔の境界を正確に認識することができる。したがって、少なくとも顔領域について、利用者毎の区別が(或る程度)正確になされていれば、例えその他の(手や足などの肌色領域)における利用者毎の区別が正確でない場合にも大きな問題とはならない。
続いてステップS162において、第1の制御部70は、利用者毎の特徴量を算出する。前述したように、この利用者毎の特徴量の算出は、周知の顔認識処理により行われる。算出された特徴量は、その特徴量を有する顔領域を含む利用者像と関連付けられて一旦記憶される。なお、顔領域と顔領域以外の利用者像の部分とは一連の領域であり位置関係もほぼ固定されているため、容易に互いを関連付けることができる。
次にステップS163において、第1の制御部70は、算出された利用者毎の特徴量に応じたパラメータ値で、対応する利用者像に対する補正を行う。前述したように、ステップS126,S127において、(所定の特徴量を有する)各利用者の像に対して、どのような設定状態の補正態様で補正を行うべきかが記憶される。例えば、特徴量Aを示す利用者の像に対する補正態様の設定状態と、特徴量Bを示す利用者の像に対する補正態様の設定状態とがそれぞれ記憶される。第1の制御部70は、記憶されたパラメータ値で、対応する利用者像毎に補正を行う。
ここで、上記特徴量は、どのような条件でも同一の値が得られることが理想的ではあるが、実際には利用者の表情や撮影条件の変化などの理由により、完全に同一の値が得られないこともある。しかし、もし同一の値が得られない場合であっても、他の利用者の特徴量と同一または近似する程度まで値が変化することは通常は考えられないため、通常考えられる特徴量の変化範囲を前提にして、記憶される特徴量と同一またはそれに近似する特徴量を有する場合、同一の利用者の顔(の特徴量)であるものとして問題はない。具体的には、記憶された全ての(利用者に対応する)特徴量のうち、算出された特徴量から所定範囲内の特徴量、または算出された特徴量に最も近い特徴量を、対応する利用者として識別する例などが考えられる。なお、その他の識別手法が使用されてもよい。このように第1の制御部70は、算出された利用者毎の特徴量と同一または近似する特徴量に応じたパラメータ値で、当該特徴量に対応する利用者像に対する補正を行う。
続いてステップS162において、第1の制御部70は、上記ステップS163において補正された各利用者像に対して、選択された撮影テーマに対応する背景画像をクロマキー合成した合成画像、すなわちステップS130においてなされる処理と同様のクロマキー合成処理(厳密には低解像度のスルー画像を上記背景画像にクロマキー合成するのではなく、高解像度の静止画像である撮影画像を上記背景画像にクロマキー合成する処理)により生成される合成画像が、落書き対象画像として撮影操作用タッチパネル20L,20Rに表示される。なお、補正された全員撮影画像を落書き対象画像としてもよい。
その後、ステップS165に進み、撮影された画像が全て補正されたか否かが判定され、補正されていない場合(ステップS165においてNoの場合)には全ての撮影画像が補正されるまで上記処理が繰り返され(S165→S161→…→S165)、全ての撮影画像に対する補正が終了した場合(ステップS165においてYesの場合)、落書き対象画像生成処理が終了する。
以上のように図15に示す落書き対象画像生成処理処理(S160)が終了すると、所定枚数の撮影が終了するまで2回目以降の撮影および落書き画像の生成が繰り返され(S130→S140→…→S170→S130)、落書き対象画像が選択され(S180)、撮影処理が終了する。その後の落書き処理および出力処理についても前述したとおりである。
<4.変形例>
<4.1 第1の変形例>
上記実施形態では、図12および図13に示すように、利用者の(ここでは顔領域を押下する)操作入力によって選択された画面(撮影操作用タッチパネル20L,20Rのいずれかの画面)と、選択された利用者を示す特徴量とが関連付けて記憶されるが、利用者の操作入力によらず、自動的に関連づけが行われる構成であってもよい。
図16は、全員撮影を自動的に行うための撮影画面の一例を示す図である。図16に示されるように、撮影操作用タッチパネル20L,20Rには、通常撮影時と同様のリアルタイムプレビュー領域201と、このリアルタイムプレビュー領域201内に固定的に表示される顔位置ガイド206とが表示される。なお、この顔位置ガイド206が表示されると、図11に示される場合と同じくこの枠内に顔が入るように、かつ枠一杯に顔が写るように、利用者は自然と顔の位置を移動させるので、補正を行うための好適な撮影画像が得られる。
ここで上記実施形態では、図9に示すステップS123において、第1の制御部70は、(図11に示す)OKボタン205が押下されたか否かを撮影タイミングとして判定するが、本変形例では顔位置ガイド206の左画面用と右画面用との2つの枠内にそれぞれ各利用者の顔領域が適宜の大きさで入ると、第1の制御部70は、自動的に写真撮影を行う。このとき、顔位置ガイド206の上部に示されるように、左画面用の枠内の顔の特徴量は、左画面に関連付けられ、右画面用の枠内の顔の特徴量は、右画面に自動的に関連付けられる。したがって、この変形例の構成によれば、利用者はステップS126における利用者選択の受け付けを行う必要が無いので、簡単にかつ素早く利用者毎の補正を行うことができる。また、このような関連付けの自動化は、図17に示すような態様で行うこともできる。
図17は、全員撮影を自動的に行うための撮影画面の他の例を示す図である。図17に示されるように、撮影操作用タッチパネル20L,20Rには、通常撮影時と同様のリアルタイムプレビュー領域201と、このリアルタイムプレビュー領域201内に固定的に表示される中央分離線208とが表示される。この中央分離線208を境界として、左右に利用者の像が分かれると、第1の制御部70は、自動的に写真撮影を行う。このように利用者の立つ位置を自然に左右に移動させることができるので、その後の画面との対応関係が自然になされる。なお、この場合も図16に示される場合と同様に、左画面用の枠内の顔の特徴量は、左画面に関連付けられ、右画面用の枠内の顔の特徴量は、右画面に自動的に関連付けられる。したがって、利用者はステップS126における利用者選択の受け付けを行う必要が無いので、簡単にかつ素早く利用者毎の補正を行うことができる。このような関連付けの自動化は、上記変形例に示す態様のほか、利用者の立ち位置の順番で自動的に決定するなど、利用者の顔の位置(または利用者の像の位置)に基づき、様々な態様で行うことができる。
また、上記図11から図13まで、図16、または図17に示されるような画像表示を行うことなく、上記関連付けが自動的に行われる構成も考えられる。例えば、上記全身撮影画像を取得するのではなく、リアルタイム表示を行うためのスルー画像データに基づき利用者の顔認識を行い、利用者の位置に応じて各利用者と撮影操作用タッチパネル20L,20Rとを関連づける。具体的には、利用者が3人以上の場合、各利用者が立つ位置に応じて左右の2つのグループに分け、左側のグループに属する利用者(の顔の像)を撮影操作用タッチパネル20Lに、右側のグループに属する利用者(の顔の像)を撮影操作用タッチパネル20Rにそれぞれ関連づける。また、利用者の立つ位置とは異なる、所定の条件(例えば顔認識により判別される性別や顔の特徴など)に基づき、上記関連付けがなされてもよい。このような動作は、タッチパネルの個数が3つ以上であっても同様である。
さらに、利用者が3人以上の場合には、スルー画像データに基づき、撮影操作用タッチパネル20L,20Rのうちの少なくとも一方の画面を複数に分割する構成も考えられる。このような動作は、タッチパネルの個数が3つ以上であっても同様であり、1つの場合にも利用者の人数に等しい操作画面を表示すればよい。
なお、上記各関連付けは利用者の操作に基づくものではなく、利用者の意思とは無関係に行われる。そのため、上記関連付けの後で、利用者が操作入力に適した位置に移動しなければならないこともあるが、例えば「この顔の人は左(または、右)の画面を操作してね」等の利用者の顔画像を含む案内画面を表示してやることでその問題は解決できる。
<4.2 第2の変形例>
上記実施形態では、図2に示すように、撮影操作用タッチパネル20L,20Rのそれぞれの画面で表示および操作入力がなされる構成であるが、図18に示されるように撮影操作用タッチパネル20が1つであって、2画面で表示される構成であってもよい。
図18は、撮影ユニット3の変形例を示す正面図である。図18に示されるように、撮影操作用タッチパネル20Cが1つだけ設けられており、この撮影操作用タッチパネル20Cは、左右に同じ大きさの2つの画面を表示する。この構成では、ソフトウェアによって、2つの操作画面を表示し、それぞれの画面において異なる入力を受け付ける構成であるが、2つの画面を表示する場合には上記実施形態とほぼ同様に動作する。しかし、利用者は必ずしも2人ではないため、利用者が3人以上の場合には、上記実施形態では少なくとも同じ大きさの3つの操作画面を表示することが困難となる。しかし、本第2の変形例の構成では、利用者の数に応じて自由に操作画面の数を変更することができる。例えば、利用者が2人から3人になった場合には、撮影操作用タッチパネル20Cの表示画面を2分割から3分割に変更することにより、3つの操作画面を得ることができ、利用者が2人から1人になった場合には、表示画面を分割せずそのまま操作画面を表示するよう変更すればよい。この構成では、第1の制御部70は、入力受付手段の数を変更する入力制御手段として機能する。このように、本第2の変形例では、利用者の数に適した操作画面を提供し、補正対象決定処理を行わせることができる。
また、この第2の変形例の構成を2つの撮影操作用タッチパネルを備える上記実施形態に適用する場合、利用者の人数が奇数であれば、同じ大きさの操作画面を表示することが困難ではあるが、利用者の人数に応じた操作画面を表示することは上記実施形態の構成においても可能である。例えば、利用者が3人である場合には、撮影操作用タッチパネル20L,20Rのうちの一方の画面を2つに分割することにより、合計3つの操作画面を得ることができる。
さらに、利用者の数と操作画面の数とを同じにすることは必須ではなく、利用者の数よりも操作画面の数が少ない構成であっても、上記実施形態と同様に補正を行うことは可能である。もっとも、この構成では、1つの画面で2人以上の利用者の像を選択することになるため、全ての利用者の嗜好を反映した補正を行うことはできない。しかし、少なくとも操作画面の数だけ異なった態様の補正を(当該画面において選択した利用者の像に対して)行うことができるので、或る程度利用者の嗜好を反映した補正を素早く行うことができるという効果が得られる。
なお、上記複数の操作画面は、撮影操作用タッチパネル20Cの表示画面を分割する形態での画面例で説明したが、この操作画面の形状はどのようなものであってもよく、例えば一般的なウィンドウ画面のように表示面より小さい矩形形状や、吹き出しのような形状などであってもよい。この場合にも利用者の数より当該操作画面の数が少ない構成であってもよいが、どの操作画面にどの利用者が対応するかを(図形の形状や説明などで)明示する構成が好ましい。
また、前述したように上記補正態様の設定は、必ずしも撮影の最初に行われてなくてもよく、撮影の途中で、一度または何度も行われる構成であってもよい。さらに、撮影される人数(すなわち撮影画像に含まれる利用者の像の数)が変更される場合も考えられる。この場合には、撮影画像に含まれる利用者の像の数に応じて、上記操作画面の数や形状、位置などを適宜に変更する構成が好ましい。また、撮影が終了した後に、当該撮影により得られる複数の撮影画像の1つ以上に対して、上記のような補正態様の設定を受け付けるための操作画面を表示する構成であってもよい。この構成では、撮影終了直後から出力処理が開始される前までの間に上記操作画面を表示する構成であってもよく、例えば落書き編集中に編集ユニット4の編集操作用タッチパネル400において上記操作画面が表示される構成であってもよい。この操作画面において補正態様が設定された後、各利用者の顔の認識を行なえば、各撮影画像における各利用者の像に対して個別に補正をかけることができる。また、複数の撮影画像のうちの1つではなく、その一部または全部に対して上記操作画面による補正態様の設定を受け付ける構成であればよい。
次に、上記変形例の構成において、撮影画面において利用者毎に補正態様の選択操作を受け付けるための補正選択受付画面例が表示される例について、図19および図20を参照して説明する。なお、以下の画面例は、利用者の像を含む撮影画像が表示されるが、この撮影画像が静止画像であってもスルー画像であってもよいことについては前述したとおりである。
図19は、利用者毎の操作入力画面を含む撮影画面の一例を示す図である。図19に示されるように、撮影操作用タッチパネル20Cには、通常撮影時と同様のリアルタイムプレビュー領域201と、このリアルタイムプレビュー領域201内に2人の利用者の像と、一方の利用者の左上に当該利用者による補正態様の選択操作を受け付けるための左補正選択受付ウィンドウ209Lと、他方の利用者の右上に当該利用者による補正態様の選択操作を受け付けるための右補正選択受付ウィンドウ209Rと、OKボタン205とが表示されている。
これら左補正選択受付ウィンドウ209Lおよび右補正選択受付ウィンドウ209Rには、図14に示される補正選択受付画面例と同様に、それぞれ補正態様を選択するための複数の補正態様決定ボタンが表示されており、それぞれの利用者によって同様に押下され、補正態様の設定状態(パラメータの設定)を行うことができる。第1の制御部70は、上記設定が行われたウィンドウ画面に対応する利用者の像と、設定されたパラメータの値とを関連付けて記憶する。第1の制御部70は、このように各利用者の(顔の)像と、補正態様の設定状態の入力を含む操作入力とを関連づける関連付け手段として機能する。また、設定された補正態様は、当該補正選択受付画面に表示される利用者の像に必ずしも反映される必要はないが、ここでは反映されるものとする。
このように、利用者毎に補正選択を受け付けるウィンドウ画面を表示することにより、各利用者が好む設定を行うことができるとともに、各利用者が当該ウィンドウ画面を確認することにより、自らの設定状態(補正状態)を確認しやすくすることができる。
なお、この図19では利用者は2人である例を示しているが、3人以上であってもよく、その場合には、それぞれの利用者の像に対応した位置(例えば頭上の適宜に離れた位置)に同様のウィンドウ画面が表示され、同様に補正態様を設定することができる。
図20は、利用者毎の操作入力画面を含む撮影画面の別例を示す図である。この図20に示されるように、撮影操作用タッチパネル20Cには、通常撮影時と同様のリアルタイムプレビュー領域201と、このリアルタイムプレビュー領域201内に2人の利用者の像と、それぞれの利用者の像の胸部位置近傍において撮影モード選択ウィンドウ219L,219Rと、OKボタン205とが表示されている。
これらの撮影モード選択ウィンドウ219L,219Rは、撮影モードの選択、例えば画質(ここでは、柔らかなふんわりとした画質、または透明感のあるクールな画質のうちのいずれか)を選択するための、利用者による補正態様の選択操作を受け付ける。
なお、この撮影モード選択ウィンドウ219L,219Rの表示位置は例示であって、利用者に対応するどの位置に表示されてもよいが、利用者との関連性(対応関係)が容易に判別可能な位置に表示することが好ましい。そうすれば、各利用者が当該ウィンドウ画面を確認することにより、自らの設定状態(補正状態)をより確認しやすくすることができる。
<4.3 第3の変形例>
上記実施形態では、顔認識処理を行うことにより、利用者の顔の特徴量と画面との対応関係を関連付ける構成であるが、画面と利用者との対応関係を特徴量を使用することなく、すなわち顔認識処理を使用することなく行う構成も考えられる。
例えば、補正対象となる利用者を撮影画像全てにおいて利用者に選択させる構成であれば、自動的に補正対象となる利用者像を決定することはできないものの、撮影画像毎に補正態様を決定する必要は無いため、素早く各撮影画像に含まれる利用者毎に補正を行うことができる。
また、撮影画像において左側に立つ人(または右側に立つ人)は全て同一の利用者であると仮定するなど、撮影画像における利用者像の位置に基づき、利用者の顔を認識することなく利用者を自動的に決定する構成も考えられる。この場合には、各撮影画像において利用者による利用者像の選択の必要もないため、利用者が素早く補正を行うことができるとも言える。ただし、遊戯用撮影装置では、利用者の位置が入れ替わるなど撮影画像毎に変化することが多いため、顔認識処理によって正しく利用者を識別する構成がより好ましい。
なお、顔認識処理のうち、利用者の識別を行わず、利用者の像を認識する処理だけを行う場合であっても、顔領域を正確に他の領域と区別することができる。このような区別はクロマキー合成処理に基づき行うことはできるが、顔の部分だけを正確に区別するには、上記認識処理が好適である。このことから、画面と利用者との対応関係を特徴量を使用することなく行う構成において、利用者の識別を行わず、利用者の像を認識する処理だけを行う構成も考えられる。この構成によれば、重要な顔部分を(クロマキー合成処理を行うことなく)正確に判別することができる。
<4.4 その他の変形例>
本実施形態では、カメラ10が1つ設けられる構成であるが、2つ以上のカメラが設けられる構成であってもよく、例えば利用者の顔付近を拡大して撮影するアップ撮影用カメラと、利用者の全身から半身程度までの範囲を撮影する全身撮影用カメラとが設けられる構成であってもよい。この構成では、例えば補正対象決定処理に使用される撮影画像をアップ撮影用カメラで取得して補正態様の設定状態を決定し、決定された設定状態で全身撮影用カメラによって取得される撮影画像に対する補正を行うことが考えられる。またその逆であってもよい。さらに、アップ撮影用カメラによる補正対象決定処理に代えて、またはこれとともに全身撮影用カメラによる全員撮影を行い、全身撮影用カメラによって取得される撮影画像に対して好適な補正態様の設定状態を利用者の操作入力に基づき決定する構成であってもよい。例えば、全身撮影用カメラにより取得された撮影画像に対して足を長くしたり、体を細くするなどの態様で補正を行う構成であってもよい。
また本実施形態では、利用者の像の一部に対する色などの変更を行うものであるが、利用者の像に関連する撮影画像の一部に対して、所定の画像処理を行う構成であってもよい。例えば、利用者の像の周囲に所定の模様や色彩を有する帯状の付加画像(以下、「オーラ画像」という)を配置したり、利用者の顔領域の上方(すなわち頭の上)に帽子やリングなどを示す付加画像を配置する画像(合成)処理などが考えられる。例えば、オーラ画像を利用者の像の近傍に配置する場合、利用者は撮影操作用タッチパネル20L,20Rにおいてそれぞれの利用者の顔の像に対応する付加画像の内容を指定する操作入力を受け付ける。そうすると、同一の利用者の像の周囲に、指定されたオーラ画像が配置される、という画像処理がなされる。なお、全ての撮影画像に含まれる同一の利用者の像の周囲に同一のオーラ画像が配置される必要はなく、例えばオーラ画像の種類を指定する操作入力が受け付けられ、受け付けられた当該種類に基づき(予め定められた順にまたはランダムに選ばれた)オーラ画像が撮影画像それぞれに配置される構成などが考えられる。またオーラ画像とは異なるスタンプ画像などの画像が利用者の像から所定の距離だけ離れた位置に配置される構成であってもよい。また、画像処理の対象となる撮影画像の一部と利用者の像との関連は(上述した周囲や近傍などの)位置関係に限定されるわけではなく、所定の対応関係が存在すれば足りる。
さらに本実施形態では、撮影画像に対する補正は、画像の一部に対する色および形状のうち少なくとも一方の変更を行うものであるが、画像に対する変更処理ではなく、当該変更に相当する2回目以降の撮影における撮影環境を変更する構成であってもよい。例えば、利用者の肌を白くする補正を行う場合フラッシュの光量を大きくし、利用者の肌を黒くする補正を行う場合にはフラッシュの光量を小さくする構成や、カメラ10に対して適宜の色や補正効果を付与する周知の光学フィルタ板を(選択的に適用可能に)設ける構成、図示されない所定色の専用光源の光を照射する構成などが周知の様々な構成が考えられる。このような撮影環境の変更によって、全員撮影画像に対して周知の画像処理手法を用いて行われた補正態様と同様の補正結果を、その他の撮影画像に対する上記画像処理手法を用いることなく実現することができる。
また本実施形態のステップS120において、利用者は、撮影モードの選択、例えば画質(具体的にはコントラストが高いくっきりとした画質、柔らかなふんわりとした画質、または透明感のあるクールな画質のうちのいずれか)を選択し、明るさを選択するといった補正態様の選択を行ってもよい。
さらに、図11および図15に示されるように、顔位置ガイド206は、2人の利用者によって使用されることが予定される形状で表示されるが、前述したように予め利用者の人数を選択させるための利用者による操作入力を受け付けておくことにより、利用者の人数に応じた形状(例えば人数分の枠を有する形状)の顔位置ガイド206を表示させることができる。また、前述した顔認識処理などの周知の手法によれば、利用者によって人数を選択させることなく、利用者の人数に応じた顔位置ガイド206を自動的に表示させることもできる。
また、上述の落書き編集を行う際に、確定されたパラメータの値に応じて変更された複数の落書き対象画像のうちの1つ以上を、確定されたパラメータの値に応じて変更される前の元の状態に個別に(例えば目の形などの補正態様毎に)または一括して戻すことが可能な構成であってもよい。このような構成は、例えば(パラメータ毎の)変更を行う前の各画像を記憶することなどによって容易に実現できる。また、各パラメータの値を個別にまたは一括して再設定する操作入力を受け付け、再設定されたパラメータ値に応じて変更を行う構成であってもよい。なお、複数の落書き対象画像を元の状態に戻す等の上記処理を行う際には、当該複数の落書き対象画像すべてを一括して変更するようにしてもよいし、対象となる落書き対象画像を指定して変更するようにしてもよい。また、落書き対象画像に含まれる利用者ごとに変更を行う構成であってもよい。さらに上記の各構成は、落書き編集処理前や、撮影処理中に適用されてもよい。
さらにまた上記顔認識処理は、補正の前に行われればよいので、上記のようにリアルタイム表示を行うためのスルー画像データに基づいて行われてもよいし、上記顔認識処理のための(静止画)撮影を断続的に行う構成であってもよい。
また、撮影操作用タッチパネル20L,20Rのそれぞれにおいて、利用者による背景画像の選択操作を受け付ける際に、前述したように撮影テーマ毎に対応づけられた各背景画像を撮影操作用タッチパネル20Lと、撮影操作用タッチパネル20Rとにおいて全く同じ内容で(すなわち選択対象が共通するよう)表示し、撮影操作用タッチパネル20L,20Rのうち、一方で先に選択された画像に(いわば早い者勝ちの形で)確定させてもよい。そうすれば、素早く背景画像を決定することができ、また(競争のように)遊戯性を高めることもできる。
さらに各画面で異なるテーマ(および背景画像)を表示することにより、選択操作の内容を分担させてもよい。例えば、6つの撮影テーマのうち前半を撮影操作用タッチパネル20Lに、後半を撮影操作用タッチパネル20Rにそれぞれ表示し、各利用者の選択を受け付ける構成であってもよい。そうすれば、作業が分担されることにより、素早く背景画像を決定することができる。なお、これらの選択対象は、背景画像以外の選択項目、例えば撮影方法や補正態様を決定するための選択項目に対しても同様に適用することができ、上記のような効果を得ることができる。
さらにまた、撮影操作用タッチパネル20L,20Rのそれぞれにおいて、利用者に関連する情報をそれぞれ受け付ける構成であってもよい。例えば、利用者の個人的な情報をそれぞれの画面で受け付け、受け付けられた情報に基づき、落書き時に使用されるスタンプ画像をそれぞれ生成する構成などが考えられる。
また、撮影操作用タッチパネル20L,20Rに代えて、落書きのためのGUI表示手段として機能する編集操作用タッチパネル400(第2および第3の表示・操作部81,82)または印刷の際の入力受付手段として機能する出力操作用タッチパネル30(第4の表示・操作部91)が2つの画面に分かれており、そのそれぞれにおいて、利用者の像を補正するためのパラメータ(などの利用者に関連する情報)をそれぞれ受け付ける構成であってもよい。
<5.効果>
以上のように上記実施形態または上記変形例(以下、単に「本実施形態」という)の遊戯用撮影装置は、撮影操作用タッチパネル20L,20Rにおけるそれぞれの操作画面で、受け付けられる(ここでは補正態様の決定などの)操作入力と、顔認識されることにより識別される複数の利用者の顔の像とを関連付けるので、例えば画像処理の態様を指定する操作入力を撮影画像毎に行うことなく、限られた時間内に簡単に対象となる複数の利用者の顔の像と操作入力との関連付けを利用する(ここでは画像の補正を行う)ことにより、各利用者の意図を各撮影画像に対して反映させることができる。
また、本実施形態によれば、図9に示すステップS125において、全員撮影画像に対して顔認識処理を行うことにより各利用者の顔の特徴量を算出し、その後に取得される撮影画像に含まれる同一または近似する特徴を示す量を有する利用者の顔の像に対して、関連付けられた補正態様で変更がそれぞれ行われるように、図15に示すステップS162において、補正対象となる利用者の像における特徴量を算出する。このように顔の特徴量に基づき、限られた時間内に(したがって素早く)簡単に補正対象となる複数の利用者と補正内容とを関連付けた補正を行うことができる。
さらに、本実施形態によれば、図9に示すステップS126において、撮影操作用タッチパネル20L,20Rにおけるそれぞれの操作画面に表示される利用者の像が利用者に選択され、ステップS127における補正態様の設定が行われる画面との対応付け処理が顔の特徴量に基づきなされるので(S128)、顔の特徴量に基づき補正対象となる利用者と補正内容とを関連付けた補正を素早く簡単に行うことができる。
また、本実施形態によれば、図16または図17に示されるように、顔の特徴量と、全員撮影画像に含まれる各利用者の顔の像の位置とに基づき、利用者毎に補正内容と関連付けた補正を素早く簡単に行うことができる。
さらに、本実施形態によれば、クロマキー合成処理により、簡単に利用者の像を抽出することができるので、上記補正を簡単な構成で行うことができる。
また、本実施形態の変形例によれば、撮影操作用タッチパネル20L,20Rのそれぞれにおいて、選択対象となる背景画像が共通的に表示され、最も早く受け付けられる操作入力により選択された画像を背景画像として確定する。そうすれば、素早く背景画像を決定することができ、また(競争のように)遊戯性を高めることもできる。
さらに、本実施形態の変形例によれば、撮影操作用タッチパネル20L,20Rのそれぞれにおいて、選択対象となる背景画像が異なるように(すなわち選択対象が分担されるように)表示され、各利用者の選択が受け付けられる。そうすれば、作業が分担されることにより、素早く背景画像を決定することができる。
また、本実施形態によれば、撮影操作用タッチパネル20L,20Rのように、表示装置が複数設けられることにより、複数の利用者による個別の操作入力を受け付けることができ、補正を素早く簡単に行うことができる。
さらに、本実施形態によれば、利用者と同数の画面が設けられることにより、全ての利用者による個別の操作入力を受け付けることができ、利用者の嗜好を反映した補正を素早く簡単に行うことができる。
<6.付記的構成>
なお、本実施形態において、
上記撮影手段は、上記複数の利用者全員の顔の像を含む全員撮影画像を取得し、
上記複数の入力受付手段は、上記複数の画面それぞれにおいて、上記全員撮影画像に含まれる一人以上の利用者の顔の像を各画面で異なるように指定する操作入力を受け付け、
上記画像処理手段は、上記複数の撮影画像に含まれる顔の像であって、上記操作入力により指定される利用者の顔の像と同一または近似する上記特徴を示す量を有する利用者の顔の像に対して、上記利用者の顔の像を指定する操作入力を受け付けた画面と同一の画面において受け付けられた操作入力によって指定された態様で、上記画像処理を行うことを特徴とする、遊戯用撮影装置の構成も考えられる。
また、本実施形態において、
上記撮影手段は、上記複数の利用者全員の顔の像を含む全員撮影画像を取得し、
上記画像処理段は、上記特徴を示す量と、上記全員撮影画像に含まれる上記各利用者の顔の像の位置とに基づき、上記複数の画面のそれぞれに各画面で異なるように上記特徴を示す量を対応付けた後、上記複数の撮影画像に含まれる顔の像であって、上記対応付けられた特徴を示す量と同一または近似する上記特徴を示す量を有する利用者の顔の像に対して、上記特徴を示す量と対応付けられた画面と同一の画面において受け付けられた操作入力によって指定された態様で、上記画像処理を行うことを特徴とする、遊戯用撮影装置の構成も考えられる。
さらに、本実施形態において、
上記複数の入力受付手段は、上記抽出手段により抽出される利用者の像に対して背景として合成されるべき背景画像を予め用意された複数の候補背景画像から選択する操作入力を、上記複数の画面それぞれにおいて受け付け、
上記表示手段は、前記操作入力を受け付け可能なように、上記複数の候補背景画像を上記複数の画面において共通的に表示し、
上記画像処理手段は、上記複数の画面のうち最も早く受け付けられる操作入力により選択される候補背景画像を上記背景画像として上記利用者の像に対して合成することを特徴とする、遊戯用撮影装置の構成も考えられる。
さらにまた、本実施形態において、
上記複数の入力受付手段は、上記抽出手段により抽出される利用者の像に対して背景として合成されるべき背景画像を予め用意された複数の候補背景画像から選択する操作入力であって、上記複数の画面それぞれにおいて異なる撮影画像に対して合成されるべき背景画像を選択する操作入力を受け付け、
上記表示手段は、前記操作入力を受け付け可能なように、上記複数の候補背景画像を上記複数の画面においてそれぞれ異なるように表示し、
上記画像処理手段は、上記複数の画面においてそれぞれ受け付けられる操作入力により選択される候補背景画像を上記背景画像として上記利用者の像に対して合成することを特徴とする、遊戯用撮影装置の構成も考えられる。