まず、本実施形態に用いる写真シール作成装置1について図1から図6を用いて説明する。
なお、図1は写真シール作成装置1における上方からの外観斜視図を示し、図2は前部ユニット110における利用者と対面する前部ユニット正面図を示し、図3は撮影空間Sa内における側面視からの撮影空間側面図を示し、図4は編集ユニット200における正面視からの編集ユニット正面図を示し、図5は編集ユニット200における側面視からの編集ユニット側面図を示し、図6は写真シール作成装置1における利用者の移動空間を説明する説明図を示している。
また、図1において、図中の右方向を写真シール作成装置1の前方とし、図中の左方向を写真シール作成装置1の後方とする。
写真シール作成装置1は、図1に示すように、筐体2に撮影ユニット100、及び編集ユニット200を組み付けて構成している。
撮影ユニット100は、利用者が硬貨を投入して実際に撮影する、所謂、撮影ブースである。そして、撮影ユニット100は、利用者と対面する前部ユニット110、前部ユニット110に対して前後方向に所定の間隔を介して配置した後部ユニット120、前部ユニット110と後部ユニット120との前後方向略中央において上部に配置した天井ストロボユニット130、及び後部ユニット120の上部に配置した背景カーテンユニット140とで構成している。
さらに、この前部ユニット110、後部ユニット120、天井ストロボユニット130、及び背景カーテンユニット140で囲まれた空間を撮影空間Saとして構成している。
前部ユニット110は、写真シール作成装置1の略中央に配置して、利用者が対面して撮影を行う機能を有するユニットである。
この前部ユニット110の利用者と対面する面は、図2に示すように、略中央にカメラ111、タッチパネルモニタ112、及びカメラ上部ストロボ113を配置し、その周囲に傘状ストロボ114(114a〜114c)を配置するとともに、タッチパネルモニタの下方に箱状ストロボ115(115a、115b)を配置して構成している。
さらに、前部ユニット110の箱状ストロボ115の両サイドに利用者の荷物を一時的に置く荷物置き場116を配置して構成している。なお、向かって右側の荷物置き場116の下部には、利用者が投入する硬貨の受け付け及び返却の機能を有する硬貨投入返却口117、及び撮影にかかる音声案内を出力するスピーカ118を備えている。
カメラ111は、撮影空間Sa(後部ユニット120)に向けて配置して、撮影空間Saで前部ユニット110と対面する利用者を撮影する機能を有している。
タッチパネルモニタ112は、カメラ111の下部に配置して、カメラ111で撮影する利用者の映像を表示する機能、利用者の各種操作を受け付ける機能、及び後述する異常通知画面や画角調整画面などの異常の通知や各種設定画面を表示する機能を有している。
カメラ上部ストロボ113は、カメラ111の上部に配置して、撮影のタイミングに合わせて発光する機能を有している。
傘状ストロボ114は、撮影空間Saに向けてカメラ111の左右両側に配置した中段傘状ストロボ114a、及び114bと、撮影空間Saに向けてカメラ111の上方に配置した上段傘状ストロボ114cとで構成し、撮影のタイミングに合わせて発光する機能を有している。
箱状ストロボ115は、タッチパネルモニタ112の下部から後方斜め下方に傾斜するとともに、光源の光を透過する傾斜ストロボ面115aと、傾斜ストロボ面115aの先端から垂設するとともに、光源の光を透過する足元ストロボ面115bとを有する略箱状に形成している。そして、箱状ストロボ115は、撮影タイミングにあわせて発光し、発光した光が傾斜ストロボ面115aを介して利用者を下方から照らし、足元ストロボ面115bを介して利用者の足元を照らす機能を有している。
なお、箱状ストロボ115の傾斜ストロボ面115aがタッチパネルモニタ112の直下にあるので、利用者は、カメラ111を覗き込むようにして撮影することが難しく、カメラ111に対して適度に離れて撮影することとなる。これにより、カメラ上部ストロボ113、傘状ストロボ114、及び箱状ストロボ115の照明範囲外で、利用者が撮影することを防止でき、利用者がアップで撮影する場合において、利用者の顔が照明されず明るさの暗い撮影画像になることを防止できる。
また、後部ユニット120は、図3に示すように、前部ユニット110に対面するとともに、撮影空間Saを挟んで写真シール作成装置1の後部に配置している。この後部ユニット120は、利用者Mが実際に撮影する際の背景としての機能を有するユニットである。
天井ストロボユニット130は、図3に示すように、筐体の上部において前後方向略中央に載置された基板部131、基板部131を下方から覆うカバー部132、及び基板部131とカバー部132とで形成される空間内において基板部131に配置した照明灯133並びにストロボ部134で構成し、撮影空間Saを照明する機能と、撮影タイミングに合わせて発光する機能とを有している。
背景カーテンユニット140は、図3に示すように、後部ユニット120における撮影空間Sa側の壁面Wと利用者Mとの間において、モータ駆動(図示省略)によって昇降するロール状の背景カーテン141を内部に収容している。この背景カーテン141は、単一色のカーテンであって、撮影空間Saの床面Fに布設可能な長さを有しており、クロマキー合成による合成画像を撮影する際の背景として機能する。
また、編集ユニット200は、図1に示すように、前部ユニット110の前方に隣接して配置して、利用者が撮影した画像に対してフレーム画像やスタンプ画像、文字入力による落書きなどの編集作業を行う機能と、デモ画面等を表示する機能を有している。
具体的には、編集ユニット200は、図4から図6に示すように、利用者が写真シール作成装置1の右側から入場して編集作業を行う第1編集部200aと、利用者が写真シール作成装置1の左側から入場して編集作業を行う第2編集部200bとが、左右方向で互いに異なる方向に向けて配置した構成となっている。すなわち、編集ユニット200は、2組の利用者が同時に撮影画像に対して落書きなどの編集作業を行うことができる構成となっている。
さらに、編集ユニット200は、図6に示すように、第1編集部200aの正面において利用者が操作して編集作業ができる編集空間Sbが形成され、第2編集部200bの正面において利用者が操作して編集作業ができる編集空間Scが形成される大きさに構成している。
この第1編集部200aと第2編集部200bは、互いに異なる方向に向けて配置している点を除けば、同一の構成であることから、ここでは第1編集部200aについて詳述し、第2編集部200bの詳しい説明は省略する。
なお、編集ユニット200の構成要素のうち、第1編集部200aの構成要素の符号を「a」とし、第2編集部200bの構成要素の符号を「b」として識別する。
この第1編集部200aは、図4に示すように、上部照明装置201、及び編集部202で構成している。
上部照明装置201は、利用者が編集部202で編集作業を行う際の手元を照らす機能を有し、第1編集部200aの上部に設置している。
編集部202は、撮影した画像を表示する機能と、利用者が落書きなどの編集作業を受け付ける機能とを有するタブレット内蔵モニタ203と、操作案内などの音声を出力するスピーカ204と、編集作業に用いる1対のタッチペン205とで構成している。
また、編集ユニット200の編集部202を正面として向かって右側面には、図5に示すように、写真シール排出口206、及び事後接客ユニット210を備えている。
写真シール排出口206は、利用者が第1編集部200aあるいは第2編集部200bで編集した撮影画像を印刷したシール紙333を排出する機能を有し、編集ユニット200側面の下方に設置している。なお、写真シール排出口206の内部には、後述するプリンタ331とシール紙ユニット332とを内蔵している。
事後接客ユニット210は、編集ユニット200の右側面上部に配置し、タッチパネルモニタ211、及びスピーカ212で構成している。
タッチパネルモニタ211は、シール紙333の排出を待つ利用者に対して広告を表示する、任意のメールアドレスに送信する撮影画像や編集画像を選択許容するとともに、メールアドレスを入力許容する画像送信画面(図示省略)を表示する、あるいはタッチ操作によるゲームなどを表示する機能を有している。
スピーカ212は、シール紙333の排出を利用者に知らせる、あるいはタッチパネルモニタ211の表示される画面に対応した音声を出力する機能を有している。
次に、上述した写真シール作成装置1の内部構成について図7を用いて説明する。
なお、図7は写真シール作成装置1における内部構成のブロック図を示し、すでに上述した構成要素と同じ構成要素については、同じ符号を付しているので、その詳しい説明は省略する。
写真シール作成装置1の内部構成は、図7に示すように、制御装置301、記憶部302、通信部303、ドライブ304、ROM306、RAM307、撮影部310、編集部320、及び事後接客部330で構成している。
制御装置301は、各部の動作の制御、プログラムの実行処理、撮影画像と背景用画像とをクロマキー合成して合成画像を取得する背景合成処理、及び撮影画像と前景用画像とを合成して合成画像を取得する前景合成処理などを行う機能を有している。
記憶部302は、ハードディスクなどの記憶装置で構成している。この記憶部302は、編集処理に使用する編集ツールのデータ、照明設定データ、撮影コースのデータ、背景用画像や前景用画像などの画像データ、事後接客処理のデータ、およびプレイ時間設定データなどの各種データを記憶しており、制御装置301による設定情報の読み込みおよび保存を許容する。
通信部303は、インターネットなどの通信網を介してサーバ等の適宜の装置と通信するLANカード等の通信装置で構成している。この通信部303は、制御装置301の制御信号に従って、撮影画像や編集画像をサーバのデータベースに登録する、あるいは利用者のメールアドレスへ撮影画像や編集画像を送信するといった動作を行う。
ドライブ304は、携帯型の不揮発性メモリやUSBメモリといったリムーバブルメディア305に対してデータの読み書きを行うドライブ装置で構成している。このドライブ304は、制御装置301の制御信号に従って、撮影画像や編集画像を利用者の所有するリムーバブルメディア305に書き込み、またリムーバブルメディア305に記憶している撮影画像や編集画像、あるいは編集用アイテムといったデータを読取る。
ROM306は、写真シール作成装置1で実行するゲームのプログラムやメンテナンス用のプログラムなど、各種プログラムやデータを記憶している。ゲームのプログラムには、撮影コースに応じて照明設定や編集ツールを切り替えるプログラムや事後接客のプログラムが含まれている。
RAM307は、制御装置301によって一時記憶領域として使用される。
また、撮影部310は、撮影ユニット100の機能ブロックであり、硬貨処理部311、背景制御部312、照明装置313、カメラ111、タッチパネルモニタ112、及びスピーカ118で構成し、それぞれ所定のバスを介して制御装置301と接続している。
硬貨処理部311は、制御装置301の指示により硬貨の投入を受け付ける処理と、硬貨投入返却口117で受け付けた硬貨の種類、枚数を識別して、識別結果を制御装置301に送信する処理を行う。
背景制御部312は、制御装置301から受信した背景制御信号に従って背景カーテンユニット140を制御し、背景カーテン141を昇降させて背景色を制御する。
照明装置313は、制御装置301から受信した照明制御信号に従い、カメラ上部ストロボ113、傘状ストロボ114、箱状ストロボ115、及び天井ストロボユニット130を撮影タイミングにあわせて発光して撮影空間Sa内を照明する。
タッチパネルモニタ112のライブビューモニタ112aは、カメラ111で撮影する利用者をリアルタイム表示する機能を有している。
また、編集部320は、第1編集部200aの機能ブロックである第1編集部320aと、第2編集部200bの機能ブロックである第2編集部320bとで構成している。なお、第1編集部320aと第2編集部320bとは同一の構成であり、ここでは第1編集部320aを用いて詳述する。
第1編集部320aは、タブレット内蔵モニタ203、1対のタッチペン205、及びスピーカ204で構成し、それぞれ所定のバスを介して制御装置301と接続している。
タブレット内蔵モニタ203は、編集用モニタ323aと、タブレット323bとで構成している。
編集用モニタ323aは、制御装置301の指示により、撮影画像やデモ画面及び広告などを表示する。
タブレット323bは、利用者がタッチペン205を用いてタブレット内蔵モニタ203をタップすると、タッチペン205がタップした位置情報を取得して、制御装置301に位置情報を送信する。
また、事後接客部330は、編集ユニット200で編集した編集画像をシール紙333に印刷するプリンタ331、事後接客ユニット210の機能ブロックであるタッチパネルモニタ211、及びスピーカ212で構成している。
プリンタ331は、制御装置301から受信する印刷データを、シール紙ユニット332に備えられているシール紙333に印刷する、及び印刷したシール紙333を写真シール排出口206に排出する。
タッチパネルモニタ211の事後接客用モニタ211aは、制御装置301の指示により、デモ画面、広告画面、タッチパネルを利用したゲーム画面、及び後述するエラーメッセージ画面などを表示する。さらに、タッチパネルモニタ211は、利用者がモニタ上をタップした位置情報を取得して制御装置301に位置情報を送信する。
次に、写真シール作成装置1における写真シール作成ゲーム処理の動作について図8、及び図9を用いて説明する。
なお、図8は写真シール作成装置1の制御装置301が実行する写真シール作成ゲーム処理の動作のフローチャートを示し、図9は待機状態に表示する待機画面10を示している。
まず、写真シール作成装置1の制御装置301が、図8に示すように、写真シール作成ゲーム処理を開始すると、制御装置301の指示により、撮影ユニット100のタッチパネルモニタ112は、図9に示すような待機画面10を表示する(ステップS401)。
この待機画面10には、図9に示すように、「コインを投入してね!コインを投入するとゲームが始められるよ!」という案内メッセージを表示している。
そして、写真シール作成装置1は、硬貨投入返却口117に硬貨が投入されたか否かを判定する(ステップS402)。硬貨投入返却口117に硬貨が投入されなければ(ステップS402:No)、制御装置301は、処理をステップS401に戻して硬貨が投入されるまで待機する。
一方、硬貨投入返却口117にゲーム料金分の硬貨が投入されると(ステップS402:Yes)、制御装置301は、撮影処理を実行する(ステップS403)。
この撮影処理の際、制御装置301は、カメラ111で取得している動画映像をライブビューモニタ112aにリアルタイム表示して利用者にポーズをとらせる。また、制御装置301は、利用者に選択させた撮影コースに応じて、背景用画像や前景用画像などの合成用画像と撮影中の動画映像を合成した合成動画像をライブビューモニタ112aに表示する。これにより、利用者は、仕上がりイメージを確認しながらポーズを取ることができる。
なお、合成用画像に関して、制御装置301は、撮影コースに合った合成用画像を用いるか、撮影開始前に複数種類の合成用画像を選択可能にタッチパネルモニタ112に表示して利用者に選択させる。
制御装置301は、タッチパネルモニタ112の表示とスピーカ118による音声でカウントダウンを行い、このカウントダウンの終了タイミングで照明装置313に照明制御信号を送信すると共にカメラ111にシャッタ信号を送信する。これにより、照明装置313の各ストロボから閃光を照射し、照明された利用者が背景とともに写っている撮影画像をカメラ111により取得する。
なお、撮影処理を複数回繰り返して複数枚の撮影画像を取得する構成にすることが好ましい。
また、制御装置301は、取得した撮影画像から背景板や背景カーテン141などのクロマキーシートが写っている部分を切り落として利用者部分を取出し、この利用者部分の画像を選択された背景用画像の上に重ねるクロマキー合成を行って合成画像を作成する。このようなクロマキー合成を行うことで、撮影時のポーズにあった合成画像を作成することができる。
撮影終了後、制御装置301は、編集空間Sb、あるいはSc(図6参照)への移動案内処理を実行する(ステップS404)。詳述すると、制御装置301は、利用者に対して編集ユニット200の前にある編集空間Sb、あるいはScのいずれか一方への移動を促す案内画面をタッチパネルモニタ112に表示するとともに、音声による移動案内をスピーカ118に出力する。
そして、制御装置301は、利用者による撮影画像、あるいは合成画像の編集を許容する編集処理を実行する(ステップS405)。詳述すると、制御装置301は、撮影画像、あるいはステップS403で作成した合成画像を、タブレット内蔵モニタ203に表示し、撮影画像、あるいは合成画像に対して利用者がタッチペン205でアイコン画像や線画像などを描くことを許容し、編集画像を作成する。
その後、制御装置301は、事後接客空間Sd(図6参照)への移動案内処理を実行する(ステップS406)。詳述すると、制御装置301は、利用者に対して写真シール排出口206の前の事後接客空間Sdへの移動を促す案内画面をタブレット内蔵モニタ203に表示するとともに、音声による移動案内をスピーカ204に出力する。
さらに、制御装置301は、撮影画像、合成画像、あるいは編集画像に基づく印刷用画像をシール紙333に印刷する印刷処理を実行する(ステップS407)。詳述すると、制御装置301は、タブレット内蔵モニタ203で利用者に印刷レイアウトを選択させ、利用者に選択させた撮影画像、合成画像、あるいは編集画像を印刷レイアウトに配置して印刷用画像を作成し、この印刷用画像をシール紙333に印刷する。
そして、制御装置301は、シール紙333の排出を待つ利用者に対して、事後接客処理を実行する(ステップS408)。詳述すると、制御装置301は、デモ画面、広告画面、あるいは撮影画像または編集画像を任意の携帯端末に送信する処理、アンケート入力、ミニゲームなど、適宜の接客処理を実行して、タッチパネルモニタ211に表示する。
事後接客処理が終了すると、制御装置301は、シール紙333の排出処理を実行し(ステップS409)、印刷完了したシール紙333を写真シール排出口206から排出し、利用者に写真シールとして提供してゲームを終了する。このようにして、写真シール作成装置1により利用者の写真を、写真シールとして出力することができる。
以上のような構成で写真シール作成ゲームを行う写真シール作成装置1において、電源投入ごとに自動的に背景カーテン141の点検を行う処理動作について、図10から図20を用いて詳しく説明する。
なお、図10は起動時処理の動作のフローチャートを示し、図11は撮影環境の確認を開始する撮影環境確認開始画面11を示し、図12は背景カーテン点検処理の動作のフローチャートを示し、図13は背景空間の撮影を開始する撮影開始画面12を示し、図14は正常な状態の背景カーテン141を撮影した正常背景画像20と正常マスク画像21とを説明する説明図を示し、図15は異常のある状態の背景カーテン141を撮影した異常背景画像30と異常マスク画像31とを説明する説明図を示している。
また、図16は背景空間の状態を確認している背景空間確認中画面13を示し、図17は実施例1における色の閾値、及び閾値を説明する説明図を示し、図18は写真シール作成ゲーム処理への移行を通知するゲーム処理移行画面14を示し、図19は背景空間の異常を検知したことを通知する異常通知画面15を示し、図20は問合せ先を表示した問合せ画面16を示している。
まず、写真シール作成装置1の電源を投入すると、図10に示すように、写真シール作成装置1の制御装置301は、起動時処理を実行する。
起動時開始処理を実行すると、制御装置301の背景制御信号により、背景制御部312は、モータを駆動して背景カーテン141を下げて展開する(ステップS501)。この際、制御装置301の指示により、タッチパネルモニタ112は、図11に示す撮影環境確認開始画面11を表示する。
この撮影環境確認開始画面11には、図11に示すように、「筐体起動時の状態確認中です。撮影環境の状態確認を行います。背景空間の撮影を行いますので、人や物がカメラに写らないようにして下さい。」という案内メッセージを表示している。
撮影環境確認開始画面11を表示すると、制御装置301は、背景カーテン点検処理を実行する(ステップS502)。
詳述すると、制御装置301は、図12に示すように、利用者不在の撮影空間Sa、すなわち背景となる背景空間を被写体としてカメラ111で撮影する背景空間の撮影処理を実行する(ステップS601)。この際、制御装置301の指示により、タッチパネルモニタ112は、図13に示す撮影開始画面12を表示する。
この撮影開始画面12には、図13に示すように、「背景空間を撮影します。カメラに写らないようにして下さい。」という案内メッセージと、その下にカメラ111が取得している動画映像をリアルタイム表示する撮像枠12aと、撮像枠12aの右上に撮影するまでの時間をカウントダウンで表示する時間表示枠12bとを表示している。
カウントダウンが終了すると、制御装置301からのシャッタ信号により、カメラ111は、利用者不在の撮影空間Saを撮影して背景画像を取得する。
なお、本実施例では、背景画像の例として、図14(a)に示す正常背景画像20、及び図15(a)に示す異常背景画像30を用いて説明する。
正常背景画像20は、図14(a)に示すように、破れや汚れのない背景カーテン141が撮影空間Saの床面Fまで正常に展開された状態を撮影している。なお、正常背景画像20には、下端に床面Fと、下端両隅にストロボ光が届かず照明不足となった影部分20aとが写り込んでいる。
異常背景画像30は、図15(a)に示すように、破れや汚れのない背景カーテン141が床面Fまで下降せず、後部ユニット120の壁面Wが露出した状態を撮影している。なお、異常背景画像30における下端両隅には、正常背景画像20と同様に照明不足となった影部分30aが写り込んでいる。
背景画像を取得すると、制御装置301の指示により、タッチパネルモニタ112は、図16に示す背景空間確認中画面13を表示する。
この背景空間確認中画面13には、図16に示すように、「背景空間の状態を確認しています。」という案内メッセージと、「背景空間が正常状態の場合は、写真シール作成ゲーム処理の続行同意画面が表示されます。」という案内メッセージと、「背景空間が異常状態の場合は、背景空間再設定画面が表示されます。」という案内メッセージとを表示している。
その後、制御装置301は、背景画像の画素毎にRGB値を取得し、画素毎に色の閾値との比較判定を行う(ステップS602)。
この色の閾値は、正常な状態の背景カーテン141の色(色相、彩度、及び明度)をRGB値に変換した値にバラツキを考慮した所定の値を加味して設定したRGB値である。
具体的には、色の閾値は、図17(a)に示すように、RGB値におけるR値をRmin〜Rmax、G値をGmin〜Gmax、B値をBmin〜Bmaxの範囲に設定している。
背景画像における画素毎のRGB値の各要素(R値、G値、及びB値)が全て色の閾値内であれば(ステップS602:Yes)、制御装置301は、その画素を透過する透過処理を行う(ステップS603)。一方、背景画像における画素毎のRGB値の各要素が1つでも色の閾値の範囲外であれば(ステップS602:No)、制御装置301は、その画素を非透過とする非透過処理を行う(ステップS604)。
このようにして、制御装置301は、背景画像の全ての画素に対して、色の閾値との比較による透過処理、あるいは非透過処理を行う。その後、制御装置301は、透過した画素の一群を透過画素領域とし、非透過とした画素の一群を非透過領域として設定する。すなわち、背景画像における背景カーテン141は透過領域に置き換えられ、破れや汚れ、あるいは影部分などの背景画像における背景カーテン141以外の部分は非透過領域に置き換えられる。
そして、制御装置301は、背景画像を透過領域と非透過領域とに置き換えた画像、所謂マスク画像を作成したのち(ステップS605)、マスク画像における透過領域が占める割合を背景情報として算出する(ステップS606)。
例えば、図14(a)に示した正常背景画像20の場合、画素毎に上述の透過処理、非透過処理を行うと、図14(b)に示すように、正常背景画像20における背景カーテン141を示す透過領域22、及び正常背景画像20における床面Fと影部分20aとを一群で示す非透過領域23で構成される正常マスク画像21を取得する。なお、この正常マスク画像21における透過領域22は、全体の89%を占めているものとする。
また、図15(a)に示した異常背景画像30の場合、画素毎に上述の透過処理、非透過処理を行うと、図15(b)に示すように、異常背景画像30における背景カーテン141を示す透過領域32、及び異常背景画像30における床面F、壁面W、及び影部分30aとを一群で示す非透過領域33で構成される異常マスク画像31を取得する。なお、この異常マスク画像31における透過領域32は、全体の83%を占めているものとする。
マスク画像における透過領域が占める割合を算出すると、透過領域が占める割合と透過領域に対する閾値との比較判定を行う(ステップS607)。
この透過領域に対する閾値は、背景カーテン141の状態が正常な状態における透過領域が占める割合に、バラツキを考慮した所定の値を加味して設定した値である。
具体的には、透過領域に対する閾値は、図17(b)に示すように、マスク画像における透過領域が占める割合を87%〜100%に設定した値である。
マスク画像における透過領域が占める割合が閾値の範囲内であれば(ステップS607:No)、制御装置301は、背景カーテン141の状態が正常であると判定し、背景カーテン点検処理を終了する。
一方、マスク画像における透過領域が占める割合が閾値の範囲外であれば(ステップS607:Yes)、制御装置301は、背景カーテン141の状態が異常であると判定し、背景カーテン141の異常を検知したことを示すエラー情報を出力する(ステップS608)。その後、制御装置301は、背景カーテン点検処理を終了する。
例えば、上述した正常マスク画像21の場合、正常マスク画像21における透過領域22が占める割合が89%のため、制御装置301は、正常背景画像20を撮影した際の背景カーテン141の状態が正常であると判定する。一方、上述した異常マスク画像31の場合、異常マスク画像31における透過領域32が占める割合が83%のため、制御装置301は、異常背景画像30を撮影した際の背景カーテン141の状態が異常であると判定し、エラー情報を出力する。
背景カーテン点検処理を終了すると、図10のステップS502に戻り、制御装置301は、背景カーテン点検処理においてエラー情報が出力されたか否かを判定する(ステップS503)。エラー情報の出力がなければ(ステップS503:No)、制御装置301からの背景制御信号により、背景制御部312は、モータを駆動して背景カーテン141を巻き上げて収納する。
さらに、制御装置301は、写真シール作成ゲーム処理へ移行可能と判定し、図18に示すゲーム処理移行画面14を表示する。
このゲーム処理移行画面14には、図18に示すように、「写真シール作成ゲーム処理を続行可能です。この後、写真シール作成ゲーム処理のデモンストレーション画面が表示されます。」という案内メッセージと、画面の右上にデモンストレーション画面に移行するまでの時間をカウントダウン表示する時間表示枠14aとが表示されている。
カウントダウンが終了すると、制御装置301の指示により、タッチパネルモニタ112は、新規アイテムを紹介するアイテム紹介画面やゲーム操作を案内する案内画面を順に切り替えて表示したのち、図9に示した待機画面10を表示する(ステップS504)。その後、制御装置301は、起動時処理を終了する。
一方、エラー情報の出力があれば(ステップS503:Yes)、制御装置301は、写真シール作成ゲーム処理への移行を中止する(ステップS505)。さらに、制御装置301の指示により、タッチパネルモニタ112は、図19に示す異常通知画面15を表示する(ステップS506)。
この異常通知画面15には、図19に示すように、「背景空間に異常を検知しました。背景合成に必要な背景カーテンが正常な状態か確認して下さい。」という案内メッセージを画面上部に表示し、「背景カーテンに異常があれば、背景カーテンを正常な状態に復旧後、完了ボタンを押して下さい。」という案内メッセージと、「カーテンの汚れはありませんか?」、「カーテンの破損はありませんか?」、及び「カーテンの位置ズレはありませんか?」という案内メッセージとを画面中央に表示し、この案内メッセージに対応する完了ボタン15aが表示されている。さらに、画面下部には、「背景カーテンが正常にも関わらずエラーが出た場合や背景カーテンを正常化できない場合は、終了ボタンを押して下さい。」という案内メッセージと、これに対応する終了ボタン15bとが表示されている。
また、この際、制御装置301は、撮影ユニット100のスピーカ118、及び事後接客ユニット210のスピーカ212による音声案内と、タッチパネルモニタ211によるエラーメッセージ画面(図示省略)の表示によって背景カーテン141の異常検知を店員へ通知する。
異常通知画面15の案内メッセージに従って店員が背景カーテン141を確認し、背景カーテン141の清掃などを行ったのち完了ボタン15aを押下すると(ステップS507:Yes)、制御装置301の指示により、背景制御部312は、モータを駆動させ背景カーテン141を収容する。その後、制御装置301は、処理をステップS501に戻して再度、背景カーテン点検処理を実行する。
ステップS507において、店員が完了ボタン15aを押下せず(ステップS507:No)、終了ボタン15bを押下すると(ステップS508:Yes)、制御装置301の指示により、タッチパネルモニタ112は、図20に示す問合せ画面16を表示する(ステップS509)。
この問合せ画面16には、図20に示すように、「背景空間に異常を検知しました。写真シール作成ゲーム処理が続行できません。下記に連絡して下さい。」という案内メッセージと、連絡先の電話番号とを表示している。
その後、制御装置301は、起動時処理を終了する。
また、ステップS508において、終了ボタン15bが押下されなければ(ステップS508:No)、制御装置301は、処理をステップS507に戻し完了ボタン15a、あるいは終了ボタン15bのいずれかが押下されるまで待機する。
以上のような動作で背景カーテン141の点検を実現する写真シール作成装置1、及び写真シール作成装置1の背景カーテン点検方法は、背景カーテン141の状態を検知して、見栄えの良い写真シールを出力することができる。
具体的には、背景カーテン141の状態が破れや汚れがなく、かつ配置ズレなどの展開不良がない正常な状態を撮影した正常背景画像20には、ほぼ全域において背景カーテン141が撮影される。一方、背景カーテン141の状態が破れや汚れが生じている、あるいは配置ズレなどの展開不良が生じているなどの異常がある状態を撮影した異常背景画像30には、背景カーテン141の破れや汚れ、あるいは展開不良による背景カーテン141以外の壁面Wや床面Fが撮影される。
このため、背景カーテン141の破れや汚れのない正常な部分を示す透過領域22,32とそれ以外の部分を示す非透過領域23,33とに背景画像を分けることができる。これにより、背景画像における透過領域が占める割合を背景情報として取得することができる。そして、背景情報に基づいて判定することで、背景カーテン141の状態を容易に検知することができる。
さらに、背景カーテン141の状態を自動的に検知することができるため、店員による点検の手間を省くことができるとともに、背景カーテン141の異常が見落とされることがない。これにより、常に見栄えの良い写真シールを提供することができ、利用者の満足度の向上を図ることができる。
従って、写真シール作成装置1、及び写真シール作成装置1の背景カーテン点検方法は、背景カーテン141の状態を検知して、見栄えの良い写真シールを出力することができる。
また、背景画像における透過領域の占める割合が、透過領域に対する閾値の範囲外であれば、エラー情報を出力することにより、背景カーテン141の状態を一定の基準に基づいて判別することができる。これにより、背景カーテン141の状態が店員の判断に左右されることがなく、かつ常に利用者の撮影に適した状態に背景カーテン141を保つことができる。
さらに、写真シールの見栄えに支障がない軽微な破れや汚れ、あるいは小さな異物を背景カーテン141の異常として検知することを防止できる。これにより、軽微な異常を検知して頻繁にエラー情報が出力され、背景カーテン141の点検や清掃頻度が上がり、写真シール作成装置1の稼働効率が低下することを防止できる。
従って、写真シール作成装置1は、背景情報と閾値とを比較判定することで、背景カーテン141を利用者の撮影に適した状態に保つことができる。
また、背景画像における画素毎のRGB値と、色の閾値とを比較判定して、色の閾値内のRGB値を有する画素で透過領域を形成することにより、背景画像のRGB値から背景画像における背景カーテン141の正常な部分を透過領域として検出することができる。ゆえに、透過領域は、背景カーテン141の状態に応じてその大きさや範囲が変化する。これにより、背景画像から背景カーテン141の状態に応じた背景情報を取得することができる。
さらに、カメラ111の不具合、あるいは照明光の照度低下などの撮影環境の変化によって、背景画像における画素毎のRGB値が変化するため、撮影環境の変化に対しても透過領域の大きさや範囲が変化する。これにより、背景カーテン141の状態だけでなく、撮影環境の状態も背景情報として取得することができる。このため、背景カーテン141の状態に異常がなければ、カメラ111などに不具合が生じていると早期に判別することができる。
加えて、色の閾値をRGB値の絶対値の範囲としたことにより、撮影環境の状態も背景情報として取得できるため、写真シール作成装置1の最初に設置した際の起動時処理によって、写真シール作成装置1の設置場所が写真シールの見栄えに影響するか否かを確認することができる。
例えば、写真シール作成装置1を設置した際の起動時処理により、背景カーテン141の状態に異常が検知された場合、背景カーテン141の状態に問題がなければ、外光などの影響によって写真シール作成装置1を設置した場所が見栄えのよい写真シールを出力するのに適した場所でないと判定できる。
従って、写真シール作成装置1は、背景画像から透過領域を検出することで、背景カーテン141の状態に応じた背景情報を取得することができる。
また、背景画像における透過領域が占める割合を算出して閾値と比較判定することにより、背景カーテン141の状態を検知することができる。
具体的には、背景カーテン141の状態が正常であれば、背景画像における透過領域が占める割合は、撮影機会に関わらずほぼ一定となる。これに対して、背景カーテン141の状態が異常のある状態であれば、背景画像における透過領域が占める割合が変化する。
ゆえに、正常背景画像20における透過領域22が占める割合に対して、異常背景画像30における透過領域32が占める割合が小さくなる。これにより、背景カーテン141の状態を容易に検知することができる。
従って、写真シール作成装置1は、背景画像における透過領域が占める割合を背景情報として取得することで、背景カーテン141の状態を容易に検知することができる。
また、エラー情報が出力されると、写真シール作成ゲーム処理への移行を中止してタッチパネル112による異常通知画面15の表示やスピーカ212による音声案内によって通知することにより、写真シール作成装置1は、店員などに対して背景カーテン141に異常があることを確実に通知することができる。
さらに、エラー情報が出力されると、写真シール作成ゲーム処理への移行を中止して通知するため、背景カーテン141の交換や点検等の適切な処置が行われずに放置されることを防止できる。
加えて、エラー情報が出力されると写真シール作成ゲーム処理への移行を中止するため、背景カーテン141の異常に気がつかずに写真シールを作成した利用者が不快な思いをすることを防止できる。
従って、写真シール作成装置1は、背景カーテン141の異常が放置されることを防止して、利用者の満足度の向上を図ることができる。
また、電源を投入するごとに、起動時処理を開始することにより、写真シール作成装置1を設置する店舗において、毎日の営業開始前に背景カーテン141の点検を自動的に行うことができる。これにより、店員が写真シール作成装置1を1台1台確認する手間を軽減することができる。
さらに、背景カーテン141の異常を早期、かつ確実に検出することができるため、設置店舗側は、背景カーテン141の清掃や点検、あるいは修理依頼など、適切な対応を早期に行うことができ、写真シール作成装置1を効率よく運用することができる。
従って、写真シール作成装置1は、店員による点検の手間を軽減するとともに、背景カーテン141の異常を早期に検知することができる。
なお、上述の実施例における図12のステップS602において、色の閾値をRGB値の絶対値の範囲で設定したが、これに限定せず、正常な状態の背景カーテン141を撮影した初期背景画像のRGB値からの許容値に基づいて色の閾値を設定してもよい。
具体的には、写真シール作成装置1を設置した際、あるいはカメラ111や背景カーテン141を交換した際に、正常な状態の背景カーテン141を展開した利用者不在の撮影空間Saを撮影して初期背景画像を取得する。この初期背景画像は、正常な状態の背景カーテン141を撮影したものであるから、図14(a)に示す正常背景画像20と略同一であり、図示を省略する。さらに、この初期背景画像における画素毎のRGB値を取得し、初期背景画像のRGB値として予め記憶部302に記憶する。
そして、この初期背景画像のRGB値の各要素をそれぞれRf、Gf、及びBfとし、所定の定数をα、β、及びγとして、色の閾値を、図17(c)に示すように、R値がRf±α、G値がGf±β、B値がBf±γとする範囲としてもよい。つまり、上記±α、±β、及び±γは、初期背景画像のRGB値からの許容値とすることができる。
これにより、写真シール作成装置1の種類や構造、設置場所、あるいは背景カーテン141の種類に応じた色の閾値を設定することを不要にできる。さらに、写真シール作成装置1や背景カーテン141の固体差を加味することができるため、透過領域をより精度よく検出することができる。
さらに、背景画像における背景カーテン141を示す色が変化するおそれがある背景カーテン141、あるいはカメラ111の交換に対して、色の閾値を初期背景画像に基づいて容易に再設定することができる。加えて、色の異なる背景カーテンへ交換しても、色の閾値を容易に再設定することができる。
従って、写真シール作成装置1は、初期背景画像に基づく色の閾値と背景画像のRGB値とを比較判定することで、透過領域をより精度よく検出することができる。
また、図12のステップS607において、透過領域に対する閾値をマスク画像における透過領域が占める割合の絶対値の範囲で設定したが、これに限定せず、正常な状態の背景カーテン141を撮影した初期背景画像に基づいて作成した初期マスク画像における透過領域が占める割合からの許容値に基づいて透過領域に対する閾値を設定してもよい。
具体的には、写真シール作成装置1を設置した際、あるいはカメラ111や背景カーテン141を交換した際に取得した初期背景画像に対して図12のステップS602からステップS605の処理を行い、初期マスク画像を作成する。この初期マスク画像は、図14(b)に示す正常マスク画像21と略同一であり、図示を省略する。さらに、図12のステップS606の処理を行い初期マスク画像における透過領域が占める割合を算出して予め記憶部302に記憶する。
そして、この初期マスク画像における透過領域が占める割合をZf%、所定の定数をα%として、透過領域に対する閾値を、図17(d)に示すように、Zf±α%とする範囲としてもよい。つまり、上記±α%は、初期マスク画像における透過領域が占める割合からの許容値とすることができる。
これにより、写真シール作成装置1の種類や構造、設置場所、あるいは背景カーテン141の種類に応じた閾値を設定することを不要にできる。さらに、写真シール作成装置1や背景カーテン141の固体差によって、正常な状態の背景カーテン141を異常と誤判定することを防止できる。
さらに、初期背景画像に基づく閾値と背景画像における透過領域が占める割合とを比較するため、背景カーテン141に異常がない場合、カメラ111の経年劣化などの不具合を疑うことができる。これにより、背景カーテン141の異常だけでなく、カメラ111などの不具合も早期に検知することができ、適切な対応を行うことで常に見栄えの良い写真シールを出力することができる。
従って、写真シール作成装置1は、初期背景画像に基づく閾値と背景画像における透過領域が占める割合とを比較判定することで、背景カーテン141の状態を検知するだけでなく、カメラ111などの不具合も検知することができる。
また、背景画像(マスク画像)の全域に対して閾値との比較判定を行ったが、これに限定せず、背景画像(マスク画像)の全域を示す第1領域と、背景画像(マスク画像)の所定の範囲を示す第2領域とを予め設定し、第1領域、及び第2領域と閾値とを比較判定し、第1領域に対してエラー情報が出力され、かつ第2領域に対してエラー情報が出力されなければ、第2領域を背景とする撮影だけを受け付けるようにしてもよい。
具体的には、利用者の顔から足までの全身を撮影する全身撮影コースと、利用者の顔周辺を撮影するアップ撮影コースとを利用者が選択して撮影可能な写真シール作成装置1において、図15(b)に示す異常マスク画像31を取得したとする。
ここで、異常マスク画像31において、全身撮影コースにおける背景となる異常マスク画像31の全域を第1領域34とし、アップ撮影コースにおける背景となる異常マスク画像31の範囲を第2領域35とする。
制御装置301は、図12のステップS606において、第1領域34における透過領域が占める割合と、第2領域35における透過領域が占める割合とを算出し、ステップS607においてそれぞれ閾値との比較判定を行う。この際、制御装置301は、第1領域34、及び第2領域35のそれぞれに対する判定結果に基づいてエラー情報を出力する。
そして、図10のステップS503において、制御装置301は、第1領域34、及び第2領域35に対してエラー情報が出力されなければ、背景カーテン141が正常な状態である判定する。一方、第1領域34に対してエラー情報が出力され、かつ第2領域35に対してエラー情報が出力されない場合、制御装置301は、第2領域35を背景とするアップ撮影コースに限定して利用者の利用を受け付けてもよい。
これにより、第1領域34を背景とする全身撮影コースでは背景カーテン141の異常(非透過領域33)が写り込むが、第2領域35を背景とするアップ撮影コースでは、背景カーテン141の異常が写り込まないため、写真シール作成装置1は、アップ撮影コースだけに限定して利用者の利用を受け付けることができる。
この際、第1領域34、及び第2領域35における透過領域が占める割合に対する閾値は、第1領域34と第2領域35とで共通、あるいは第1領域34と第2領域35とで別々に設定してもよい。例えば、図17(e)に示すように、第1領域34に対する閾値を87%〜100%とし、及び第2領域35に対する閾値を95%〜100%としてもよい。
また、マスク画像における透過領域が占める割合を算出したが、これに限定せず、マスク画像における非透過領域が占める割合を算出してもよい。この際、非透過領域に対する閾値は、背景カーテン141の破れや汚れを示す値と、背景カーテン141の展開不良を示す値とを設定してもよい。
そして、マスク画像における非透過領域が占める割合が2つの閾値のいずれも範囲外であれば、背景カーテン141の状態が異常であると判定できる。一方、マスク画像における非透過領域が占める割合が、いずれか一方の閾値の範囲内であれば、利用者の撮影に支障が軽微な異常であると判定することができる。
これにより、背景カーテン141の異常をより詳細に検知することができ、かつ背景カーテン141の破れや汚れの大きさによって写真シール作成ゲーム処理への移行を決定することができる。
また、背景画像における画素毎のRGB値と色の閾値とを比較判定し透過処理、あるいは非透過処理を行ったが、これに限定せず、画素毎のRGB値を置き換えて、背景画像を2値化してもよい。
次に、上述の実施例1に対して背景カーテン点検処理の動作が異なる実施例について、図14、図15、図21、及び図22を用いて説明する。
なお、図21は実施例2における背景カーテン点検処理の動作を示すフローチャートを示し、図22は実施例2における色の閾値、及び閾値を説明する説明図を示している。
また、上述の実施例1と同一の構成は、同じ符号を付してその詳細な説明を省略する。
まず、上述の実施例1に対して、実施例2における写真シール作成装置1の記憶部302には、写真シール作成装置1を設置した際の正常な状態の背景カーテン141を展開した利用者不在の撮影空間Saを予め撮影して作成した初期背景画像を記憶している。
この初期背景画像は、正常な状態の背景カーテン141を撮影したものであるから、図14(a)に示す正常背景画像20と略同一のため、図示を省略する。さらに、写真シール作成装置1の記憶部302には、初期背景画像から取得した初期背景画像における画素毎のRGB値を初期背景画像のRGB値として予め記憶している。
次に、背景カーテン点検処理を実行すると、図21に示すように、制御装置301は、背景空間の撮影処理を実行して背景画像を取得する(ステップS701)。この背景空間の撮影処理は、上述の実施例1における図12のステップS601と同じため、詳しい説明を省略する。
なお、本実施例では、背景画像の例として、図14(a)に示す正常背景画像20、及び図15(a)に示す異常背景画像30を用いて説明する。
背景画像を取得すると、制御装置301は、背景画像における画素毎にRBG値を取得し、画素毎に色の閾値との比較判定を行う(ステップS702)。この色の閾値は、初期背景画像のRGB値からの許容値に基づいて設定している。
具体的には、色の閾値は、図22(a)に示すように、初期背景画像のRGB値の各要素をそれぞれRf、Gf、及びBfとし、所定の定数をα、β、及びγとして、R値をRf±α、G値をGf±β、B値をBf±γとする範囲に設定している。
背景画像における画素毎のRGB値の各要素(R値、G値、及びB値)が全て色の閾値の範囲内であれば(ステップS702:Yes)、制御装置301は、その画素を近似色として設定する(ステップS703)。一方、背景画像におけるRGB値の各要素が1つでも色の閾値の範囲外であれば(ステップS702:No)、制御装置301は、その画素を非近似色として設定する(ステップS704)。
このようにして、異常背景画像40の全ての画素に対して、近似色、あるいは非近似色の設定を行うと、制御装置301は、隣接する近似色同士とする近似色領域と、隣接する非近似色同士を一群とする非近似領域を形成する。
例えば、図14(a)に示した正常背景画像20の場合、画素毎に上述の近似色、あるいは非近似色の設定を行うと、正常背景画像20における背景カーテン141が近似色領域(透過領域22の領域に相当)として形成され、正常背景画像20における床面Fと影部分20aとの一群が非近似色領域(非透過領域23の領域に相当)として形成される。
また、図15(a)に示した異常背景画像30の場合、画素毎に上述の近似色、あるいは非近似色の設定を行うと、異常背景画像30における背景カーテン141が近似色領域(透過領域32の領域に相当)として形成され、異常背景画像30における床面Fと壁面Wと影部分30aとの一群が非近似色領域(非透過領域33の領域に相当)として形成される。
その後、制御装置301は、非近似色領域の大きさを背景情報としてピクセル単位で算出する(ステップS705)。この際、制御装置301は、非近似領域ごとに大きさを算出する。非近似色領域の大きさを算出すると、制御装置301は、非近似色領域の大きさと非近似色領域に対する閾値とを比較判定する(ステップS706)。
この閾値は、背景カーテン141の状態が正常な状態における非近似色領域の大きさに、バラツキを考慮した所定の値を加味して設定した値である。
具体的には、非近似色領域に対する閾値は、図22(b)に示すように、一定の値であるLピクセル以上とする。
非近似色領域の大きさがLピクセル未満であれば(ステップS706:No)、制御装置301は、背景カーテン141が正常であると判定し背景カーテン点検処理を終了する。一方、非近似色領域の大きさがLピクセル以上であれば(ステップS706:Yes)、制御装置301は、背景カーテン141の異常を検知したと判定し、エラー情報を出力する(ステップS707)。その後、制御装置301は、背景カーテン点検処理を終了する。
例えば、図14(a)に示す正常背景画像20の場合、正常背景画像20が背景カーテン141の正常な状態を撮影したものであるから、正常背景画像20における非近似色領域の大きさをLピクセル未満とすると、制御装置301は、背景カーテン141の状態を正常であると判定する。
また、図15(a)に示す異常背景画像30の場合、異常背景画像30が背景カーテンに異常がある状態を撮影したものであるから、異常背景画像30における非近似色領域の大きさをLピクセル以上とすると、制御装置301は、背景カーテン141の状態を異常であると判定する。
以上のような動作で背景カーテン141の点検を実現する写真シール作成装置1、及び写真シール作成装置1の背景カーテン点検方法は、背景カーテン141の状態を検知して、見栄えの良い写真シールを出力することができる。
具体的には、背景カーテン141の状態が正常であれば、背景画像における非近似色領域の大きさは、撮影機会に関わらずほぼ一定となる。これに対して、背景カーテン141の状態が異常のある状態であれば、背景画像における非近似色領域の大きさが変化する。
ゆえに、正常背景画像20における非近似色領域の大きさに対して、異常背景画像30における非近似色領域の大きさが大きくなる。これにより、背景カーテン141の状態を容易に検知することができる。
従って、写真シール作成装置1は、背景画像における非近似色領域の大きさを背景情報として取得することで、背景カーテン141の状態を容易に検知することができる。
なお、上述の実施例2の図21のステップS702において、色の閾値を、初期背景画像のRGB値からの許容値に基づいて設定したが、これに限定せず、上述の実施例1と同様に、RGB値の絶対値の範囲で設定してもよい。
また、非近似色領域に対する閾値を1つとして説明したが、これに限定せず、2つの閾値を設定してもよい。
具体的には、非近似色領域に対する閾値を、図22(c)に示すように、第1閾値と第2閾値で構成し、第1閾値を背景カーテン141が正常な状態における非近似色領域の大きさに見栄えに影響がない汚れなどを示す非近似色領域の大きさを加味した値であるL1ピクセル以上とし、第2閾値を背景カーテン141の状態が明らかに異常な状態であることを示す値であるL2ピクセル以上とする。
そして、例えば、図21のステップS701の処理により背景画像として、実施例2における異常背景画像40、及び近似色領域42と非近似色領域43,44を説明する説明図を示す図23(a)のような異常背景画像40を取得したとする。
この異常背景画像40は、図23(a)に示すように、背景カーテン141上に生じた汚れ部分40bを有する背景カーテン141が撮影空間Saの床面Fまで正常に展開された状態を撮影している。なお、異常背景画像40における下端両隅には、照明不足となった影部分40aも撮影されている。
そして、図21のステップS702〜S705の処理により、図23(b)に示すように、異常背景画像40は、異常背景画像40における床面Fと影部分40aとの一群が非近似色領域43として設定され、汚れ部分40bが非近似色領域44として設定され、それ以外の背景カーテン141の正常な部分が近似色領域42として設定された領域画像41に置き換えられる。その後、制御装置301は、非近似色領域43、及び44のそれぞれの大きさを算出する。
そして、図21のステップS706において、制御装置301は、この非近似色領域43、及び44の大きさの合計に対して、第1閾値、及び第2閾値の順に比較判定を行う。
具体的には、制御装置301は、まず非近似色領域43、及び44の大きさの合計と第1閾値とを比較判定を行い、第1閾値の範囲外であれば、第2閾値と比較判定を行う。
そして、非近似色領域43、及び44の大きさの合計が第2閾値未満であれば、制御装置301は、背景カーテン141の状態が写真シールの見栄えに影響はないが、汚れなどがある状態であると判定し、店員に対してスピーカ212による確認を要求する音声案内などの通知を行う。
一方、第2閾値の範囲外であれば、制御装置301は、背景カーテン141に明らかな異常がある状態であると判定し、ステップS707に処理をすすめエラー情報を出力したのち、背景カーテン点検処理を終了する。
例えば、正常背景画像30における非近似色領域と同じ大きさの非近似色領域43と非近似色領域44との大きさの合計がL1ピクセル未満であれば、制御装置301は、背景カーテン141が正常な状態であると判定し、背景カーテン点検処理を終了し、図10のステップS503に処理をすすめる。
また、非近似色領域43、及び非近似色領域44の大きさの合計がL1ピクセル以上、L2ピクセル未満であれば、制御装置301は、経年などにより非近似色領域44が大きくなったと判定するとともに、背景カーテン141の状態が確認を要する状態であると判定し、店員に対してスピーカ212による確認を要求する音声案内などの通知を行う。
その後、制御装置301の指示により、タッチパネル112は、店員に対して背景カーテン141の状態の確認を促す状態確認画面(図示省略)を表示する。
この状態確認画面には、「写真シールの品質に影響するおそれのある異常を検知しました。背景カーテンの汚れなどがないか確認して下さい。背景カーテンの状態が正常であれば、完了ボタンを押して下さい。背景カーテンに破れや汚れがある状態であれば、終了ボタンを押して下さい。」という案内メッセージを表示している。
そして、店員が状態確認画面に従って背景カーテン141の状態の確認し、清掃等の処置を行った後、完了ボタンが押下されると、制御装置301は、背景カーテン141が正常な状態であると判定し、背景カーテン点検処理を終了し、図10のステップS503に処理をすすめる。一方、状態確認画面の終了ボタンが押下されると、制御装置301は、背景カーテン141に明らかな異常がある状態であると判定し、ステップS707に処理をすすめエラー情報を出力したのち、背景カーテン点検処理を終了し、図10のステップS503に処理にすすめる。
また、非近似色領域43、及び非近似色領域44の大きさの合計がL2ピクセル以上であれば、制御装置301は、背景カーテン141に明らかな異常がある状態であると判定し、ステップS707に処理をすすめエラー情報を出力したのち、背景カーテン点検処理を終了し、図10のステップS503に処理にすすめる。
なお、非近似色領域に対する閾値を、初期背景画像における非近似色領域の大きさからの許容値に基づいて設定してもよい。この場合、非近似色領域43、及び44の大きさの合計から初期背景画像における非近似色領域の大きさを差し引いた大きさを算出し、閾値との比較判定を行う。
これにより、写真シール作成装置1は、背景カーテン141が正常に展開されていても、背景カーテン141上の破れや汚れを検出することができる。さらに、非近似色領域の大きさに基づいて判定することにより、写真シールの見栄えに影響がない軽微な破れや汚れ、展開不良などを背景カーテン141の異常として検知することを防止できる。
従って、写真シール作成装置1は、より正確に背景カーテン141の状態を検知することができる。
また、上述の実施例1と同様に、背景画像の全域を示す第1領域と、背景画像の所定の範囲を示す第2領域とを設定し、第1領域、及び第2領域のそれぞれに対して閾値との比較判定を行ってもよい。加えて、第1領域、及び第2領域に対して、それぞれ異なる非近似色領域に対する閾値を設定してもよい。
次に、上述の実施例1、及び実施例2に対して、背景カーテン点検処理の動作が異なる実施例について、図14、図15、及び図24から図26を用いて説明する。
なお、図24は実施例3における背景カーテン点検処理の動作を示すフローチャートを示し、図25は実施例3における閾値を説明する説明図を示し、図26は実施例3におけるカメラ111の画角を確認・調整する画角調整画面17を示している。
また、上述の実施例1、及び実施例2と同一の構成は、同じ符号を付してその詳細な説明を省略する。
背景カーテン点検処理を実行すると、制御装置301は、処理カウンターNを「0」にセットする(ステップS801)。その後、制御装置301は、背景空間の撮影処理を実行して背景画像を取得する(ステップS802)。この背景空間の撮影処理は、上述の実施例1における図12のステップS601と同じため、詳しい説明を省略する。
なお、本実施例では、背景画像の例として、図14(a)に示す正常背景画像20、及び図15(a)に示す異常背景画像30を用いて説明する。
背景画像を取得すると、制御装置301は、背景画像からマスク画像を作成するマスク画像作成処理を実行する。(ステップS803)。このマスク画像作成処理は、上述の実施例1における図12のステップS602からステップS605の処理と同一のため、その詳しい説明を省略する。
マスク画像を作成すると、制御装置301は、マスク画像から透過領域と非透過領域との境界を示す境界位置情報を背景情報として取得する境界位置情報取得処理を実行する(ステップS804)。この際、制御装置301は、マスク画像における横方向、及び縦方向に走査して、マスク画像の左端からのピクセル数、及びマスク画像の上端からのピクセル数を境界位置情報として取得する。
マスク画像から境界位置情報を取得すると、制御装置301は、処理カウンターNに「1」を加算する(ステップS805)。その後、制御装置301は、境界位置情報と境界位置情報に対する閾値とを比較判定する(ステップS806)。
この境界位置情報に対する閾値は、背景カーテン141が正常な状態における境界位置情報に、バラツキを考慮した所定の値を加味した値に設定している。
具体的には、境界位置情報に対する閾値は、図25(a)に示すように、横方向に走査した際における左側(右側)の境界位置をマスク画像の左端からXLmin(XRmin)ピクセル〜XLmax(XRmax)ピクセルとし、縦方向に走査した際における上側(下側)の境界位置をマスク画像の上端からYTmin(YBmin)ピクセル〜YTmax(YBmax)ピクセルの範囲に設定している。
マスク画像における境界位置情報が閾値の範囲内であれば(ステップS806:No)、制御装置301は、背景カーテン141の状態が正常であると判定し、背景カーテン点検処理を終了する。一方、マスク画像における境界位置情報が閾値の範囲外であれば(ステップS806:Yes)、制御装置301は、処理カウンターNの数を判定する(ステップS807)。
処理カウンターNが「2」未満であれば(ステップS807:No)、制御装置301の指示により、タッチパネルモニタ112は、図26に示す画角調整画面17(ステップS808)を表示する。
この画角調整画面17には、図26に示すように、「背景空間もしくはカメラ画角に異常を検知しました。初めにカメラ画角の設定を確認・調整して下さい。」という案内メッセージと、カメラ111で取得している動画映像をリアルタイム表示する撮像枠17aと、押下することでカメラ111の画角を縦横に調整することができる撮影範囲調整ボタン17bと、押下することで調整前の状態に戻すことができる戻るボタン17cと、押下することで設定を保存することができる設定保存ボタン17dと、押下することで画角調整画面17を閉じることができる閉じるボタン17eとを表示している。
なお、画角調整画面17を表示した際、制御装置301は、事後接客ユニット210のタッチパネルモニタ211による背景カーテン141の異常を検知したことを通知するエラーメッセージ画面(図示省略)の表示やスピーカ212による音声案内によって、店員に背景カーテン141の異常を検知したことを報知する。
その後、制御装置301は、閉じるボタン17eが押下されたか否かを判定する(ステップS809)。閉じるボタン17eが押下されると(ステップS809:Yes)、制御装置301は、店員が画角調整を行っていない、あるいは調整した設定を保存せず画角調整画面17を閉じたため、背景カーテン141もしくはカメラ111の画角の異常が解消されていないと判定し、エラー情報を出力する(ステップS810)。その後、制御装置301は、背景カーテン点検処理を終了する。
一方、ステップS809において、閉じるボタン17eが押下されず(ステップS809:No)、設定保存ボタン17dが押下されると(ステップS811:Yes)、制御装置301は、カメラ111の画角が再設定されたと判定し、処理をステップS802に戻して、背景空間の撮影処理を再度実行する。
ステップS811において、設定保存ボタン17dが押下されなければ(ステップS811:No)、制御装置301は、処理をステップS809に戻して、閉じるボタン17e、あるいは設定保存ボタン17dが押下されるまで待機する。
また、ステップS807において、処理カウンターが「2」以上であれば(ステップS807:Yes)、制御装置301は、カメラ111の画角を調整した後の背景画像から背景カーテン141の異常を検知したと判定し、処理をステップS810に進めエラー情報を出力したのち、背景カーテン点検処理を終了する。
例えば、上述の図14(b)に示した正常マスク画像21の場合、透過領域22と非透過領域23との境界位置情報は閾値の範囲内であるため、制御装置301は、背景カーテン141の状態が正常であると判定する。
また、上述の図15(b)に示した異常マスク画像31の場合、透過領域32と非透過領域33との境界位置情報は閾値の範囲外であるため、制御装置301は、タッチパネルモニタ112に画角調整画面17を表示させる。ここで、異常背景画像30における背景カーテン141は、完全に下降していない昇降不良のため、画角調整画面17の指示に従ってカメラ111の画角を調整しても背景カーテン141の異常が解消されないとする。この場合、異常マスク画像31を再度取得するため、制御装置301は、背景カーテン141の異常が解消されないと判定してエラー情報を出力する。
以上のような動作で背景カーテン141の点検を実現する写真シール作成装置1、及び写真シール作成装置1の背景カーテン点検方法は、背景カーテン141の状態を検知して、見栄えの良い写真シールを出力することができる。
具体的には、背景カーテン141の状態が正常であれば、背景画像(マスク画像)における透過領域と非透過領域の大きさや範囲は、撮影機会に関わらずほぼ一定となる。これに対して、背景カーテン141に破れや汚れ、展開不良などが生じた場合、背景画像(マスク画像)における透過領域と非透過領域の大きさや範囲が変化する。つまり、正常背景画像20(正常マスク画像21)における透過領域22と非透過領域23の境界を示す境界位置情報に対して、異常背景画像30(異常マスク画像31)における境界位置情報の値が変化する。
このため、背景画像における透過領域と非透過領域との境界位置情報を背景情報として取得することで、背景カーテン141の状態を容易に検知することができる。
従って、写真シール作成装置1は、背景画像における透過領域と非透過領域との境界位置情報から背景カーテン141の状態を検知することができる。
また、境界位置情報に対する閾値を、横方向に走査した際におけるマスク画像の左端からの所定の範囲、及び縦方向に走査した際における上端からの所定の範囲とした場合、背景カーテン141が大幅にずれると、背景カーテン141の右側の境界位置情報が、境界位置情報に対する閾値の範囲内となり、背景カーテン141の状態を正常に検知できないおそれがある。これに対して、境界位置情報に対する閾値を、横方向に走査した際における左側、及び右側の境界位置と、縦方向に走査した際における上側、及び下側の境界位置としたことにより、背景画像のおける背景カーテン141が大幅にずれても背景カーテン141の状態を確実に検知することができる。
なお、上述の実施例3の図24のステップS803において、上述の実施例1と同様に行ったが、この際、色の閾値を実施例1ではなく、実施例2における色の閾値と同様に設定してもよい。
また、図24のステップS806において、境界位置情報に対する閾値を境界位置情報の絶対値の範囲で設定したが、これに限定せず、正常な状態の背景カーテン141を撮影した初期背景画像に基づいて作成した初期マスク画像の境界位置情報からの許容値に基づいて境界位置情報に対する閾値を設定してもよい。
具体的には、写真シール作成装置1を設置した際、あるいはカメラ111や背景カーテン141を交換した際に取得した初期背景画像に基づいて初期マスク画像を作成する。この初期マスク画像は、図14(b)に示す正常マスク画像21と略同一であり、図示を省略する。さらに、図24のステップS804の処理を行い、初期マスク画像の境界位置情報を算出して予め記憶部302に記憶する。
そして、この初期マスク画像を横方向に走査した際における左側(右側)の境界位置情報を初期マスク画像の左端からXLf(XRf)ピクセル、縦方向に走査した際における上側(下側)の境界位置情報を初期マスク画像の上端からYTf(YBf)ピクセルとし、所定の定数をα、及びβピクセルとして、境界位置情報に対する閾値を、図25(b)に示すように、横方向に走査した際における左側(右側)の境界位置をマスク画像の左端からXLf±α(XRf±α)ピクセルとし、縦方向に走査した際における上側(下側)の境界位置をマスク画像の上端からYTf±β(YBf±β)ピクセルとする範囲としてもよい。
これにより、写真シール作成装置1の種類や構造、設置場所、あるいは背景カーテン141の種類に応じた閾値を設定することを不要にできる。さらに、写真シール作成装置1や背景カーテン141の固体差によって、正常な状態の背景カーテン141を異常と誤判定することを防止できる。
さらに、初期背景画像に基づく閾値と背景画像の境界位置情報とを比較するため、背景カーテン141に異常がない場合、カメラ111の経年劣化などの不具合を疑うことができる。これにより、背景カーテン141の異常だけでなく、カメラ111などの不具合も早期に検知することができ、適切な対応を行うことで常に見栄えの良い写真シールを出力することができる。
従って、写真シール作成装置1は、初期背景画像に基づく閾値と背景画像の境界位置情報とを比較判定することで、背景カーテン141の状態を検知するだけでなく、カメラ111などの不具合も検知することができる。
また、上述の実施例1から実施例3において、写真シール作成装置1の電源投入ごとに背景カーテン141の状態を検知する説明をしたが、これに限定せず、写真シール作成装置1のメンテナンスモードから起動時処理を実行する構成としてもよい。
この際、背景画像を撮影すると、制御装置301は、メンテナンスモードにおける背景画像を確認する背景画像確認画面18を示す図27のような画面をタッチパネル112に表示させる。
この背景画像確認画面18には、「撮影結果です。人や物が写っていない場合はOKボタンを押して下さい。人や物が写っている場合はNGボタンを押して下さい。」という案内メッセージと、撮影した背景画像を表示した画像表示枠18aと、OKボタン18bと、NGボタン18cとを表示している。
そして、画像表示枠18aに表示された背景画像、及び案内メッセージに従って、店員やメンテナンス係がOKボタン18bを押下すると、制御装置301は、画像表示枠18aに表示された背景画像に基づいて背景カーテン141の状態を検知する。これにより、写真シール作成装置1における背景カーテン141の点検を任意のタイミングで行うことができる。
また、1枚の背景カーテン141で説明したが、これに限定せず、複数枚の背景カーテンを備えてもよい。この場合、写真シール作成装置1の制御装置301は、複数の背景カーテンを順に展開して背景カーテンの状態を検知することで、全ての背景カーテンを自動的に点検することができる。これにより、店員が複数の背景カーテンを点検する手間を大幅に軽減することができる。
また、背景カーテン141を単一色としたが、これに限定せず、景色などが印刷された背景カーテンであってもよい。
また、背景カーテン141をモータ駆動による昇降式としたが、これに限定せず、予め後部ユニット120に設置された状態であってもよい。
また、上述の実施例3の図24のステップS806において、閾値の範囲外であれば、カメラ111の画角調整を行う画角調整画面17を表示したが、上述の実施例1、及び実施例2においても同様に画角調整画面17を表示してもよい。
また、エラー情報が出力されると、エラー情報を写真シール作成装置1におけるエラーログ情報として通信部303から通信網を介してサーバに送信してもよい。これにより、背景カーテン141の異常を迅速に通知して、点検あるいは修理など適切な処理を迅速に行うことができる。
また、タッチパネルモニタ211にエラーメッセージ画面を表示したが、これに限定せず、編集ユニット200のタブレット内蔵モニタ203に表示してもよい。これにより、編集空間SbあるいはScにいる店員に対して背景カーテン141の異常を通知することができる。
また、色の閾値、及び閾値は、上述の実施例1から3に限定せず、背景画像から背景カーテン141の状態を示す背景情報として取得できる色の閾値、及び背景情報から背景カーテン141の状態を検知できる閾値であれば、適宜に設定してもよい。
例えば、RGB値の各要素を軸とする三次元仮想座標において、正常な状態の背景カーテン141の色を変換したRGB値を正常RGB値するとともに、中心点とし、正常RGB値から所定の値を半径とする球形範囲を仮定する。この球形範囲が正常RGB値にバラツキを加味した値の範囲であり、球形範囲における半径(距離)を色の閾値としてもよい。
この場合、正常RGB値の各要素をRd、Gd、Bdとし、背景画像のRGB値の各要素をR、G、Bとすると、背景画像から(R―Rd)2+(G−Gd)2+(B−Bd)2値を算出し、色の閾値との比較判定を行う。
あるいは、初期背景画像におけるRGB値までの距離からの許容値に基づいて色の閾値を設定してもよい。
この場合、初期背景画像におけるRGB値の各要素をRf、Gf、Bfとすると、初期背景画像、及び背景画像から(R―Rf)2+(G−Gf)2+(B−Bf)2値を算出し、色の閾値との比較判定を行ってもよい。
また、実施例1から3において詳述したRGB値の値で示した色の閾値、あるいは上述した三次元仮想座標における距離で示した色の閾値のうち、いずれか1つと背景画像とを比較判定したが、これに限定せず、複数の色の閾値を用いて背景画像を比較判定し、その判定結果から取得した複合的な結果に基づいて背景情報を取得する構成としてもよい。
具体的には、上述の実施例では、RGB値の絶対値、初期背景画像のRGB値からの許容値、三次元仮想座標における正常RGB値からの距離、あるいは初期背景画像のRGB値までの距離からの許容値に基づいて設定した値を、色の閾値の一例として説明した。そして、上述の実施例では、このように設定した色の閾値のうちいずれか1つと背景画像とを比較判定して背景情報を取得した。
これに対して、まず、背景画像を複数の色の閾値とそれぞれ比較判定し、それぞれの判定結果を取得する。そして、これら判定結果を複合した1つの複合的な判定結果に基づいて背景情報を取得してもよい。
あるいは、背景画像と色の閾値とを比較判定し、その判定結果に応じて、別の色の閾値と背景画像とを比較判定して取得した複合的な結果に基づいて背景情報を取得してもよい。
例えば、RGB値の絶対値の範囲で設定した色の閾値、及び初期背景画像のRGB値までの距離からの許容値で設定した色の閾値と背景画像とをそれぞれ比較判定し、両方の色の閾値を満足すれば、背景情報を取得する構成としてもよい。もしくはいずれか一方の色の閾値を満足していれば、背景情報を取得するようにしてもよい。
あるいは、背景画像におけるRGB値とRGB値の所定の値に対する色の閾値とを比較判定し、RGB値の所定の値に対する色の閾値を満足していなければ、背景画像から算出した三次元仮想座標における距離と、三次元仮想座標における距離で示した色の閾値とを比較判定して背景情報を取得してもよい。
このように上述した複数の色の閾値を用いて背景画像を比較判定し、その判定結果から取得した複合的な結果に基づいて背景情報を取得することにより、背景画像からある要素が突出したRGB値によって誤った背景情報を取得するおそれがなく、背景カーテン141の状態を示す背景情報をより正確に取得することができる。
この発明の構成と、上述の実施形態との対応において、
この発明の被写体は、実施形態の利用者Mに対応し、
以下同様に、
撮影手段は、撮影ユニット100、カメラ111、及び撮影部310に対応し、
撮影した画像は、撮影画像、及び合成画像に対応し、
編集手段は、編集ユニット200、及び編集部320に対応し、
所定の画像は、撮影画像、合成画像、及び編集画像に対応し、
シールは、シール紙333に対応し、
印刷手段は、プリンタ331に対応し、
背景画像は、正常背景画像20、異常背景画像30、及び異常背景画像40に対応し、
背景情報は、背景画像における透過領域が占める割合、非近似色領域の大きさ、及び境界位置情報に対応し、
背景判定手段は、制御装置301に対応し、
所定の値は、透過領域に対する閾値、非近似色領域に対する閾値、および境界位置情報に対する閾値に対応し、
画素毎の色情報は、RGB値に対応し、
所定の色値範囲は、色の閾値に対応し、
近似色領域は、透過領域22、透過領域32、及び近似色領域42に対応し、
非近似色領域は、非透過領域23、非透過領域33、非近似色領域43、及び非近似色領域44に対応し、
報知手段は、タッチパネルモニタ112、タッチパネルモニタ211、スピーカ118、及びスピーカ212に対応し、
記憶手段は、記憶部302に対応し、
背景画像作成処理は、ステップS601、ステップS701、及びステップS802に対応し、
背景情報取得処理は、ステップS602〜S606、ステップS702〜S705、及びステップS803〜S804に対応し、
判定処理は、ステップS607〜S608、ステップS706〜S707、及びステップS806〜S810に対応するが、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。