JP2024008054A - 遊戯画像撮影システム - Google Patents

Abstract

【課題】遊戯画像撮影装置で生成された動画をユーザの不本意とならない形で公開可能な技術を提供する。【解決手段】遊戯画像撮影システムは、ユーザを被写体として撮影する撮影部と、撮影で得られた動画像を構成する複数のフレームから代表フレームを選択するフレーム選択部と、選択された代表フレームを動画像に関連づけて表示させる表示部と、を備える。フレーム選択部は、設定条件に基づき動画像の先頭フレームとは異なるフレームを代表フレームとして選択する。【選択図】図８

Description

本発明は、遊戯画像の表示、特に撮影された動画像の表示技術に関する。

プリクラ（登録商標）とよばれる遊戯画像撮影装置は、１０代～２０代を中心として根強い人気を誇る。ユーザは、自らを撮影し、編集用のディスプレイにて撮影画像にさまざまな装飾を施す。装飾後の画像はシール台紙に印刷される（特許文献１参照）。遊戯画像撮影装置は、また、撮像画像を外部のサーバにアップロードする。ユーザは、スマートフォンなどのユーザ端末からサーバにアクセスすることにより、編集画像をダウンロードすることもできる。

近年、ユーザの静止画のみならず動画を撮影し、サーバにアップロードする遊戯画像撮影装置も提案されている（特許文献２参照）。ユーザがサーバからその動画像をダウンロードしてＳＮＳ（Social Networking Service）で公開することもでき、遊戯画像撮影装置の利用価値がより一層高められている。

特開２０１６‐１８４２８７号公報 特開２０１９‐１１５０２９号公報

遊戯画像撮影装置で生成された動画像は、その内容が一目で分かるようサムネイルの形で公開される。すなわち、動画像を生成した際にその先頭フレームなど、動画像を構成する複数のフレームの１つがサムネイルとして自動的に選択される。その動画像をＳＮＳに投稿すると、ユーザの投稿画面にその動画像のサムネイルが表示される。このため、そのサムネイルがユーザにとって映りの良い画像であるか否かは重要である。

本発明は、上記着眼点に基づいてなされた発明であり、その主たる目的は、遊戯画像撮影装置で生成された動画像をユーザの不本意とならない形で公開可能な技術を提供することにある。

本発明のある態様の遊戯画像撮影システムは、ユーザを被写体として撮影する撮影部と、撮影で得られた動画像を構成する複数のフレームから代表フレームを選択するフレーム選択部と、選択された代表フレームを動画像に関連づけて表示させる表示部と、を備える。フレーム選択部は、設定条件に基づき動画像の先頭フレームとは異なるフレームを代表フレームとして選択する。

別の態様の遊戯画像撮影システムは、ユーザを被写体として撮影する撮影部と、撮影で得られた動画像を構成する複数のフレームから代表候補を抽出する代表候補抽出部と、ユーザによる選択入力を受け付ける入力部と、ユーザにより代表候補の中から選択されたフレームを代表フレームとして動画像に関連づけて表示させる表示部と、を備える。

本発明によれば、遊戯画像撮影装置で生成された動画をユーザの不本意とならない形で公開可能な技術を提供できる。

遊戯画像撮影システムの全体構成図である。 遊戯画像撮影装置の外観斜視図である。 撮影ブースの外観斜視図である。 遊戯画像撮影装置におけるプレイの流れを示すフローチャートである。 遊戯画像撮影装置を上から見た平面図である。 遊戯画像撮影装置の機能ブロック図である。 撮影処理の過程を表すタイムチャートである。 撮影動画像の生成方法および画像データの調整方法を表す図である。 編集動画像を構成するフレームの例を表す図である。 編集動画像を構成するフレームの例を表す図である。 ユーザ端末に表示されるダウンロード画面の例を表す図である。 図４のＳ１８の画像データ調整処理を表すフローチャートである。

本実施形態における遊戯画像撮影装置は、撮影ブースと編集ブースを備える。ユーザは撮影ブースにて自らを撮影する。以下、撮影ブースにおいて被写体（ユーザ）を撮影した画像のことを「撮影画像」とよぶ。遊戯画像撮影装置は、撮影ブースにおいて肌の美白化、髪のつや出しなどの画像修正を撮影画像に施す（以下、このような画像修正を「事前修正」とよぶ）。本実施形態における遊戯画像撮影装置は、撮影ブースにおいて静止画だけでなく動画も撮影する。撮影画像のうち、動画像として取得されるものを「撮影動画像」、静止画像として取得されるものを「撮影静止画像」とよぶ。

事前修正を施された撮影画像は、編集ブースに送られる。ユーザは、編集ブースにおいて、スタンプ画像の貼付やスタイラスペンによる落書きなど任意の装飾を撮影画像に施すことができる（以下、このような画像の装飾を「装飾加工」または「編集」とよぶ）。編集ブースにおいて編集対象となっている撮影画像のことを「対象画像」とよぶ。また、対象画像のうち、撮影動画像を編集対象としたものを「対象動画像」、撮影静止画像を編集対象としたものを「対象静止画像」とよぶ。編集後の対象画像のことを「編集画像」とよび、編集画像のうち、対象動画像を編集したものを「編集動画像」、対象静止画像を編集したものを「編集静止画像」とよぶ。

遊戯画像撮影装置は、編集静止画像をシール台紙（外部媒体）に印刷する。また、遊戯画像撮影装置は、編集動画像および編集静止画像をサーバ（以下、「専用サーバ」ともよぶ）にアップロードする。ユーザは、スマートフォンなどのユーザ端末からサーバにアクセスすることにより、編集画像（編集動画像と編集静止画像）をダウンロードすることもできる。ユーザは、ダウンロードした編集画像をＳＮＳのサーバ（以下、「ＳＮＳサーバ」とよぶ）にアップロードして公開することもできる。

本実施形態の遊戯画像撮影装置は、編集動画像について所定の評価基準を満たすサムネイルを表示させるよう画像データを調整する。それにより、ユーザが専用サーバにアクセスした際に編集動画像の選択画面に不本意なサムネイルが表示されないようにする。また、その編集動画像をＳＮＳで公開する際にも不本意なサムネイルが表示されないようにする。以下、その詳細について説明する。

図１は、遊戯画像撮影システム２００の全体構成図である。
遊戯画像撮影システム２００においては、遊戯画像撮影装置１００はインターネット２０４を介してサーバ２０２およびユーザ端末２０６（携帯デバイス）と接続される。遊戯画像撮影装置１００においてユーザは自らを撮影する。遊戯画像撮影装置１００は、被写体（ユーザ）を含む撮影画像を取得し、必要に応じて事前修正を撮影画像に施し、ユーザによる装飾加工を受け付ける。

装飾加工後の編集画像はユーザＩＤとともに遊戯画像撮影装置１００からサーバ２０２にアップロードされる。サーバ２０２は、遊戯画像撮影装置１００で生成された画像を管理する専用サーバであり、ユーザＩＤ、撮影日時および編集画像（編集動画像と編集静止画像）を対応づけて保存する。ユーザは、ユーザＩＤを指定してサーバ２０２にアクセスすることにより、サーバ２０２から編集画像をダウンロードできる。ユーザは、ダウンロードした編集画像を図示しないＳＮＳサーバにアップロードして公開することもできる。

図２は、遊戯画像撮影装置１００の外観斜視図である。
遊戯画像撮影装置１００は、受付装置１０２、撮影ブース１０４、編集ブース１０６および印刷装置１１０を備える。ユーザは、受付装置１０２において遊戯画像撮影装置１００の使用を予約する。ユーザは、受付装置１０２においてユーザＩＤを入力するとともに、現金または電子マネーにてプレイ料金を支払う。受付装置１０２は、ユーザに予約番号を発行する。受付装置１０２は、受付モニタ１０８において待機人数および呼び出し対象となる予約番号を表示させる。ユーザは、自分の予約番号が受付モニタ１０８に表示されると、撮影ブース１０４に入室する。

撮影ブース１０４においてユーザは撮影を行う。撮影終了後、ユーザは編集ブース１０６に移動する。編集ブース１０６には、編集装置１２６が設置される。編集装置１２６は、編集モニタ１２０を備える。編集モニタ１２０には対象画像（装飾加工の対象となる撮影画像）が表示される。本実施形態における編集モニタ１２０は、静電容量式タッチパネルにより形成される。１つの編集モニタ１２０に対して、２つのスタイラスペン１２２ａ、１２２ｂが用意される。ユーザはスタイラスペン１２２および指を使って対象画像に装飾加工を施す。編集終了後、印刷装置１１０は編集静止画像をシール台紙に印刷する。また、編集装置１２６は、編集画像をサーバ２０２にアップロードする。

図３は、撮影ブース１０４の外観斜視図である。
撮影ブース１０４は、カーテン１２４により外部から遮蔽される。撮影ブース１０４には、撮影装置１２８が設置される。撮影装置１２８は、被写体となるユーザを３方向から照らす３つのライト１１６、撮影静止画像および撮影動画像を取得するためのカメラ１１８、第１撮影モニタ１１２および第２撮影モニタ１１４を備える。

第１撮影モニタ１１２は、ユーザの撮影画像（撮影動画像と撮影静止画像）をプレビュー表示させる。第２撮影モニタ１１４は、被写体となるユーザ以外の人物、たとえば、モデルの撮影画像（以下、「サンプル画像」とよぶ）を表示させる。ユーザは、第２撮影モニタ１１４に表示されるサンプル画像を参考にしながら、カメラ１１８の前で任意の撮影ポーズをとる。第２撮影モニタ１１４には、撮影方法に関する各種説明も表示される。上述したように、撮影ブース１０４においては、撮影動画像および撮影静止画像を取得できる。

また、第１撮影モニタ１１２にはユーザが自らの姿を確認するためのライブビュー画像（姿見画像）のほか、撮影タイミングを示すためのカウントダウン画像も表示される。

図４は、遊戯画像撮影装置１００におけるプレイの流れを示すフローチャートである。図５は、遊戯画像撮影装置１００を上から見た平面図である。
ユーザは、受付装置１０２において使用予約を行うと、受付装置１０２は受付処理を実行する（Ｓ１０）。受け付け後、ユーザは撮影ブース１０４に入室する。撮影装置１２８は、ユーザの撮影画像を取得する（Ｓ１２）。撮影ブース１０４においては、ユーザは所定数の撮影画像を取得できる。撮影動画像と撮影静止画像は同時に取得され、撮影動画像と撮影静止画像のペアを１セットの撮影画像とカウントする。本実施形態においては、５セットの撮影画像（撮影動画像と撮影静止画像のセット）が取得される。撮影に際し、ユーザは撮影装置１２８が提供する複数の事前修正メニューから事前修正の方法を選択できる。また、ユーザは撮影画像の背景色等も撮影装置１２８において選択できる。撮影装置１２８は、撮影画像を取得するごとに事前修正を実行する。なお、事前修正メニューは、受付装置１０２においてプレイ前に選択できてもよい。

撮影後、第１撮影モニタ１１２には、２つの編集ブース１０６のいずれかを指示する指示情報が表示される。ユーザは、２つの編集ブース１０６ａ、１０６ｂのうち、第１撮影モニタ１１２により指定された編集ブース１０６に移動する。撮影装置１２８からは、編集装置１２６に撮影画像（対象画像）が転送される。ユーザは、編集装置１２６において転送された撮影画像（対象画像）に装飾加工を施す（Ｓ１４）。

編集後、編集装置１２６は編集画像を印刷装置１１０に送り、印刷装置１１０は編集画像をシール台紙に印刷する（Ｓ１６）。また、編集装置１２６は、サーバ２０２へのアップロードに先立って、編集画像のサムネイルを設定する画像データ調整処理を実行する（Ｓ１８）。この画像データ調整処理の詳細については後述する。その後、編集装置１２６は、インターネット２０４を介して編集画像をサーバ２０２にアップロードする（Ｓ２０）。ユーザは、サーバ２０２にアクセスすることにより、編集画像をサーバ２０２からユーザ端末２０６にダウンロードできる。

一般的には、撮影作業よりも編集作業に時間がかかる。本実施形態の遊戯画像撮影装置１００においては、１つの撮影ブース１０４に対して２つの編集ブース１０６ａ、１０６ｂ（編集装置１２６ａ、１２６ｂ）を設けることにより、顧客回転率を高めている。

図６は、遊戯画像撮影装置１００の機能ブロック図である。
遊戯画像撮影装置１００の各構成要素は、ＣＰＵ（Central Processing Unit）および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。上述のように、遊戯画像撮影装置１００は、撮影装置１２８、受付装置１０２、編集装置１２６および印刷装置１１０の集合体として構成される。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。

遊戯画像撮影装置１００は、ユーザインタフェース処理部１３０、データ処理部１３２、通信部１３４およびデータ格納部１３６を含む。ユーザインタフェース処理部１３０は、受付モニタ１０８、編集モニタ１２０等を介したユーザインタフェース処理を担当する。通信部１３４は、インターネット２０４を介してサーバ２０２との通信処理を担当する。通信部１３４は、Wi-Fi（登録商標）等の近距離無線通信によりユーザ端末２０６と直接通信することもできる。たとえば、通信部１３４からユーザ端末２０６に編集画像を直接送信してもよい。データ格納部１３６は各種データを格納する。データ処理部１３２は、通信部１３４により取得されたデータおよびデータ格納部１３６に格納されているデータに基づいて各種処理を実行する。

ユーザインタフェース処理部１３０は、入力部１４０および出力部１４２を含む。入力部１４０は、ユーザによる操作入力を受け付ける。入力部１４０は、受付装置１０２、撮影装置１２８、編集装置１２６等に設置されるタッチパネルに対するユーザの操作入力を検出する。入力部１４０は、スタイラスペン１２２による操作入力も検出する。入力部１４０は、また、受付装置１０２においてユーザＩＤを検出する。

出力部１４２は、ユーザへの情報提示を行う。出力部１４２は、受付装置１０２、撮影装置１２８、編集装置１２６等における画像表示のほか、音声出力、印刷出力など各種の出力処理を実行する。

出力部１４２は表示部１４４を含む。表示部１４４は、撮影時において、第１撮影モニタ１１２にユーザ（被写体）のライブビュー画像（姿見画像）を表示させる。ユーザはライブビュー画像により自分の姿を鏡に映すように確認しながら撮影を実行する。

データ処理部１３２は、撮影処理部１５０、編集処理部１５２、受付処理部１５４、印刷処理部１５６および画像処理部１５８を含む。撮影処理部１５０は、撮影ブース１０４におけるライト１１６の点灯／消灯、光量、色彩など照明に関する設定を制御し、カメラ１１８による撮影を制御する。

撮影ブース１０４では、ユーザを被写体として静止画および動画が撮影される。撮影処理部１５０は動画撮影部１６０および静止画撮影部１６２を含む。動画撮影部１６０は動画撮影を制御し、静止画撮影部１６２は静止画撮影を制御する。本実施形態では、静止画撮影タイミングの前後で動画を撮影する。以下、その撮影タイミングの前に記録される動画像を「前半動画像」とよび、その撮影タイミングの後に記録される動画像を「後半動画像」とよぶ。動画撮影部１６０は、前半動画像と後半動画像をつなげることにより撮影動画像を生成する。静止画撮影部１６２は、カウントダウンの表示および音声による通知を出力部１４２に指示することにより、ユーザに静止画の撮影タイミングを通知する。

出力部１４２は、撮影画像を対象画像として編集モニタ１２０（静電容量式のタッチパネル）に表示させる。編集処理部１５２は、ユーザからの操作入力にしたがって対象画像を装飾加工する。受付処理部１５４は、受付装置１０２においてユーザによるプレイ料金の支払いを管理する。受付処理部１５４は、撮影ブース１０４において撮影作業が終了するごとに、予約中のユーザを撮影ブース１０４に案内する。印刷処理部１５６は、印刷装置１１０における編集画像の印刷を制御する。

画像処理部１５８は、編集動画像に対応づけられるサムネイルを設定するための画像データ調整処理を実行する。画像処理部１５８は、画像認識部１６４、フレーム選択部１６６およびデータ調整部１６８を含む。画像認識部１６４は、編集動画像を構成するフレームにおける顔画像を認識する。フレーム選択部１６６は、認識された顔画像に基づき、編集動画像を構成する複数のフレームからサムネイルに適切なフレームを代表フレームとして抽出する。データ調整部１６８は、その代表フレームを編集動画像に対応づけるよう画像データを調整し、サーバ２０２に送信させる。この画像データ調整処理の具体例については後述する。

通信部１３４は、受信部１７０および送信部１７２を含む。受信部１７０は、サーバ２０２やユーザ端末２０６等の外部装置からデータを受信する。送信部１７２は、外部装置に向けてデータを送信する。送信部１７２は、アップロードの対象となる編集画像をサーバ２０２に送信する。

図７は、撮影処理の過程を表すタイムチャートである。横軸は時間の経過を示す。
撮影ブース１０４においてユーザが撮影開始ボタン（図示せず）をタッチすると、撮影が開始される。このとき、静止画撮影のためにユーザにポーズを促すポーズ説明画像とサンプル静止画像が第２撮影モニタ１１４に表示される。ポーズ説明画像は、たとえばテキスト情報による通知を表す画像である。

撮影開始から４秒後に、静止画撮影に向けてのカウントダウンが始まる。このカウントダウンは、ユーザに静止画の撮影タイミングを知らせるものである。カウントは静止画撮影の３秒前から始まり、カウントが０になるタイミングで静止画が撮影される。それに先立って、カウントダウン開始の１秒前に動画像の録画が開始される。静止画撮影へのカウントダウン中に動画像の録画を開始することで、ユーザが静止画撮影のためのポーズをとるまでの動きや様子をさりげなく撮影できる。

動画像の録画は、静止画撮影前に一旦停止する。録画を止めてから静止画撮影が行われる。静止画の撮影後に動画像の録画が再開される。ストロボのフラッシュの影響が動画像に及び難くするためである。

動画像の録画が終了すると、撮影静止画像と撮影動画像を事前修正する。事前修正された撮影静止画像と撮影動画像は、第１撮影モニタ１１２に表示される。なお、第１撮影モニタ１１２には、撮影開始から終了までライブビュー画像が表示される。

図８は、撮影動画像の生成方法および画像データの調整方法を表す図である。
図の上段は、静止画撮影タイミングを基準とした動画の撮影期間（動画像の録画期間）を示す。図の中段は、上段との関係で動画の撮影開始からのフレームの取得過程を示す。図の下段は、生成される撮影動画像のフレーム構成を示す。

本実施形態では上述のように、静止画撮影タイミングの４秒前から動画像の録画が開始され、３秒前からカウントダウンが開始される。統計上、静止画の撮影に向けてユーザの気合が最も入る、つまり自身の中で良い表情をつくる（だらけた表情をみせない）のが１秒前あたりと考えられる。このため、静止画撮影タイミングの１秒前を経過したところでストロボを発光させ、静止画撮影タイミングにてカメラ１１８のシャッタが切られる。

動画像の録画は、静止画撮影前に一旦停止され、静止画撮影後に再開される。この例では、静止画撮影の直前に前半動画像の録画が停止される。静止画撮影の０．５秒後に後半動画像の録画が開始され、その録画が１秒間継続する。このように動画像の録画再開まで所定時間あけるのは、残存する反射光による影響を排除するためである。

図示の例では、動画撮影のフレームレートが３０ｆｐｓに設定され、前半動画像のフレームが１２０フレーム、後半動画像のフレームが３０フレーム得られる。このうち、前半動画像の末尾の所定数のフレームをコマ落ち範囲として除去し、前半動画像と後半動画像とを結合して撮影動画像とする。コマ落ち範囲は、静止画撮影のための「準備期間」に対応し、動画にフラッシュが映り込む可能性があるなど、動画撮影には適さないフレーム範囲として予め設定される。このようにコマ落ち範囲を除去することで、動画再生時の画像の品質を維持できる。この撮影動画像は、静止画撮影の画像が含まれないため、スムーズな動画再生を実現できる。

本実施形態では、前半動画像において静止画撮影タイミングの１秒前にあたる第９０フレームまでを使用し、第９１フレーム以降を除去する。後半動画像については全てのフレームを使用する。上述のように、カウントダウンが１秒となるあたりでユーザの表情が最良となるため、その範囲の録画を取りこぼさないようにするためである。図示の例では、前半動画像と後半動画像とを結合した１２０フレームの撮影動画像が生成される。この撮影動画像に対して編集処理（装飾加工）が反映される。

画像処理部１５８は、こうして得られた編集動画像をサーバ２０２にアップロードする際に表示させるサムネイルを設定する。フレーム選択部１６６は、編集動画像を構成する複数のフレームからサムネイルに適切なフレームを代表フレームとして抽出する。ただし、図８の下段に示すように、代表フレームとして選択されうる範囲（以下、「フレーム選択範囲」とよぶ）は、前半動画像を構成する範囲とする。静止画像撮影後はユーザが油断した表情をすると考えられるため、静止画像撮影前の前半動画像の範囲を選択対象とするものである。

画像認識部１６４は、編集動画像のフレームを先頭フレームから順次抽出し、各フレームにおけるユーザの顔画像を認識し、顔の位置や表情を特定する。画像認識部１６４は、各フレームにおいてユーザの顔全体が画角に含まれているか否か、ユーザの表情が予め定める評価基準を満たすか否かを判定する。

図９および図１０は、編集動画像を構成するフレームの例を表す図である。図９はユーザの表情が評価基準を満たす場合の例を示し、図１０はユーザの表情が評価基準を満たさない場合の例を示す。
図示の例では複数（二人）のユーザが映り込んでいるが、図９に示すように、各ユーザの顔全体が画角に収まり、かつ、それぞれの目がぱっちりと開いている状態（目の開度が所定値以上）であれば評価基準が満たされる。図１０に示すように、いずれかのユーザの目が半目であったり、白目をむいていたり、目をつぶっている場合には、評価基準は満たされない。また、いずれかのユーザの顔の一部が切れている（画角からはみ出している）場合も評価基準は満たされない。フレーム選択部１６６は、評価基準を満たすフレームを代表フレームとして設定する。

すなわち、代表フレームの「設定条件」として、予め定める評価基準を満たすことが含まれる。本実施形態では、編集動画像に映る全てのユーザの顔全体が収まることを前提に、全てのユーザの目の開き具合が基準値以上であること、黒目の位置が白目の基準範囲内にあることなどを評価基準が満たされる条件としている。

なお、評価基準に関し、顔全体が画角に収まっているか否かの判定は、たとえば以下のように実現できる。画像認識において顔検出したときに、両目と口が含まれているかどうかにより判定してもよい。あるいは、顔領域のサイズの画面全体に占める割合が所定値以上あるかどうかにより判定してもよい。

目の開度の判定については、たとえば以下のように実現できる。まず、フレームから顔画像に対応する領域（顔領域）を検出する。その顔領域から右目に対応する領域と左目に対応する領域を検出する。そして、右目領域の開度（目の開き具合）を数値化する。たとえば、最大開度の右目画像と最小開度の右目画像を用意しておき、判定対象となる右目領域における瞳領域の縦幅の大きさから、右目領域の開度を数値化してもよい。左目領域の開度についても同様である。

フレーム選択部１６６は、編集動画像の先頭フレームが評価基準を満たしていれば、その先頭フレームを代表フレームとしてサムネイルに設定する。先頭フレームが評価基準を満たしていなければ、次フレーム以降を順次判定し、評価基準を満たすフレームがあればそれを代表フレームとしてサムネイルに設定する。データ調整部１６８は、編集動画像とそのサムネイルとの対応づけを示す設定情報を含むよう画像データを調整する。この「設定情報」は、例えば編集動画像のＩＤと、その編集動画像のサムネイルに対応するフレームの番号とを対応づけた情報であってもよい。送信部１７２は、調整後の画像データをサーバ２０２へ向けて送信する。サーバ２０２の図示しない表示部は、ユーザが編集動画像のダウンロードのためにアクセスしてきた際、ダウンロード画面にその編集動画像に対応するサムネイルを表示させる。

図１１は、ユーザ端末２０６に表示されるダウンロード画面の例を表す図である。
ユーザは、サーバ２０２にアクセスすることにより、ユーザ端末２０６にダウンロード画面２１０を表示させることができる。ダウンロード画面２１０には、遊戯画像撮影装置１００からアップロードされた各編集動画像に対応するサムネイルが表示される。ユーザは、いずれかのサムネイルを選択することで、該当する編集動画像をユーザ端末２０６にダウンロードできる。

図１２は、図４におけるＳ１８の画像データ調整処理を表すフローチャートである。
画像データ調整処理において、画像処理部１５８は、編集動画像の先頭フレームを取得する（Ｓ３０）。画像認識部１６４は、その先頭フレームの画像認識をしてユーザの顔画像を特定し（Ｓ３２）、顔の表情を特定する（Ｓ３４）。そして、上述した評価基準を満たすか否かを判定する（Ｓ３６）。

フレーム選択部１６６は、編集動画像の先頭フレームが評価基準を満たしていれば（Ｓ３６のＹ）、その先頭フレームをサムネイルに設定する（Ｓ３８）。先頭フレームが評価基準を満たしていない場合（Ｓ３６のＮ）、次フレームがフレーム選択範囲にあれば（Ｓ４０のＹ）、画像処理部１５８が次フレームを取得し（Ｓ４４）、Ｓ３２に戻る。

こうして、画像認識部１６４は、次フレーム以降を順次判定し、評価基準を満たすフレームがあれば（Ｓ３６のＹ）、それをサムネイルとして設定する（Ｓ３８）。フレーム選択範囲の全てのフレームについて評価基準を満たすものがなければ（Ｓ４０のＮ）、先頭フレームをサムネイルに設定する（Ｓ４４）。データ調整部１６８は、編集動画像とそのサムネイルの設定情報を含むよう画像データを更新する（Ｓ４６）。

このようにしてサムネイルが設定された編集動画像がサーバ２０２にアップロードされる。遊戯画像撮影装置１００の送信部１７２は、ユーザＩＤとともに編集動画像をサーバ２０２にアップロードしてもよい。サーバ２０２は、ユーザＩＤに対応づけて編集画像（編集動画像、編集静止画像）を保存する。

ユーザは、ユーザＩＤを用いてサーバ２０２にアクセスすることで、サーバ２０２が保持する編集動画像を確認できる。サーバ２０２が表示するダウンロード画面には編集動画像ごとに対応づけられたサムネイルが表示される。ユーザは、そのいずれかのサムネイルを選択することで、サーバ２０２から編集動画像をユーザ端末２０６にダウンロードすることができる。サーバ２０２は、ユーザＩＤに対応づけられ、ユーザに選択された編集画像（編集動画像、編集静止画像）をユーザ端末２０６に送信する。ユーザは、また、ダウンロードした編集動画像をＳＮＳサーバにアップロードすることで編集動画像を公開することもできる。

以上、実施形態に基づいて遊戯画像撮影システム２００を説明した。
本実施形態によれば、遊戯画像撮影装置１００で生成した撮影動画像のサムネイルを、予め定める評価基準を満たすフレームを抽出して設定することとした。この評価基準を満たす条件として、ユーザの顔画像全体が画角に収まっていること、ユーザの表情が良い（予め定める設定基準を満たす）ことが含まれる。このため、その撮影動画像をサーバ２０２にアップロードした際に、ユーザにとって不本意な画像がサムネイルとして表示されることを抑制できる。また、その撮影動画像をＳＮＳにアップロードしたとき、撮影動画像をユーザの意に沿った形で公開しやすくなる。

また、撮影動画像に複数のユーザが含まれる場合には、全てのユーザについて評価基準を満たすフレームがサムネイルとして設定される。このため、サーバ２０２から撮影動画像をダウンロードするいずれのユーザに対しても配慮されたサービスを提供できる。

なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。

遊戯画像撮影装置１００とサーバ２０２、ユーザ端末２０６により、特に、遊戯画像撮影装置１００とサーバ２０２により遊戯画像撮影システム２００が構成されるとして説明したが、遊戯画像撮影装置１００の機能の一部はサーバ２０２により実現されてもよいし、サーバ２０２の機能の一部が遊戯画像撮影装置１００に割り当てられてもよい。また、遊戯画像撮影装置１００やサーバ２０２以外の第３の装置が、これらの装置の機能の一部を担ってもよい。１つまたは複数のハードウェアに対して、本発明を実現するために必要な複数の機能をどのように配分するかは、各ハードウェアの処理能力や遊戯画像撮影システム２００に求められる仕様等に鑑みて決定されればよい。

［変形例］
上記実施形態では、画像データ調整処理を遊戯画像撮影装置１００で実行する例を示した。変形例においては、画像データ調整処理をサーバ２０２で実行してもよい。具体的には、サーバ２０２が画像処理部を備える。遊戯画像撮影装置１００は、生成した編集画像（編集動画像）をそのままサーバ２０２にアップロードする。サーバ２０２の画像処理部は、その編集動画像について所定の評価基準を満たす代表フレームを選択し、サムネイルとして表示させてもよい。

あるいは、ユーザ端末２０６に画像データ調整処理を行うための専用のアプリケーション・ソフトウェアをインストールしてもよい。このアプリケーション・ソフトウェアは、ユーザがサーバ２０２に対して会員登録をしたとき、会員ソフトウェアとしてサーバ２０２からダウンロードできる。

サーバ２０２には、遊戯画像撮影装置１００で生成された編集画像（編集動画像）がサムネイルの調整を行わないままアップロードされる。ユーザは、その編集動画像をユーザ端末２０６にダウンロードする。あるいは、遊戯画像撮影装置１００で生成された編集画像をユーザ端末２０６に直接送信してもよい。ユーザ端末２０６は、会員ソフトウェアによりその編集動画像に対して上記実施形態と同様の画像データ調整処理を実行し、調整後のサムネイルを画面に表示させる。ユーザは、サムネイルが調整された画像データをＳＮＳサーバにアップロードできる。

上記実施形態では、撮影動画像の中から代表フレームを選択してサムネイルとして表示させた。変形例においては、撮影静止画像を代表フレームとして選択し、撮影動画像のサムネイルとして表示させてもよい。静止画撮影に向けてカウントダウンがなされるため、ユーザの表情はその静止画撮影タイミングで最良となる可能性が高い。このため、ユーザの意に沿うサムネイルを公開しやすくなる。

上記実施形態では、編集ブースでの編集が反映された編集動画像について画像データ調整処理を行う例を示した。変形例においは、編集ブースでの編集が行われなかった場合など、編集が反映されない撮影動画像（つまり撮影ブースで撮影された動画像そのもの）について同様の画像データ調整処理を行ってもよい。上記実施形態では述べなかったが、編集動画像に対して画像データ調整処理を行う場合、ユーザが編集ブースに滞在する期間に同処理を行ってもよい。編集が反映されない撮影動画像に対して画像データ調整処理を行う場合、ユーザが撮影ブースに滞在する期間に同処理を行ってもよい。

また、編集処理部１５２が、ユーザから指示されたときには編集画像から装飾加工をオフして元の撮影画像に戻すこともできるようにしてもよい。画像処理部１５８は、元の撮影動画像に対して上述した画像データ調整処理を行ってもよい。

上記実施形態では、撮影動画像を構成する複数のフレームから代表フレームを選択し、その代表フレームをサムネイルとして表示させることで動画像に関連づける例を示した。変形例において、画像処理部は、選択した代表フレームをフレームの先頭に移動させることで動画像と関連づけてもよい。あるいは、先頭フレームを代表フレームに置換することで動画像と関連づけてもよい。所定の評価基準を満たす代表フレームを先頭フレームにすることで、動画を再生したときに最初に注目される画面をユーザの意に沿ったものとしやすくなる。

画像処理部は、先頭フレームから順次判定して代表フレームを抽出したとき、撮影動画像における代表フレームよりも前のフレームを無効（表示禁止）としてもよい。また、データ調整部が、代表フレームよりも前のフレームを削除することで撮影動画像を再構成（データの編集）してもよい。このように代表フレームより前のフレームを表示させないようにすることで、その後に再生される動画像全体の品質を高めることができる。

上記実施形態では、「設定条件」として、先頭フレーム（第１番目のフレーム）から評価基準を満たすか否かを順次判定し、予め定める評価基準そのものを満たすフレームを代表フレームとして選択する例を示した。変形例においては、所定の評価基準との適合度を判定し、適合度が所定値以上となるフレームを代表フレームとして選択してもよい。たとえば、評価基準を数値化したものとし、その評価基準の１００％は満たされなくても、評価基準の所定割合以上（たとえば７５％以上）であれば代表フレームとして採用してもよい。

複数のフレームのうち先頭から所定番目（第１番目以外）のフレームを代表フレームとしてもよい。「所定番目」としては、統計や経験則等からユーザの表情が良好となる値が予め設定される。あるいは、静止画撮影タイミングから遡って所定フレーム前のフレームを代表フレームとしてもよい。「所定番目」としては、静止画撮影タイミングから所定時間前（たとえば１秒前）に対応するフレームを代表フレームとしてもよい。これについても、統計や経験則等からユーザの表情が良好となる値が予め設定される。

上記実施形態では、前半動画像の先頭フレームからコマ落ち範囲直前（準備期間直前）までをフレーム選択範囲とする例を示した。変形例においては、コマ落ち範囲直前の所定範囲をフレーム選択範囲とし、その範囲から代表フレームを選択してもよい。コマ落ち範囲直前でユーザの表情が最良となる可能性が高いことから、ユーザの意に沿った代表フレームを選択できる可能性が高い。あるいは、コマ落ち範囲直前のフレーム（上記実施形態では第９０フレーム）を代表フレームとして選択してもよい。統計上の裏付け等がある場合には、コマ落ち範囲直前に限らず、撮影動画像における特定範囲をフレーム選択範囲とし、その範囲から代表フレームを選択してもよい。

上記実施形態では、代表フレームの選択に関し、評価基準を満たしているか否かを目の開度に基づいて判定する例を示したが、その他の要素に基づいて判定してもよい。たとえば、顔認識で得られた口角が上がっているかどうか、顔が傾いていないかどうかに基づいて判定してもよい。

上記実施形態では、遊戯画像撮影装置として、動画撮影の一時停止のタイミングで静止画を撮影する（言い換えれば、静止画撮影の前後で動画を撮影する）など、１回の撮影において静止画と動画を撮影する装置を例示した。変形例においては、静止画と動画を別々に撮影してもよい。あるいは、動画撮影を停止することなく、動画撮影の途中の所定タイミングで静止画撮影を行ってもよい。それらの場合にも、撮影動画像や編集動画像に対して上記実施形態と同様の画像データ調整処理を行ってよい。

上記実施形態では、撮影動画像に複数のユーザが含まれる場合に、全てのユーザについて評価基準が満たされるフレームがサムネイルとして１つ設定される例を示した。変形例においては、複数のユーザのそれぞれに個別のサムネイルを設定できるようにしてもよい。たとえば、図９、図１０に示したように、第１ユーザと第２ユーザが一緒に撮影する場合を想定する。第１ユーザのユーザＩＤを用いて遊戯画像撮影装置を利用したとする。

その場合、１つの撮影動画像に関し、フレーム選択部は、第１ユーザについて上記手法で選択されたフレームを第１代表フレームとして設定する一方、第２ユーザについて上記手法で選択されたフレームを第２代表フレームとして設定する。第１代表フレームの選択に際して第２ユーザの顔画像は考慮に入れなくてよい。同様に、第２代表フレームの選択に際して第１ユーザの顔画像は考慮に入れなくてよい。

そして、データ調整部は、１つの撮影動画像に複数のサムネイルを対応づけるよう画像データを調整する。すなわち、第１代表フレームをサムネイルとした第１サムネイルと、第２代表フレームをサムネイルとした第２サムネイルを設定する。第１ユーザのユーザＩＤには、第１サムネイルおよび第２サムネイルとその撮影動画像とが対応づけられる。

これにより、第１ユーザが自身のユーザＩＤを用いてサーバ２０２にアクセスすると、第１サムネイルおよび第２サムネイルが表示される。第１ユーザは、第１サムネイルを選択することで、第１サムネイルに対応づけられた撮影動画像をダウンロードできる。また、第１サムネイルおよび第２サムネイルの双方を選択することで、両サムネイルに対応づけられた撮影動画像をダウンロードできる。第１ユーザは、ダウンロードした撮影動画像のうち、第２サムネイルに対応したものを第２ユーザに提供することもできる。

このような構成により、複数のユーザが一緒に動作撮影を行う場合に、必ずしも双方の表情が良好となる瞬間を捉えてサムネイルとする必要がなくなり、遊戯画像撮影装置における処理負荷が低減されることが期待できる。個々のユーザにとっても、共通の撮影動画像について、それぞれが意に沿った（少なくとも不本意でない）サムネイルを保持することができる。

上記実施形態では、遊戯画像撮影装置１００において代表フレームを自動的に選択し、サムネイルに設定する例を示した。変形例においては、代表フレームをユーザが選択できるようにしてもよい。遊戯画像撮影装置１００の画像処理部１５８は、図６に示した機能に加えて代表候補抽出部を含む。代表候補抽出部は、撮影動画像を構成する複数のフレームから代表フレームとなり得る複数の代表候補を抽出する。

代表候補抽出部は、たとえば先頭フレームから評価基準を満たすフレームであるか否かを順次判定し、満たすと判定されたフレームを代表候補として抽出する。こうして代表候補を設定数（たとえば５フレームなど）取得する。画像処理部１５８は、それらの代表候補の一覧画面をたとえばサムネイルの形式で表示部１４４に表示させる。入力部１４０を介したユーザの操作入力によりいずれかの代表候補が選択されると、フレーム選択部１６６は、その選択された代表候補を代表フレームとして設定する。この代表フレームを撮影動画像のサムネイルとして表示させるのは上記実施形態と同様である。このような構成により、よりユーザの意に沿った形で撮影動画像を公開できる。

撮影動画像に複数のユーザが含まれる場合、各ユーザが代表フレームを選択できるようにしてもよい。ここでは、第１ユーザと第２ユーザが含まれるとする。代表候補抽出部は、たとえば先頭フレームから評価基準を満たす複数（設定数）のフレーム（たとえば１０フレーム）を代表候補として抽出する。この代表候補には、第１ユーザについて評価基準を満たすフレームと、第２ユーザについて評価基準を満たすフレームとがそれぞれ少なくとも１つは含まれるようにする。あるいは、設定数のうち、第１ユーザについて評価基準を満たすフレームの数と、第２ユーザについて評価基準を満たすフレームの数とを等しくするなど、両者の割合を予め設定してもよい。

画像処理部１５８は、抽出された代表候補の一覧画面を表示部１４４に表示させる。第１ユーザと第２ユーザのそれぞれが入力部１４０を介していずれかの代表候補を選択できる。第１ユーザが選択した代表候補を第１代表フレームとし、第２ユーザが選択した代表候補を第２代表フレームとする。第１ユーザと第２ユーザがともに会員登録済みであり、それぞれユーザＩＤをもっている場合、データ調整部１６８は、各ユーザが選択した代表フレームを各ユーザのユーザＩＤに対応づけるよう画像データを調整する。第１代表フレームが第１サムネイルとして設定され、第２代表フレームが第２サムネイルとして設定される。つまり、複数のユーザのそれぞれについて意に沿った（少なくとも不本意でない）サムネイルが設定される。

これにより、第１ユーザが自身のユーザＩＤを用いてサーバ２０２にアクセスすると第１サムネイルが表示され、これを選択することで撮影動画像をダウンロードできる。第２ユーザが自身のユーザＩＤを用いてサーバ２０２にアクセスすると第２サムネイルが表示され、これを選択することで撮影動画像をダウンロードできる。また、各ユーザがその撮影動画像をＳＮＳにアップロードしたとき、撮影動画像をユーザの意に沿った形で公開しやすくなる。

なお、代表候補抽出部は、撮影動画像の先頭フレームではなく、コマ落ち範囲直前の所定範囲など、予め定める所定のフレーム選択範囲における先頭フレームから評価基準を満たすフレームであるか否かを順次判定し、代表候補を設定してもよい。

上記実施形態では、遊戯画像撮影システムを動画や写真を撮影してシールに印刷したりサーバにアップロードしてユーザにダウンロードさせるサービスを主な実施例として説明したが、これにとどまらず、ビデオゲームやメダルゲーム、景品取得ゲーム等のゲーム機においてもプレイの様子を撮影する際に、上記実施形態の遊戯画像撮影システムとして機能させてもよい。

上記実施形態では、図８に示したように、静止画撮影の前後で前半動画と後半動画とを分けて録画する例を示した。変形例においては、前半動画と後半動画に分けることなく一連の動画を録画し、その動画の途中で静止画撮影を行ってもよい。動画撮影用のカメラと静止画撮影用のカメラが設けられてもよい。このようにして取得された動画像に画像が止まっているフレーム（以下、「コマ落ちフレーム」とよぶ）が含まれているとする。

本変形例では、前半動画と後半動画とを分けて撮影しないが、静止画撮影の前に録画されている動画部分を「前半動画像」、静止画撮影の後に録画されている動画部分を「後半動画像」ともよぶ。上記のようにしてカメラから取得した一連の動画像（たとえば１２０フレーム）からコマ落ちフレームを除去して残った前半動画像と後半動画像から所定フレーム分（たとえば合計９０フレーム分）を抽出し、撮影動画像とする。

なお、抽出モードとして「シャッタ前モード」と「シャッタ前後モード」を選択可能に設けてもよい。シャッタ前モードが選択されている場合、前半動画像から所定フレームを抽出してもよい。シャッタ前後モードが選択されている場合、前半動画像と後半動画像とを合わせて所定フレームを抽出してもよい。前半動画像と後半動画像のフレーム数を等しくしてもよい。

このようにして抽出された撮影動画像について、図８に示したような非選択範囲を設けなくてもよい。その場合、図１２に示した画像データ調整処理において、Ｓ４０を「次フレームが最終フレームではない？」に置き換えることができる。Ｓ４０において撮影動画像の最終フレームでなければ（Ｓ４０のＮ）、次フレームを取得して処理を継続する（Ｓ４２）。最終フレームであれば（Ｓ４０のＹ）、先頭フレームをサムネイルに設定してもよい（Ｓ４４）。

１００ 遊戯画像撮影装置、１０２ 受付装置、１０４ 撮影ブース、１０６ 編集ブース、１０８ 受付モニタ、１１０ 印刷装置、１１２ 第１撮影モニタ、１１４ 第２撮影モニタ、１１６ ライト、１１８ カメラ、１２０ 編集モニタ、１２６ 編集装置、１２８ 撮影装置、１３０ ユーザインタフェース処理部、１３２ データ処理部、１３４ 通信部、１３６ データ格納部、１４０ 入力部、１４２ 出力部、１４４ 表示部、１５０ 撮影処理部、１５２ 編集処理部、１５４ 受付処理部、１５６ 印刷処理部、１５８ 画像処理部、１６０ 動画撮影部、１６２ 静止画撮影部、１６４ 画像認識部、１６６ フレーム選択部、１６８ データ調整部、２００ 遊戯画像撮影システム、２０２ サーバ、２０４ インターネット、２０６ ユーザ端末。

Claims (7)

1. ユーザを被写体として撮影する撮影部と、
   撮影で得られた動画像を構成する複数のフレームから代表フレームを選択するフレーム選択部と、
   選択された代表フレームを前記動画像に関連づけて表示させる表示部と、
   を備え、
   前記フレーム選択部は、設定条件に基づき前記動画像の先頭フレームとは異なるフレームを前記代表フレームとして選択することを特徴とする遊戯画像撮影システム。
2. 前記表示部は、前記選択された代表フレームを前記動画像のサムネイルとして表示させることを特徴とする請求項１に記載の遊戯画像撮影システム。
3. 前記表示部は、前記選択された代表フレームを前記動画像の先頭フレームとして表示させることを特徴とする請求項１に記載の遊戯画像撮影システム。
4. 前記動画像を構成するフレームにおける顔画像を認識する画像認識部をさらに備え、
   フレーム選択部は、認識された顔の表情に基づいて前記代表フレームを選択することを特徴とする請求項１～３のいずれかに記載の遊戯画像撮影システム。
5. フレーム選択部は、前記被写体として複数のユーザが含まれるとき、各ユーザについて認識された顔の表情に基づいて前記代表フレームを選択することを特徴とする請求項４に記載の遊戯画像撮影システム。
6. ユーザを被写体として撮影する撮影部と、
   撮影で得られた動画像を構成する複数のフレームから代表候補を抽出する代表候補抽出部と、
   ユーザによる選択入力を受け付ける入力部と、
   ユーザにより前記代表候補の中から選択されたフレームを代表フレームとして前記動画像に関連づけて表示させる表示部と、
   を備えることを特徴とする遊戯画像撮影システム。
7. 入力部は、前記被写体として複数のユーザが含まれるとき、各ユーザからの選択入力を受け付け、
   前記表示部は、各ユーザが選択した代表フレームをそれぞれ表示させることを特徴とする請求項６に記載の遊戯画像撮影システム。

Images