JP7473778B2 - 撮影装置、表示制御方法、およびプログラム - Google Patents

撮影装置、表示制御方法、およびプログラム Download PDF

Info

Publication number
JP7473778B2
JP7473778B2 JP2019208080A JP2019208080A JP7473778B2 JP 7473778 B2 JP7473778 B2 JP 7473778B2 JP 2019208080 A JP2019208080 A JP 2019208080A JP 2019208080 A JP2019208080 A JP 2019208080A JP 7473778 B2 JP7473778 B2 JP 7473778B2
Authority
JP
Japan
Prior art keywords
user
image
unit
camera
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019208080A
Other languages
English (en)
Other versions
JP2021082916A (ja
Inventor
裕 大畠
理生 藤田
Original Assignee
フリュー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フリュー株式会社 filed Critical フリュー株式会社
Priority to JP2019208080A priority Critical patent/JP7473778B2/ja
Publication of JP2021082916A publication Critical patent/JP2021082916A/ja
Application granted granted Critical
Publication of JP7473778B2 publication Critical patent/JP7473778B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Studio Devices (AREA)

Description

本技術は、撮影装置表示制御方法、およびプログラムに関し、特に、面白みのある撮影を利用者に提供することができるようにした撮影装置表示制御方法、およびプログラムに関する。
従来、写真シール作成装置が知られている。写真シール作成装置は、利用者を撮影し、撮影画像に対して利用者に編集を行わせ、編集後の画像をシール紙に印刷して提供するものである。写真シール作成装置は遊戯施設などに設置される。
写真シール作成装置が提供する1ゲームの流れは、通常、撮影空間内にいる利用者を被写体として撮影を行った後、利用者を編集空間に移動させ、編集空間内で行われる操作に従って画像を編集して、編集済みの画像をシール紙に印刷するものとなる。
特許文献1には、カメラの真上にレーザスキャナを設け、利用者までの距離を計測することができるようにした写真作成装置が開示されている。利用者までの距離を計測することにより、複数の利用者が前後の位置関係にある場合に、前の人と後ろの人の間に付加画像を合成することが可能となる。
特開2008-259085号公報
特許文献1に記載の写真作成装置においては、利用者までの距離に応じた付加画像の合成が、撮影によって得られた静止画像を対象として行われる。撮影を行っている利用者の前方に用意されるモニタに表示されるライブビュー画面においてそのような付加画像の合成が行われるとすれば、面白みのある撮影を利用者に提供できるものと考えられる。
本技術はこのような状況に鑑みてなされたものであり、面白みのある撮影を利用者に提供することができるようにするものである。
本技術の一側面の情報処理装置は、利用者を被写体として撮影を行うカメラと、撮影された動画像に写る前記利用者の顔を認識する顔認識部と、オブジェクトを含むフレームを合成した前記動画像を表示する表示部と、前記利用者の顔が所定の領域に入ったことに応じて、動きのあるオブジェクト表示させる表示制御部とを備え、前記フレームは、前記利用者の前景に表示される前景画像と、前記利用者の背景に表示される背景画像とから構成される
本技術の一側面においては、利用者を被写体として撮影された動画像に写る利用者の顔が認識され、オブジェクトを含むフレームを合成した動画像が表示部に表示され、利用者の顔が所定の領域に入ったことに応じて、動きのあるオブジェクト動画像に重ねて表示される。前記フレームは、前記利用者の前景に表示される前景画像と、前記利用者の背景に表示される背景画像とから構成される。
本技術によれば、面白みのある撮影を利用者に提供することができる。
写真シール作成装置の外観の構成例を示す斜視図である。 写真シール作成装置の外観の構成例を示す斜視図である。 ゲームの流れの例を示す図である。 撮影部の正面の構成例を示す図である。 撮影部の斜視図である。 カメラユニットの高さを利用者が調整する様子を示す図である。 カメラユニットの回転の例を示す図である。 カメラユニットの回転と、撮影される画像の関係を示す図である。 カメラユニットのチルト方向の首振りの例を示す図である。 背景部の撮影空間側の構成例を示す図である。 写真シール作成装置の構成例を示すブロック図である。 写真シール作成装置の機能構成例を示すブロック図である。 ポーズ情報の例を示す図である。 撮影処理部の構成例を示すブロック図である。 ライブビュー表示制御部の構成例を示すブロック図である。 撮影処理について説明するフローチャートである。 撮影処理について説明する、図16に続くフローチャートである。 ライブビュー画面の表示例を示す図である。 コンテンツ属性情報の例を示す図である。 キャラクタの動きの例を示す図である。 キャラクタの動きの他の例を示す図である。 アニメーションフレームのレイヤ構成の例を示す図である。 アニメーションフレームのレイヤ構成の他の例を示す図である。 撮影画像の例を示す図である。 ライブビュー画面の表示例を示す図である。 アニメーションフレームの他の例を示す図である。 携帯端末の表示例を示す図である。
<<写真シール作成装置の構成>>
<写真シール作成装置の外観構成>
図1および図2は、写真シール作成装置1の外観の構成例を示す斜視図である。
写真シール作成装置1は、撮影画像や編集画像を提供するゲーム機である。写真シール作成装置1は、ゲームセンターなどのアミューズメント施設や店舗に設置される。
写真シール作成装置1の利用者は、主に女子高生や若い女性が中心とされる。写真シール作成装置1において、1組あたり主に2人や3人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置1において、1人の利用者がゲームを楽しむこともできる。
写真シール作成装置1において、利用者は、自身が被写体となって撮影を行う。利用者は、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの合成用画像を合成させる。これにより、撮影画像が彩り豊かな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。
写真シール作成装置1は、写真作成ゲームを提供する写真作成ゲーム機ということができる。
図1に示すように、写真シール作成装置1は、基本的に、撮影ユニット11と編集ユニット12が接した状態で設置されることによって構成される。撮影ユニット11と編集ユニット12は電気的に接続される。
撮影ユニット11は、人が中に入ることができる程度の大きさの空間を有する箱形状の筐体を有し、事前選択部20、撮影部21、および背景部22から構成される。事前選択部20は、撮影部21の側面に設置される。事前選択部20の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影部21と背景部22は所定の距離だけ離して設置される。撮影部21と背景部22の間に形成される空間が、撮影処理が行われる撮影空間となる。
写真シール作成装置1の撮影空間の広さは、10人程度の利用者が同時に入って、大人数で撮影をすることができる広さである。
事前選択部20は、事前選択処理として、写真シール作成装置1によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を行ったりする。事前選択部20には、利用者が代金を投入する硬貨投入口や、タッチパネルモニタ71などが設けられる。
タッチパネルモニタ71は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ71は、各種のGUI(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ71には、利用者の人数の選択などに用いられる画面が表示される。
撮影部21は、利用者を被写体として撮影するための装置である。撮影部21は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影部21の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。
撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影部21の左側面が側面パネル41Aにより構成され、右側面が側面パネル41Bにより構成される。さらに、撮影部21の正面が正面パネル42により構成される。側面パネル41Aには、上述した事前選択部20が設置される。なお、事前選択部20が、側面パネル41Bに設置されるようにしてもよい。
背景部22は、背面パネル51、側面パネル52A、および側面パネル52Bから構成される。背面パネル51は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル52Aは、背面パネル51の左端に取り付けられた板状の部材である。側面パネル52Bは、背面パネル51の右端に取り付けられた板状の部材である。
側面パネル41Aと側面パネル52Aの間の開口が撮影空間の出入り口となる。また、側面パネル41Bと側面パネル52Bの間の開口も撮影空間の出入り口となる。
撮影空間の上方は、天井シート23によって覆われる。天井シート23は、シート状であってもよいし、板状であってもよい。
編集ユニット12は、撮影により得られた撮影画像に編集を施すための装置である。図2に示すように、編集ユニット12は、撮影部21の正面パネル42から突出するように形成された所定の幅の収納部43に連結される。
図1に示される編集ユニット12の構成を正面側の構成とすると、編集ユニット12の正面側と背面側のそれぞれに、編集で用いる構成が設けられる。この構成により、2組の利用者が同時に編集を行うことができる。
編集ユニット12の正面側は、面61と、面61の上方に形成された斜面62から構成される。斜面62には、編集に用いられる構成として、タブレット内蔵モニタ141と、タッチペン142A,142Bが設けられる。斜面62の上方には照明装置63が設けられる。
タブレット内蔵モニタ141は、タブレットとディスプレイが積層して構成される。タブレット内蔵モニタ141には、例えば、編集に用いられる編集画面が表示される。2人の利用者が同時に編集を行う場合、タッチペン142Aはタブレット内蔵モニタ141に向かって左側にいる利用者により用いられ、タッチペン142Bはタブレット内蔵モニタ141に向かって右側にいる利用者により用いられる。
なお、タッチペン142Aを用いた操作とタッチペン142Bを用いた操作は識別される。タブレット内蔵モニタ141の左側の表示に対してはタッチペン142Aを用いた操作のみが可能とされ、右側の表示に対してはタッチペン142Bを用いた操作のみが可能とされる。以下、適宜、タッチペン142Aとタッチペン142Bを区別する必要がない場合、まとめてタッチペン142という。
編集ユニット12の上方にはカーテンレール24が取り付けられる。カーテンレール24は、3本のレール24A乃至24Cを組み合わせて構成される。3本のレール24A乃至24Cは、上から見たときの形状がコの字状となるように組み合わせられる。
カーテンレール24には、編集ユニット12の正面前方の空間と背面前方の空間が外から見えないようにカーテンが取り付けられる。そのカーテンにより囲まれる編集ユニット12の正面前方の空間と背面後方の空間が、利用者が編集を行う編集空間となる。
編集ユニット12の側面には、印刷済みのシール紙が排出されるシール紙排出口161が設けられる。編集ユニット12の側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。
<利用者の移動について>
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について説明する。
図3は、写真シール作成装置1を上から見た平面図である。
利用者は、事前選択部20の前方の空間である事前選択空間A0において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタ71に表示される画面に従って各種の設定を行う。利用者は、例えば、撮影時に利用者がとるポーズの選択などを事前選択として行う。
事前選択を終えた利用者は、白抜き矢印#1で示すように、側面パネル41Aと側面パネル52Aの間の出入り口G1から、撮影部21と背景部22の間に形成された撮影空間A1に入る。利用者は、撮影部21に設けられたカメラやタッチパネルモニタなど利用して撮影を行う。
撮影を終えた利用者は、白抜き矢印#2で示すように出入り口G1から撮影空間A1を出て編集空間A2-1に移動するか、または、白抜き矢印#3で示すように出入り口G2から撮影空間A1を出て編集空間A2-2に移動する。
編集空間A2-1は、編集ユニット12の正面側の編集空間である。一方、編集空間A2-2は、編集ユニット12の背面側の編集空間である。利用者が編集空間A2-1と編集空間A2-2のいずれの空間に移動するのかは、撮影部21のタッチパネルモニタの画面表示などによって案内される。例えば2つの編集空間のうちの空いている方が移動先として案内される。編集空間A2-1または編集空間A2-2に移動した利用者は、編集を開始する。編集空間A2-1の利用者と、編集空間A2-2の利用者は同時に編集を行うことができる。
編集が終了した後、編集画像の印刷が開始される。編集空間A2-1での編集を終えた利用者は、白抜き矢印#4で示すように編集空間A2-1から印刷待ち空間A3に移動する。また、編集空間A2-2での編集を終えた利用者は、白抜き矢印#5で示すように編集空間A2-2から印刷待ち空間A3に移動する。
印刷待ち空間A3に移動した利用者は、印刷が終わるのを待つ。利用者は、編集ユニット12の側面に設けられたシール紙排出口161から排出されたシール紙を受け取り、一連の写真シール作成ゲームを終える。
<撮影部の構成>
・撮影部の外観構成
図4および図5は、撮影部21の構成例を示す図である。図4は撮影部21の正面図であり、図5は撮影部21の斜視図である。
底面パネル44の上面には、垂直面を構成する側面パネル41A、側面パネル41B、および正面パネル42が固定される。撮影部21の各構成は、底面パネル44の上に、側面パネル41A、側面パネル41B、および正面パネル42に囲まれるようにして設けられる。
撮影部21の略中央には、柱状に重ねた左右の各構成に挟まれる形で、上下方向の溝部21Aが形成される。正面パネル42の内側(撮影空間A1側の面)の一部が、溝部21Aにおいて現れる。
溝部21Aの奥に現れる正面パネル42には、上下方向のレール部42Aが設けられる。レール部42Aに沿って移動可能な状態で取り付けられた支持部にカメラユニット81が固定される。図4、図5に示す状態は、カメラユニット81が最も低い位置にある状態である。
レール部42Aの左側に付された数字で示されるように、カメラユニット81の高さが段階的に設定される。正面パネル42の表面は、それぞれの高さの境界を示す水平線によって区分けされている。
レール部42Aの右側には、高さガイド用LEDが上下方向に並べて設けられる。レール部42Aに沿って設けられる高さガイド用LEDは、カメラユニット81の高さを誘導するためのガイドとして動作し、発光する。
円柱状の筐体を有するカメラユニット81の正面には、カメラ91とライブビューモニタ92が設けられる。
カメラ91は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット81に収納される。カメラ91は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有し、撮影空間A1にいる利用者を撮影する。カメラ91は、利用者を被写体として撮影を行う撮影部として機能する。
カメラ91により取り込まれた動画像に基づいて生成されたライブビュー画像は、小型のディスプレイであるライブビューモニタ92にリアルタイムで表示される。ライブビューモニタ92は、LCDなどにより構成される。
カメラ91とライブビューモニタ92の左右には、ハンドル93-1,93-2が設けられる。ハンドル93-1,93-2は、細い棒状の部材を略コの字状に折り曲げることによって構成される。
ハンドル93-1,93-2は、図6に示すように、カメラユニット81の高さを利用者が調整するために用いられる。後述するように、写真シール作成装置1による撮影は、適宜、カメラユニット81の状態を変えて行われる。カメラユニット81の状態は、例えば、カメラユニット81の高さと、カメラユニット81の姿勢により表される。
利用者が調整した高さにカメラユニット81(カメラユニット81が取り付けられた支持部)を留めるための構成が、正面パネル42の内部、および、正面パネル42の外側に設けられた収納部43の内部に設けられる。カメラユニット81の高さと姿勢の調整については後述する。
溝部21Aの左側には、上から順に、箱状のストロボユニット82-1、箱状部84、および、ストロボユニット83-1が設けられる。ストロボユニット82-1と箱状部84は、所定の間隔を空けて設けられる。箱状部84の天板84Aの上は、撮影を行う利用者が手荷物などを置くための荷物置き場として用いられる。
ストロボユニット82-1とストロボユニット83-1の内部には、撮影空間A1の照明となるLED電球と、静止画像である撮影画像の撮影タイミングに合わせて利用者にストロボ光を照射するストロボ発光管が設けられる。ストロボユニット82-1とストロボユニット83-1の側面は、透明または半透明のアクリル板などによって構成される。
箱状部84の内部には、写真シール作成装置1の全体の動作を制御するコンピュータが収納される。
一方、溝部21Aの右側には、上から順に、箱状のストロボユニット82-2、箱状部85、箱状部86、および、ストロボユニット83-2が設けられる。
ストロボユニット82-2とストロボユニット83-2の内部には、ストロボユニット82-1、ストロボユニット83-1と同様に、撮影空間A1の照明となるLED電球と、ストロボ光を照射するストロボ発光管が設けられる。ストロボユニット82-2とストロボユニット83-2の側面も、透明または半透明のアクリル板などによって構成される。
同じ高さに設けられるストロボユニット82-1,82-2により、主に、利用者の顔や上半身にストロボ光を照射し、ストロボユニット83-1,83-2により、主に、利用者の下半身にストロボ光を照射することになる。
ストロボユニット82-2の下には、若干内向きに正面85Aが形成された箱状部85が設けられる。箱状部85の正面85Aには、スマートフォンの置き場となるスマートフォンホルダ101が設けられる。スマートフォンホルダ101は、スマートフォンを横向きで置くのに十分な長さとなるように形成される。
利用者は、自分のスマートフォンをスマートフォンホルダ101に置き、スマートフォンを利用して、ゲーム中の自身の様子を動画像や静止画像として撮影することができる。正面85Aが内向きに形成されていることにより、スマートフォンホルダ101に置いたスマートフォンのカメラが撮影空間A1の中央を向くことになる。
箱状部85の下には、若干内向きに正面86Aが形成された箱状部86が設けられる。箱状部86の正面86Aにはタッチパネルモニタ102が設けられる。
タッチパネルモニタ102は、ディスプレイとタッチパネルを積層して構成される。タッチパネルモニタ102は、各種の画面を表示し、利用者の選択操作を受け付ける機能を有する。タッチパネルモニタ102は、カメラユニット81に設けられたライブビューモニタ92より大きいモニタである。
また、タッチパネルモニタ102には、事前選択時に利用者により選択されたポーズの見本を示す画像であるポーズ見本画像が表示される。利用者は、タッチパネルモニタ102に表示されるポーズ見本画像を見て確認したポーズを、ライブビューモニタ92に表示されるライブビュー画像を見ながらとることになる。
このように、撮影空間A1には2つのモニタが設けられ、2つのモニタが連携して利用者に対する情報の提示が行われる。
撮影部21の所定の位置には、撮影処理の案内音声、BGM、効果音などを出力するスピーカなども設けられる。
・カメラユニット81の姿勢の調整
上述したように、カメラユニット81は、高さだけでなく、姿勢を調整することも可能とされる。カメラユニット81の姿勢の調整は、回転と、チルト方向の首振りにより実現される。
図7は、カメラユニット81の回転の例を示す図である。
図7に示すように、円柱状の筐体を有するカメラユニット81は、その周側面を2点で支持する支持部121に取り付けられる。支持部121がレール部42Aに沿って上下方向に移動することにより、カメラユニット81が移動する。
図7Aに示すカメラユニット81の状態は、図4等に示す横向きの状態から、右方向に所定の角度だけ回転させ、斜めの向きとした状態である。一点鎖線で示すように、カメラユニット81は、中心Oを通る軸L1を基準として回転させることが可能とされる。軸L1は、カメラユニット81の正面に対して垂直であり、カメラ91のレンズの光軸と略平行な軸である。
カメラユニット81の回転も、例えばハンドル93-1,93-2をそれぞれ両手で掴み、右方向(時計回り)、または左方向(反時計回り)に回転させることによって行われる。
図7Bに示すカメラユニット81の状態は、図7Aに示す斜めの状態からさらに右方向に回転させ、縦向きとした状態である。例えば、カメラ91を横向きの状態から縦向きの状態になるまで、90度の範囲でカメラユニット81を回転させることが可能とされる。カメラユニット81を回転させたとき、カメラユニット81の内部に固定されたカメラ91も回転する。
図8は、カメラユニット81の回転と、撮影される画像の関係を示す図である。
図8の左端に示すカメラユニット81の状態は横向きの状態である。一点鎖線は横向きの状態にあるときの水平線を表す。矢印#11の先に示すように、カメラユニット81が横向きの状態にあるときに撮影された横長の画像には、利用者が正対した状態で写ることになる。
図8の左から2番目に示すカメラユニット81の状態は、横向きの状態からカメラユニット81を右方向に30度だけ回転させた状態である。矢印#12の先に示すように、カメラユニット81を右方向に30度だけ回転させた状態で撮影された横長の画像には、利用者が左方向に30度だけ傾いた状態で写ることになる。
図8の左から3番目に示すカメラユニット81の状態は、横向きの状態からカメラユニット81を右方向に60度だけ回転させた状態である。矢印#13の先に示すように、カメラユニット81を右方向に60度だけ回転させた状態で撮影された横長の画像には、利用者が左方向に60度だけ傾いた状態で写ることになる。
図8の右端に示すカメラユニット81の状態は、横向きの状態からカメラユニット81を右方向に90度だけ回転させ、縦向きとした状態である。矢印#14の先に示すように、カメラユニット81が縦向きの状態にあるときに撮影された横長の画像には、利用者が左方向に90度だけ傾いた状態で写ることになる。
図8に示すように、写真シール作成装置1のゲームにおいては、カメラユニット81を横向きにした状態が「ヨコ」として表され、横向きの状態からカメラユニット81を右方向に30度だけ回転させた状態が「ヨコナナメ」として表される。横向きの状態からカメラユニット81を右方向に60度だけ回転させた状態が「タテナナメ」として表され、カメラユニット81を縦向きとした状態が「タテ」として表される。
このように、利用者は、例えばライブビューモニタ92に表示されるガイドに従ってカメラユニット81の回転方向の向きを調整し、撮影を行うことができる。
図9は、カメラユニット81のチルト方向の首振りの例を示す図である。
図9の一点鎖線で示すように、カメラユニット81は、支持部121との連結部を通る軸L2を基準として、チルト方向の向きを調整することが可能とされる。カメラユニット81が横向きの状態にある場合、首振りの方向は上下方向となる。
図9Aに示すカメラユニット81の状態は、図4等に示す横向きで正面を向いた状態から、下方向に所定の角度だけ回転させた状態である。カメラユニット81の正面は、斜め下方向を向くことになる。
図9Bに示すカメラユニット81の状態は、横向きで正面を向いた状態から、上方向に所定の角度だけ回転させた状態である。カメラユニット81の正面は、斜め上方向を向くことになる。
カメラユニット81のチルト方向の向きの調整も、例えばハンドル93-1,93-2をそれぞれ両手で掴み、上方向、または下方向に回転させることによって行われる。
このように、利用者は、例えばライブビューモニタ92に表示されるガイドに従ってカメラユニット81の正面の向きを上向き、または下向きに調整し、撮影を行うことができる。
以上のようなカメラユニット81の高さと姿勢の調整は、1枚の撮影画像の撮影毎に行われる。後述するように、事前選択時に利用者により選択されたポーズがそれぞれの撮影前に順に提示される。利用者は、提示されたポーズに応じてカメラユニット81の高さと姿勢を調整した後にポーズをとって撮影を行うことになる。
<背景部の構成>
図10は、背景部22の撮影空間A1側の構成例を示す図である。
図10に示すように、側面パネル52Aの内側には、撮影を開始するときに押下されるボタンである背景撮影ボタン131が設けられる。例えば、背景撮影ボタン131が押下されたことに応じて撮影までのカウントダウンが開始され、カウントダウンが終了したときに、静止画像である撮影画像の撮影が行われる。
利用者は、提示されたポーズを確認した後にカメラユニット81の高さと姿勢を調整し、その後、背景撮影ボタン131を押下することによってカウントダウンを開始させることができる。カウントダウンが行われている間、利用者はライブビューモニタ92の表示を見ながらポーズをとることになる。
このように、写真シール作成装置1におけるそれぞれの撮影は、基本的に、カメラユニット81の高さや姿勢を調整した後に行われる利用者の指示に応じて行われる。撮影を開始するときに押下される撮影ボタンとして、タッチパネルモニタ102の画面に表示されるボタンも用意されるが、背景側にも背景撮影ボタン131が用意されていることにより、利用者は、撮影のたびにタッチパネルモニタ102に近づく必要がない。
背面パネル51の手前の床には、横長直方体状のクッション132が用意される。クッション132は、利用者が座って撮影を行うために用いられる。
図10に示すように、クッション132の長さは、撮影空間A1の横幅と略同じ長さであり、高さは20cm程度である。クッション132は弾力性のある素材により構成される。
<<写真シール作成装置の内部構成>>
図11は、写真シール作成装置1の構成例を示すブロック図である。図11において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図11に示すように、写真シール作成装置1は、PC(Personal Computer)部301に対して、事前選択部302、撮影部304、編集部305A,305B、および印刷部306が外部入出力インタフェース303を介して接続されることによって構成される。写真シール作成装置1の全体の動作を制御するPC部301は、例えば箱状部84(図4、図5)の内部に収納される。
PC部301を構成するCPU(Central Processing Unit)311、ROM(Read Only Memory)312、RAM(Random Access Memory)313は、バス314により相互に接続される。
CPU311は、所定のプログラムを実行し、写真シール作成装置1の全体の動作を制御する。ROM312は、CPU311が実行するプログラムやデータを記憶する。RAM312は、CPU311が処理するデータやプログラムを一時的に記憶する。
バス314には、さらに、入出力インタフェース315が接続される。入出力インタフェース315には、記憶部316、通信部317、およびドライブ318が接続される。
記憶部316は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部316は、CPU311から供給された各種の設定情報などを記憶する。記憶部316に記憶されている情報はCPU311により適宜読み出される。
通信部317は、インターネットなどのネットワークのインタフェースである。通信部317は、CPU311による制御に従って外部の装置と通信を行う。通信部317は、利用者により選択された画像を、例えば写真シール作成装置1の製造メーカが管理する画像取得サイト管理サーバに送信する。通信部317から送信された画像は、所定の記憶領域が割り当てられて保存され、画像取得サイト管理サーバにアクセスしてきた携帯端末上で表示されたり、携帯端末にダウンロードされたりする。
ドライブ318には、光ディスクや半導体メモリなどよりなるリムーバブルメディア319が適宜装着される。ドライブ318によりリムーバブルメディア319から読み出されたプログラムやデータは、CPU311に供給され、記憶部316に記憶されたり、インストールされたりする。
入出力インタフェース315には外部入出力インタフェース303が接続される。PC部301による各部の制御が、外部入出力インタフェース303を介して行われる。
事前選択部302は、事前選択空間A0にいる利用者を対象とした事前選択処理を行う。事前選択部302は、タッチパネルモニタ71、スピーカ72、および硬貨処理部321から構成される。
タッチパネルモニタ71は、PC部301による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部301に供給され、各種の設定が行われる。
硬貨処理部321は、硬貨投入返却口への硬貨の投入を検出する。硬貨処理部321は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号をPC部301に出力する。
撮影部304は、撮影空間A1にいる利用者を対象とした撮影処理を行う。撮影部304は、カメラ91、ライブビューモニタ92、タッチパネルモニタ102、高さガイド用LED111、背景撮影ボタン131、高さセンサ331、角度センサ332、照明装置333、およびスピーカ334から構成される。
カメラ91は、PC部301によるシャッタ制御に従って撮影を行い、撮影によって得られた静止画像、または動画像のデータをPC部301に出力する。
ライブビューモニタ92は、PC部301による制御に従って、カメラ91により取り込まれた動画像に基づいて生成されたライブビュー画像をリアルタイムで表示させる。
タッチパネルモニタ102は、PC部301による制御に従って各種の画面を表示する。また、タッチパネルモニタ102は、表示した画面に対する利用者の操作を受け付け、受け付けた操作の内容を表す信号をPC部301に出力する。
高さガイド用LED111は、PC部301による制御に従って発光する。
背景撮影ボタン131は、利用者により押下された場合、撮影開始を指示する信号をPC部301に出力する。
高さセンサ331は、カメラユニット81の高さを検出し、検出結果を表す信号をPC部301に出力する。
角度センサ332は、カメラユニット81の回転角を検出し、検出結果を表す信号をPC部301に出力する。
照明装置333は、撮影空間A1内の各ストロボユニットであり、PC部301から供給された制御信号に従って発光する。照明装置333は、ストロボユニット82-1,82-2、ストロボユニット83-1,83-2により構成される。
スピーカ334は、撮影空間A1内の所定の位置に設けられるスピーカである。
編集部305Aは、編集空間A2-1にいる利用者を対象とした編集処理を行う。編集部305Aは、タブレット内蔵モニタ141、タッチペン142A,142B、およびスピーカ341から構成される。編集部305Bは、編集空間A2-2にいる利用者を対象とした編集処理を行い、編集部305Aと同一の構成を有する。以下、適宜、編集部305A,305Bをまとめて編集部305という。
タブレット内蔵モニタ141は、PC部301による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部301に供給され、編集対象となる撮影画像が編集される。
印刷部306は、プリンタ351を含むように構成される。プリンタ351にはシール紙ユニット352が装着される。
プリンタ351は、内蔵するヘッド361を駆動し、PC部301から供給された印刷データに基づいて、シール紙ユニット352に収納されているロール状のシール紙363に画像を印刷する。また、プリンタ351は、画像を印刷したシール紙363をカッター362によって所定のカット位置でカットして、シール紙排出口161に排出する。
<写真シール作成装置の機能構成例>
図12は、写真シール作成装置1の機能構成例を示すブロック図である。図12に示す機能部のうちの少なくとも一部は、CPU311により所定のプログラムが実行されることによって実現される。
写真シール作成装置1においては、事前選択処理部401、撮影処理部402、編集処理部403、印刷処理部404、およびポーズ情報記憶部405が実現される。
事前選択処理部401は、事前選択部302の各部を制御することで、事前選択処理を実行する。事前選択処理により、利用者の人数の選択、撮影時に利用者がとるポーズの選択などが行われる。利用者による選択内容を表す情報は撮影処理部402に供給される。
撮影処理部402は、撮影部304の各部を制御することで撮影処理を行う。撮影処理部402は、撮影処理を行うことによって得られた撮影画像のデータを編集処理部403に出力する。撮影処理部402から編集処理部403に対しては、撮影を複数回行うことによって得られた複数枚の撮影画像のデータが供給される。
編集処理部403は、編集部305の各部を制御することで編集処理を行う。編集処理には、撮影画像に写る利用者の目の大きさや肌の明るさを調整するための画像処理、撮影画像に対して編集を施すための画像処理などが含まれる。
撮影画像の編集後、編集処理部403は、分割数の選択に用いられる画面、画像取得サイト管理サーバに送信する画像の選択に用いられる画面などの各種の画面をタブレット内蔵モニタ141に表示する。編集処理部403は、利用者により選択された分割数に従って各編集画像を配置することによって印刷データを生成し、印刷処理部404に出力する。また、編集処理部403は、利用者により選択された編集画像を画像取得サイト管理サーバに送信する。
印刷処理部404は、プリンタ351に印刷データを出力し、編集画像の印刷を行う。
ポーズ情報記憶部405は、ポーズに関する情報であるポーズ情報を記憶する。ポーズ情報記憶部405には、複数のポーズのそれぞれのポーズ情報が記憶される。ポーズ情報記憶部405に記憶されているポーズ情報は、事前選択処理時に事前選択処理部401により読み出され、撮影処理時に撮影処理部402により読み出される。
図13は、ポーズ情報の例を示す図である。
図13に示すように、ポーズ情報には、ポーズ見本画像とポーズ属性情報が含まれる。
ポーズ見本画像は、ポーズをとったモデルの人物が写っている画像である。ポーズ見本画像は、例えばポーズの見本として用いられる。2人用のポーズの見本である図13に示すポーズ見本画像には2人のモデルの人物が写っている。
吹き出しに示すように、ポーズ属性情報には、ポーズ名、撮影ガイド(表示用)、撮影ガイド(音声用)、カメラ高さ、カメラ回転方向、カメラ向き、およびトリミング範囲の各内容を表す情報が含まれる。
ポーズ名は、ポーズの名前である。図13のポーズ見本画像によって表されるポーズの名前は「#自撮り風アップ」とされている。
撮影ガイド(表示用)は、ポーズのとり方のアドバイスとして表示される表示用の撮影ガイドである。表示用の撮影ガイドは、例えばタッチパネルモニタ102に表示される。
撮影ガイド(音声用)は、ポーズのとり方のアドバイスとして出力される音声の撮影ガイドである。音声の撮影ガイドは、例えばスピーカ334から出力される。
カメラ高さは、撮影時のカメラユニット81の高さを表す。例えば、カメラ高さは、図4等に示す高さ1乃至5に対応する、1乃至5の値によって表される。図13の例においては、「#自撮り風アップ」のポーズのカメラ高さは「高さ1」とされている。「#自撮り風アップ」のポーズでの撮影前、「高さ2」に対応する高さガイド用LED111が発光し、カメラユニット81を高さ2に調整するための誘導が行われる。
カメラ回転方向は、撮影時のカメラユニット81の回転方向を表す。例えば、カメラ回転方向は、図8等を参照して説明した「タテ」、「ヨコ」、「ナナメタテ」、「ナナメヨコ」の4方向によって表される。図13の例においては、「#自撮り風アップ」のポーズのカメラ回転方向は「ヨコ」とされている。「#自撮り風アップ」のポーズでの撮影前、ライブビューモニタ92にガイドが表示され、カメラユニット81を横向きに調整するための誘導が行われる。
カメラ向きは、撮影時のカメラユニット81のチルト方向の向きを表す。例えば、カメラ向きは、図13等を参照して説明した「上」、「下」、「正面」の3方向によって表される。図13の例においては、「#自撮り風アップ」のポーズのカメラ向きは「正面」とされている。「#自撮り風アップ」のポーズでの撮影前、ライブビューモニタ92にガイドが表示され、カメラユニット81を正面に向けるように調整するための誘導が行われる。
トリミング範囲は、撮影によって得られた原画像からトリミングにより切り出す範囲を表す。例えば、トリミング範囲は、「普通」、「広め」、「狭め」の3種類の広さの範囲によって表される。図13の例においては、「#自撮り風アップ」のポーズのトリミング範囲は「狭め」とされている。
このように、トリミング範囲がポーズ毎に設定される。例えば、ポーズ毎に、異なるトリミング範囲が設定される。範囲の広狭だけでなく、原画像上のトリミング範囲の位置がポーズ毎に指定されるようにしてもよい。
ポーズ見本画像と、以上のような各情報を含むポーズ属性情報とが、ポーズ毎に予め設定され、用意される。ポーズ名、撮影ガイド(表示用)、撮影ガイド(音声用)、カメラ高さ、カメラ回転方向、カメラ向き、およびトリミング範囲が、ポーズに紐付けられる。
<撮影処理部の詳細構成>
図14は、撮影処理部402の構成例を示すブロック図である。
撮影処理部402は、撮影制御部421、画像処理部422、ライブビュー表示制御部423、ガイド制御部424、ポーズ提示部425、画像記憶部426、および表示制御部427から構成される。事前選択処理において選択されたポーズに関するポーズ情報は、画像処理部422、ガイド制御部424、およびポーズ提示部425に入力される。
撮影制御部421は、カメラ91を制御することによって動画像の撮影を行い、撮影を行うことによって得られた動画像を画像処理部422に出力する。撮影制御部421から出力された動画像はライブビュー画像の生成に用いられる。
また、撮影制御部421は、撮影ボタンが利用者により押下された場合、カウントダウンに合わせて静止画像の撮影を行い、撮影を行うことによって得られた静止画像を画像処理部422に出力する。撮影制御部421から出力された静止画像は撮影画像の生成に用いられる。撮影ボタンは、第1撮影ボタンとしての、タッチパネルモニタ102に表示された撮影ボタン、および、第2撮影ボタンとしての背景撮影ボタン131である。
画像処理部422は、撮影制御部421から供給された動画像の各フレームから矩形領域をトリミングにより切り出し、切り出した画像からなる動画像を生成する。画像処理部422により生成された動画像は、ライブビュー画面に表示するライブビュー画像として用いられる。
トリミングにより切り出す範囲が、ポーズ属性情報により指定される。
また、画像処理部422は、撮影制御部421から供給された静止画像から矩形領域をトリミングにより切り出すことによって、所定の画角の撮影画像を生成する。画像処理部422により生成された撮影画像は、画像記憶部426に供給され、記憶される。
ライブビュー表示制御部423は、画像処理部422から供給された動画像に基づいて、ライブビューモニタ92にライブビュー画像を表示させる。
ガイド制御部424は、高さセンサ331と角度センサ332から供給された信号に基づいて、カメラユニット81の高さと姿勢を誘導するためのガイドを出力する。
例えば、ガイド制御部424は、ポーズに紐付けられたカメラ高さをポーズ属性情報に基づいて特定し、カメラ高さに応じた高さガイド用LED111を発光させることによって、カメラユニット81の高さを誘導する。ガイド制御部424は、移動方向を表す情報をライブビューモニタ92に表示させることによっても、カメラユニット81の高さを誘導する。
また、ガイド制御部424は、ポーズに紐付けられたカメラ回転方向とカメラ向きをポーズ属性情報に基づいて特定する。ガイド制御部424は、カメラ回転方向を表す情報をライブビューモニタ92に表示させることによってカメラユニット81の回転方向を誘導するとともに、カメラ向きを表す情報をライブビューモニタ92に表示させることによってカメラユニット81のチルト方向の向きを誘導する。
ポーズ提示部425は、ポーズ情報に基づいてポーズの提示を制御する。例えば、ポーズ提示部425は、ポーズ見本画像をタッチパネルモニタ102に表示させることによって、ポーズを提示する。
画像記憶部426は、画像処理部422により生成された撮影画像を記憶する。撮影処理が終了した場合、画像記憶部426に記憶された撮影画像は編集処理部403に供給され、編集の対象として用いられる。
表示制御部427は、ポーズの提示以外のタッチパネルモニタ102の表示を制御する。例えば、表示制御部427は、ポーズ提示部425により表示されるポーズ見本画像の隣に、撮影の開始を指示するときに押下される撮影ボタンを表示させる。
また、表示制御部427は、撮影画像の撮影が所定の回数以上行われた場合、画像記憶部426に記憶されている撮影画像を読み出し、編集対象として用いる撮影画像の選択に用いる画面であるキープ選択画面をタッチパネルモニタ102に表示させる。キープ選択画面を用いて選択された撮影画像が、画像記憶部426に残され、編集処理部403に供給される。
図15は、図14のライブビュー表示制御部423の構成例を示すブロック図である。
図15に示すように、ライブビュー表示制御部423は、顔認識部451、コンテンツ再生部452、および表示制御部453により構成される。画像処理部422から供給された動画像であるライブビュー画像は、顔認識部451と表示制御部453に入力される。
顔認識部451は、アニメーションフレームを用いた撮影時、ライブビュー画像に写る利用者の顔を認識する。アニメーションフレームは、キャラクタなどのオブジェクトを含む複数フレームの画像からなるコンテンツである。
キャラクタが所定の動作をとるような、動きのあるオブジェクトを含むアニメーションフレームが複数用意される。事前選択処理におけるポーズ選択時、アニメーションフレームを選択することが可能とされる。
利用者は、上述したようにしてポーズの提示を受けながら撮影を行うだけでなく、アニメーションフレームの表示を見ながら撮影を行うこともできる。ポーズ選択時に選択されたアニメーションフレームの情報は、図示せぬ経路を介してライブビュー表示制御部423に供給される。
アニメーションフレームを用いた撮影時、ライブビュー画像にはアニメーションフレームが重ねて表示される。利用者は、キャラクタなどのオブジェクトが合成された自分の様子を見ながら、立ち位置やポーズを調整することができる。アニメーションフレームを用いた撮影の結果である撮影画像は、アニメーションフレームが合成された静止画像となる。
顔認識部451による顔の認識は、ライブビュー画像を構成する各フレームを対象として行われる。顔認識部451は、認識した顔の、フレーム内における位置を表す情報をコンテンツ再生部452に出力する。
コンテンツ再生部452は、アニメーションフレームを表示させるためのコンテンツの再生を制御する。コンテンツ再生部452により再生されたアニメーションフレームの情報は表示制御部453に供給される。
例えば、コンテンツ再生部452は、利用者の顔が所定の領域内にある場合、オブジェクトのアニメーションを開始させるようにコンテンツを再生する。アニメーションフレームを用いた撮影の開始時、例えば静止した状態のオブジェクトがライブビュー画像に重ねて表示され、利用者の顔が所定の領域内に入ったことに応じて、オブジェクトが動き出すことになる。
表示制御部453は、アニメーションフレームを用いた撮影時、コンテンツ再生部452から供給された情報に基づいて、アニメーションフレームをライブビュー画像に重ねて表示させる。
また、表示制御部453は、通常のポーズを用いた撮影時、画像処理部422から供給されたライブビュー画像をそのままライブビューモニタ92に表示させる。
<<写真シール作成装置の動作>>
ここで、図16および図17のフローチャートを参照して、写真シール作成装置1の撮影処理について説明する。
図16、図17に示す撮影処理は、所定の金額分の硬貨が利用者により投入され、事前選択処理が事前選択処理部401により行われた後に行われる。事前選択処理を終えた利用者は、撮影空間A1に移動して撮影を開始する。
事前選択処理においては、上述したように、タッチパネルモニタ71に表示される画面を用いて、利用者の人数の選択と、撮影毎のポーズ選択が行われる。ポーズ選択においては、それぞれの撮影において用いるポーズまたはアニメーションフレームが選択される。例えば、ポーズを用いた撮影と、アニメーションフレームを用いた撮影とを混在させて選択することが可能とされる。
なお、ポーズを用いた撮影は、利用者がポーズの提示を受けた状態で行われる撮影である。また、アニメーションフレームを用いた撮影は、アニメーションフレームの表示を見ながら行われる撮影である。
ステップS1において、ライブビュー表示制御部423は、これから行う撮影が、アニメーションフレームを用いた撮影であるか否かを判定する。
アニメーションフレームを用いた撮影であるとステップS1において判定した場合、ステップS2に進む。
ステップS2において、ガイド制御部424は、撮影に用いるアニメーションフレームに応じた高さガイド用LED111を発光させ、カメラユニット81の高さを誘導する。後述するように、それぞれのアニメーションフレームに対しても、撮影時のカメラユニット81の高さなどが紐付けられている。
ステップS3において、ライブビュー表示制御部423の表示制御部453は、ライブビュー画像にアニメーションフレームを重ねて表示させる。コンテンツ再生部452から表示制御部453に対しては、利用者により選択されたアニメーションフレームの、デフォルトの状態の情報が供給される。
ライブビュー画面には、アニメーションフレームを構成するオブジェクトが例えば静止した状態で表示される。また、ライブビュー画面には、利用者の顔の位置を誘導する枠の画像が表示される。ライブビュー画面に表示される枠内の領域が、利用者の顔が入った場合にオブジェクトのアニメーションのトリガとなる領域である。
ステップS4において、顔認識部451は被写体の顔認識を開始する。
ステップS5において、コンテンツ再生部452は、顔認識部451による認識結果に基づいて、利用者の顔が、ライブビュー画面に表示させた枠内にあるか否かを判定する。
利用者の顔が枠内にあるとステップS6において判定した場合、ステップS7において、コンテンツ再生部452は、アニメーションを開始させる。
図18は、ライブビュー画面の表示開始時の状態を示す図である。
図18の例においては、縦向きのライブビュー画面がライブビューモニタ92に表示されている。図18に示すライブビュー画面は、カメラユニット81を縦向きにした状態で表示される画面である。
ライブビュー画面には、画面の大部分の範囲に表示領域501が形成される。表示領域501はライブビュー画像の表示領域である。
図18の例においては、カメラ91により撮影された動画像に映る2人の利用者の背景に、アニメーションフレームを構成するオブジェクトであるキャラクタCが表示されている。動物風のキャラクタCは、両手を挙げて静止した状態で表示される。
また、図18の例においては、カメラ91により撮影された動画像に映る2人の利用者の前景に、横長長方形の枠画像Fが表示されている。枠画像Fは、利用者の顔の位置を誘導する画像である。
表示領域501の下には、細幅帯状の表示領域502が形成される。表示領域502は、カメラユニット81のチルト方向のガイドとなる情報の表示領域である。図18の例においては、カメラユニット81を下向きにすることが誘導されている。
すなわち、アニメーションフレームに対しても、通常のポーズと同様に、カメラユニット81の向きなどの属性情報が紐付けられる。
図19は、コンテンツ属性情報の例を示す図である。
図19の吹き出しに示すように、コンテンツとしてのアニメーションフレームの属性情報であるコンテンツ属性情報には、コンテンツ名、撮影ガイド(表示用)、撮影ガイド(音声用)、カメラ高さ、カメラ回転方向、カメラ向き、およびトリミング範囲の各内容を表す情報が含まれる。図13を参照して説明したポーズ属性情報と同様の情報がコンテンツ属性情報に含まれる。重複する説明については適宜省略する。
コンテンツ名は、アニメーションフレームの名前である。図19のアニメーションフレームの名前は「#抱きつき」とされている。
撮影ガイド(表示用)は、アニメーションフレームを用いた撮影のアドバイスとして表示される表示用の撮影ガイドである。表示用の撮影ガイドは、例えばタッチパネルモニタ102に表示される。
図19の例においては、「赤枠の中に顔を入れるとキャラクタが動き出すよ」の撮影ガイドがタッチパネルモニタ102に表示される。この撮影ガイドにおいて顔の位置の誘導先として指定している「赤枠」は、図18の枠画像Fを表す。図18のアニメーションフレームは、利用者の顔が枠画像Fの中に入ったことに応じて、キャラクタCが動き出すコンテンツである。
撮影ガイド(音声用)は、アニメーションフレームを用いた撮影のアドバイスとして出力される音声の撮影ガイドである。音声の撮影ガイドは、例えばスピーカ334から出力される。図19の例においては、「赤枠に入るとキャラクタが動き出すよ」の撮影ガイドの音声がスピーカ334から出力される。
カメラ高さは、撮影時のカメラユニット81の高さを表す。図19の例においては、「#抱きつき」のアニメーションフレームのカメラ高さは「高さ1」とされている。「#抱きつき」のアニメーションフレームを用いた撮影前、「高さ1」に対応する高さガイド用LED111が発光し、カメラユニット81を高さ1に調整するための誘導が行われる。
カメラ回転方向は、撮影時のカメラユニット81の回転方向を表す。図19の例においては、「#抱きつき」のアニメーションフレームのカメラ回転方向は「タテ」とされている。「#抱きつき」のアニメーションフレームを用いた撮影前、ライブビューモニタ92にガイドが表示され、カメラユニット81を横向きに調整するための誘導が行われる。
カメラ向きは、撮影時のカメラユニット81のチルト方向の向きを表す。図19の例においては、「#抱きつき」のアニメーションフレームのカメラ向きは「下」とされている。「#抱きつき」のアニメーションフレームを用いた撮影前、ライブビューモニタ92にガイドが表示され、カメラユニット81を下に向けるように調整するための誘導が行われる。
トリミング範囲は、撮影によって得られた原画像からトリミングにより切り出す範囲を表す。図19の例においては、「#抱きつき」のアニメーションフレームを用いた撮影時のトリミング範囲は「広め」とされている。
以上のような各情報を含むコンテンツ属性情報が、アニメーションフレーム毎に予め設定され、用意される。コンテンツ名、撮影ガイド(表示用)、撮影ガイド(音声用)、カメラ高さ、カメラ回転方向、カメラ向き、およびトリミング範囲が、アニメーションフレームに紐付けられる。
利用者はライブビュー画面に表示される自分の様子を見ながら、顔が枠画像Fに入るように立ち位置を調整することになる。利用者の顔が枠画像Fに入ったことに応じて、アニメーションが開始され、キャラクタCが動いて表示される(ステップS6)。
図20は、キャラクタCの動きの例を示す図である。
利用者の顔が枠画像Fに入っている場合、図20に示すように、表情を変えながら、後ろから利用者に抱きつくような動きをとるキャラクタCが表示される。キャラクタCの両腕は上げた状態から徐々に降ろされる。
図20の右端に示すキャラクタCの状態が、動きが完了した状態、すなわち、動きを表現する複数のフレーム(動画像であるライブビュー画像の各フレームに合成される画像)のうちの最後のフレームが表示されている状態である。キャラクタCの両腕が、一部、利用者の前景として表示される。
キャラクタCの動きを表現する最後のフレームの表示中、ライブビュー画面は図21に示すような表示となる。利用者は、キャラクタCに抱きつかれているようなライブビュー画像を見ながら撮影を行うことができる。図21の例においては、利用者の顔が枠画像Fに入っている。
このようなキャラクタCの動きが、利用者の顔が枠画像Fに入った直後に開始されるようにしてもよいし、利用者の顔が枠画像Fに入ってから所定の時間が経過した後に開始されるようにしてもよい。所定の時間が経過した後にキャラクタCが動き出すようにすることにより、キャラクタCの動きに注目させることができる。
図22および図23は、アニメーションフレームのレイヤ構成の例を示す図である。
図22は、図20の中央に示すアニメーションフレームのレイヤ構成を示し、図23は、図20の右端に示すアニメーションフレームのレイヤ構成を示す。
図22、図23の下段に示すように、アニメーションフレームを構成する各フレームは、利用者の前景に表示される前景レイヤの画像である前景オブジェクト画像と、利用者の背景に表示される背景レイヤの画像である背景オブジェクト画像とから構成される。
前景オブジェクト画像には、利用者の前景に表示される腕部分のキャラクタCの画像が配置される。一方、背景オブジェクト画像には、利用者の背景に表示される、腕以外の部分のキャラクタCの画像が配置される。
前景オブジェクト画像に配置される腕部分は、枠画像F内に顔が入るような立ち位置にいる利用者の前景に合成した場合に、後ろから利用者に腕を回しているような見え方となるように予め設定される。枠画像Fは、顔の位置を誘導する画像であるとともに、立ち位置を誘導する画像でもある。
利用者が映る人物領域のレイヤの前景に前景オブジェクト画像が合成され、背景に背景オブジェクト画像が合成されることにより、キャラクタCが利用者に抱きつくようなアニメーションが実現される。
以上のようなライブビュー画像がライブビューモニタ92に表示されている間、タッチパネルモニタ102には、図19を参照して説明した表示用の撮影ガイドの他に、撮影のガイドとなる各種の情報が表示される。
図16の説明に戻り、ステップS7において、コンテンツ再生部452は、利用者の顔が枠から外れたか否かを判定する。
顔が枠から外れたとステップS7において判定した場合、ステップS8において、コンテンツ再生部452は、アニメーションを停止させる。例えば、キャラクタCの状態が利用者に抱きついている状態の場合、抱きつきが解除される。キャラクタCの状態は、例えば、両手を上げた、デフォルトの図18の状態に戻る。
ステップS5において、利用者の顔が枠内にないと判定された場合、ステップS6乃至S8の処理はスキップされる。また、ステップS7において利用者の顔が枠から外れていないと判定した場合、ステップS8の処理がスキップされ、アニメーションが続けられる。
ステップS9において、撮影制御部421は、撮影ボタンが押されたか否かを判定する。撮影ボタンが押されていないとステップS9において判定された場合、ステップS5に戻り、アニメーションフレームが合成されたライブビュー画像の表示が続けられる。
一方、撮影ボタンが押されたとステップS9において判定した場合、ステップS10において、撮影制御部421は、カウントダウンに合わせて静止画像の撮影を行う。撮影により得られた静止画像は画像処理部422に出力され、アニメーションフレームに応じたトリミングなどが施されることによって撮影画像が生成される。
図24は、撮影画像の例を示す図である。
アニメーションフレームを用いた撮影が行われた場合、カメラ91により撮影された静止画像に対して、動きを表現する複数のフレームのうちの最後のフレームを合成した撮影画像Pが撮影結果の画像として生成される。編集処理においては、キャラクタCが写る撮影画像Pに対して、編集が施されることになる。
図16のステップS11において、撮影制御部421は、撮影終了か否かを判定する。
例えば撮影枚数が残っていることから、撮影終了ではないとステップS11において判定された場合、ステップS1に戻り、撮影が繰り返される。
これから行う撮影がアニメーションフレームを用いた撮影ではない、すなわち、ポーズを用いた通常の撮影であるとステップS1において判定された場合、処理はステップS12(図17)に進む。
ステップS12において、ガイド制御部424は、利用者に提示するポーズに応じた高さガイド用LED111を発光させ、カメラユニット81の高さを誘導する。ガイド制御部424においては、次に提示するポーズがポーズ情報に基づいて特定される。
ステップS13において、ポーズ提示部425は、利用者に提示するポーズに応じて、ポーズ見本画像をタッチパネルモニタ102に表示させる。
ポーズ見本画像の表示が開始されるとともに、ライブビュー画像用の動画像の撮影が開始される。撮影制御部421は、カメラ91を制御し、動画像の撮影を開始する。画像処理部422は、撮影制御部421により撮影された動画像の各フレームから、ポーズに応じた矩形領域の範囲をトリミングにより切り出し、ライブビュー画像を生成する。
ステップS14において、ライブビュー表示制御部423は、ライブビュー画像をライブビューモニタ92に表示させる。
図25は、ライブビューモニタ92に表示されるライブビュー画像(ステップS14)の表示例を示す図である。
図25に示すように、表示領域501には、撮影を行っている2人の利用者が映るライブビュー画像が表示される。ポーズを用いた撮影時、ライブビュー画像にはアニメーションフレームが合成されない。
図25の例においては、カメラユニット81のチルト方向の向きを正面とすることを誘導する情報が表示されている。
なお、表示領域501の左側に形成される縦長帯状の表示領域503は、例えば、カメラユニット81の回転方向を表す情報の表示領域である。
カメラユニット81が横向きの状態にある場合、このようなライブビュー表示画面がライブビューモニタ92に表示される。
利用者は、ライブビュー表示画面に表示されるライブビュー画像を見て、画角の収まり具合や自分のポーズなどを確認することができる。
ステップS15において、カメラユニット81の状態が検出される。すなわち、高さセンサ331は、カメラユニット81の高さを検出する。また、角度センサ332は、カメラユニット81の回転角を検出する。高さセンサ331と角度センサ332による検出結果を表す信号はガイド制御部424に供給される。
ステップS16において、ガイド制御部424は、高さセンサ331により検出されたカメラユニット81の現在の高さが、ポーズに紐付けられたカメラ高さと異なる場合、カメラユニット81の移動方向を表す情報をライブビューモニタ92に表示させる。
例えば、移動方向を表す矢印などの画像とともに、「光っているエリアにカメラを移動させてね」などのメッセージが表示される。ここで表示される矢印などの画像は、カメラユニット81の高さを誘導する画像となる。
また、ガイド制御部424は、角度センサ332により検出された角度に基づいて特定されたカメラユニット81の回転方向の向きが、ポーズに紐付けられたカメラ回転方向と異なる場合、カメラユニット81の回転方向を表す情報をライブビューモニタ92に表示させる。
例えば、回転方向を表す矢印などの画像とともに、「矢印の方向に回転させてね」などのメッセージが表示される。ここで表示される矢印などの画像は、カメラユニット81の回転方向を誘導する画像となる。
カメラユニット81の高さと回転方向に関するこのような誘導が、アニメーションフレームを用いた撮影時にも行われる。
ステップS17において、撮影制御部421は、撮影ボタンが押されたか否かを判定する。撮影ボタンが押されていないとステップS17において判定された場合、ステップS15に戻り、上述した処理が繰り返される。
撮影ボタンが押されたとステップS17において判定された場合、ステップS18において、撮影制御部421は、カウントダウンに合わせて静止画像の撮影を行う。撮影により得られた静止画像は画像処理部422に出力され、ポーズに応じたトリミングなどが施されることによって撮影画像が生成される。撮影画像が生成された後、処理はステップS11(図16)に進む。
所定の枚数の撮影が行われたことから、または、撮影の制限時間が経過したことから、撮影終了であるとステップS11において判定された場合、ステップS19において、表示制御部427は、編集空間A2への移動を案内する。編集空間A2への移動の案内は、案内画面をタッチパネルモニタ102に表示させるなどして行われる。編集空間A2への移動の案内が行われた後、撮影処理は終了となる。
以上の処理により、利用者は、アニメーションフレームを選択することによって、動くオブジェクトを見ながら撮影を楽しむことができる。
また、カメラユニット81の高さや姿勢が調整可能となっているため、利用者は、カメラユニット81を動かすことによって、様々な角度から撮影され、アニメーションフレームが合成されたライブビュー画像を見ながら撮影を楽しむことができる。
写真シール作成装置1からすれば、面白みのある撮影を利用者に提供することができる。
以上のような撮影処理の後、編集空間A2-1と編集空間A2-2のうち、撮影処理を終えた利用者の移動先とした方の編集空間を用いて、編集処理部403により編集処理が行われる。
例えば、編集処理部403は、タブレット内蔵モニタ141に編集画面を表示させ、撮影処理により得られた撮影画像に対して利用者に編集を行わせる。編集画面には、編集対象の撮影画像とともに、ペンツールの画像やスタンプツールの画像などの、撮影画像に合成する画像を選択するときに押下されるボタンなどが表示される。編集処理部403は、利用者の操作に応じて他の画像を合成することによって撮影画像の編集を行い、編集画像を生成する。
撮影画像の編集後、編集処理部403は、分割数の選択に用いられる画面、画像取得サイト管理サーバに送信する画像の選択に用いられる画面などの各種の画面をタブレット内蔵モニタ141に表示する。編集処理部403は、利用者により選択された分割数に従って各編集画像を配置することによって印刷データを生成する。また、編集処理部403は、利用者により選択された編集画像を画像取得サイト管理サーバに送信する。
編集処理の後、編集処理部403により生成された印刷データに基づいて、印刷処理部404により印刷が行われる。
写真シール作成装置1の利用者の各グループに対しては、以上のような一連の処理からなる写真シール作成ゲームが提供される。あるグループの利用者に続けて他のグループの利用者が写真シール作成装置1の利用を開始した場合、写真シール作成装置1の利用を先に始めた利用者の写真シール作成ゲームと、後から始めた利用者の写真シール作成ゲームとが適宜並行して行われることになる。
<<その他>>
・アニメーションフレームについて
アニメーションフレームを構成する各フレームが、前景オブジェクト画像と背景オブジェクト画像の2つのレイヤの画像から構成されるものとしたが、一方のレイヤの画像から構成されるようにしてもよい。
図26は、アニメーションフレームの他の例を示す図である。
図26の例においては、花束を持つキャラクタCが利用者の前景に表示されている。図26に示すアニメーションフレームは、前景オブジェクト画像から構成されるアニメーションフレームである。
図26に示すアニメーションフレームにおいても、利用者の顔が所定の枠内に入ることに応じてキャラクタCが動き出す。
・利用者の人数について
写真シール作成装置1のゲームのコースとして、例えば、利用者の人数が2人である場合に選択される2人用コース、利用者の人数が3人または4人である場合に選択される3人/4人用コース、利用者の人数が5人以上である場合に選択される5人以上用コースが用意される。事前選択処理においては、このような複数の人数コースの中から、利用者の人数に応じた人数コースが選択される。
以上のようなアニメーションフレームを用いた撮影が、2人用コースまたは3人/4人用コースの選択時には可能とされ、5人以上用コースの選択時には不可とされるようにしてもよい。これにより、顔認識などの処理負担を軽減させることが可能となる。
・枠画像について
ライブビュー画像に表示される枠画像として1つの横長長方形の枠の画像が表示されるものとしたが、枠画像の位置は、アニメーションフレームの種類毎に異なる位置となる。枠画像の位置を表す情報がコンテンツ属性情報に含まれるようにしてもよい。
カメラユニット81の高さ、カメラユニット81の姿勢などの、カメラユニット81の状態に応じて、枠画像の位置が変化するようにしてもよい。
位置だけでなく、枠画像の大きさ、形状がアニメーションフレームの種類毎に変化するようにしてもよい。枠画像の位置、大きさ、形状のうちの少なくともいずれかがアニメーションフレームの種類毎に異なるようにすることが可能である。
また、複数の枠画像が表示されるアニメーションフレームが用意されるようにしてもよい。人数コースに応じて、異なる数の枠画像が表示されるようにしてもよい。
図21の例においては、2人の利用者の顔が枠画像F内に表示されているが、1人の利用者の顔が枠画像F内に入ったことに応じて、アニメーションが開始されるようにしてもよい。また、全員である2人の利用者の顔が枠画像F内に入ったことに応じて、アニメーションが開始されるようにしてもよい。2人用コース以外の3人/4人用コースが選択された場合も同様である。
アニメーションの停止(抱きつきの解除)についても同様に、1人の利用者の顔が枠画像Fから外れたことに応じて、アニメーションが停止されるようにしてもよいし、全員の顔が枠画像Fから外れたことに応じて、アニメーションが停止されるようにしてもよい。
・アニメーションのトリガについて
利用者の顔が枠画像に入ったことに応じてアニメーションが開始されるものとしたが、顔の位置ではなく、顔の大きさと顔の向きに基づいて、アニメーションの開始タイミングが制御されるようにしてもよい。
顔の大きさと顔の向きの両方ではなく、顔の大きさと顔の向きのうちの少なくともいずれかに基づいて、アニメーションの開始タイミングが制御されるようにすることが可能である。
顔以外の利用者の部位が枠画像に入ったことに応じてアニメーションが開始されるようにしてもよい。
・その他
ポーズを用いた撮影時に表示されるライブビュー画像にアニメーションフレームが合成されるようにしてもよい。この場合、利用者は、ポーズの提示を受けながら、アニメーションフレームが合成されたライブビュー画像を見て撮影を行うことになる。
アニメーションフレームの画角の向きが、カメラユニット81の状態に応じて切り替えられるようにしてもよい。この場合、カメラユニット81が縦向きのときには、アニメーションフレームが縦向きで表示され、カメラユニット81が横向きのときには、アニメーションフレームが横向きで表示される。
カメラユニット81の向きは、例えば、ライブビュー画像に対して付加されたメタデータに基づいて判定される。カメラ91によって付加されるメタデータには、ライブビュー画像の向きが縦向きであるのか、横向きであるのかを表す情報が含まれる。角度センサ332による検出結果に基づいてカメラユニット81の向きが判定されるようにしてもよい。
・プログラムの例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
インストールされるプログラムは、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)や半導体メモリなどよりなるリムーバブルメディアに記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。
図27は、携帯端末の表示例を示す図である。
アニメーションフレームを用いた撮影機能を実現するアプリケーション(プログラム)が用意され、スマートフォンなどの携帯端末601にインストールされるようにしてもよい。携帯端末601を用いて、利用者の撮影が行われる。
図27の例においては、携帯端末601に搭載されたカメラ612によって撮影が行われ、図18等を参照して説明したものと同じアニメーションフレームが合成されたライブビュー画像がディスプレイ611に表示されている。図27の例においては、利用者の表示が省略されている。携帯端末601のユーザは、枠画像に顔が入るようにカメラ612の向きなどを調整し、撮影を行うことになる。
コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
1 写真シール作成装置, 91 カメラ, 92 タッチパネルモニタ, 141 タブレット内蔵モニタ, 301 PC部, 302 事前選択部, 304 撮影部, 305 編集部, 306 印刷部, 401 事前選択処理部, 402 撮影処理部, 403 編集処理部, 404 印刷処理部, 421 撮影制御部, 422 画像処理部, 423 ライブビュー表示制御部, 424 ガイド制御部, 425 ポーズ提示部, 426 画像記憶部, 427 表示制御部, 451 顔認識部, 452 コンテンツ再生部, 453 表示制御部

Claims (11)

  1. 利用者を被写体として撮影を行うカメラと、
    撮影された動画像に写る前記利用者の顔を認識する顔認識部と、
    オブジェクトを含むフレームを合成した前記動画像を表示する表示部と、
    前記利用者の顔が所定の領域に入ったことに応じて、動きのある前記オブジェクト表示させる表示制御部と
    を備え
    前記フレームが、前記利用者の前景に表示される前景画像と、前記利用者の背景に表示される背景画像とから構成される
    撮影装置
  2. 前記表示部は、前記所定の領域を表す画像を、位置を固定して前記動画像に重ねて表示する
    請求項に記載の撮影装置
  3. 前記表示部は、前記オブジェクトが静止している前記フレームを表示し、
    前記表示制御部は、前記利用者の顔が前記所定の領域に入ったことに応じて、動きのある前記オブジェクトの表示を開始させる
    請求項1または2に記載の撮影装置
  4. 前記表示制御部は、前記利用者の顔が前記所定の領域から出たことに応じて、前記オブジェクトの動きを停止させる
    請求項に記載の撮影装置
  5. 前記利用者が複数人である場合、前記表示制御部は、いずれか1人の前記利用者の顔が前記所定の領域に入ったことに応じて、または、全員の前記利用者の顔が前記所定の領域に入ったことに応じて、動きのある前記オブジェクトの表示を開始させる
    請求項1乃至4のいずれかに記載の撮影装置
  6. 前記利用者が複数人である場合、前記表示制御部は、いずれか1人の前記利用者の顔が前記所定の領域から出たことに応じて、または、全員の前記利用者の顔が前記所定の領域から出たことに応じて、前記オブジェクトの動きを停止させる
    請求項に記載の撮影装置
  7. 前記カメラは、高さと角度の調整が可能なカメラであり、
    前記表示部は、前記所定の領域を表す画像を、前記カメラの状態に応じた位置に表示する
    請求項に記載の撮影装置
  8. 前記表示制御部は、前記動画像の画角の向きに応じて、前記フレームの向きを制御する
    請求項に記載の撮影装置
  9. 撮影装置が、
    利用者を被写体としてカメラにより撮影を行い、
    撮影された動画像に写る前記利用者の顔を認識
    オブジェクトを含むフレームを合成した前記動画像を表示部に表示し、
    前記利用者の顔が所定の領域に入ったことに応じて、動きのある前記オブジェクト表示させる
    表示制御方法であって、
    前記フレームが、前記利用者の前景に表示される前景画像と、前記利用者の背景に表示される背景画像とから構成される
    表示制御方法。
  10. 撮影装置を制御するコンピュータに、
    利用者を被写体としてカメラにより撮影を行い、
    撮影された動画像に写る前記利用者の顔を認識
    オブジェクトを含むフレームを合成した前記動画像を表示部に表示し、
    前記利用者の顔が所定の領域に入ったことに応じて、動きのある前記オブジェクト表示させる
    処理を実行させるためのプログラムであって、
    前記フレームが、前記利用者の前景に表示される前景画像と、前記利用者の背景に表示される背景画像とから構成される
    プログラム。
  11. カメラと表示部を有する携帯端末を制御するコンピュータに、
    利用者を被写体として前記カメラにより撮影された動画像に写る前記利用者の顔を認識し、
    オブジェクトを含むフレームを合成した前記動画像を前記表示部に表示し、
    前記利用者の顔が所定の領域に入ったことに応じて、動きのある前記オブジェクトを表示させる
    処理を実行させるためのプログラムであって、
    前記フレームが、前記利用者の前景に表示される前景画像と、前記利用者の背景に表示される背景画像とから構成される
    プログラム。
JP2019208080A 2019-11-18 2019-11-18 撮影装置、表示制御方法、およびプログラム Active JP7473778B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019208080A JP7473778B2 (ja) 2019-11-18 2019-11-18 撮影装置、表示制御方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019208080A JP7473778B2 (ja) 2019-11-18 2019-11-18 撮影装置、表示制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2021082916A JP2021082916A (ja) 2021-05-27
JP7473778B2 true JP7473778B2 (ja) 2024-04-24

Family

ID=75963308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019208080A Active JP7473778B2 (ja) 2019-11-18 2019-11-18 撮影装置、表示制御方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP7473778B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071717A (ja) 2007-09-14 2009-04-02 Fujifilm Corp 撮像装置及び合焦状態表示方法
JP2016006981A (ja) 2015-07-22 2016-01-14 辰巳電子工業株式会社 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP2019029810A (ja) 2017-07-28 2019-02-21 辰巳電子工業株式会社 画像処理装置及び画像処理方法
JP2019186903A (ja) 2018-04-11 2019-10-24 フリュー株式会社 写真作成ゲーム機、画像表示方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071717A (ja) 2007-09-14 2009-04-02 Fujifilm Corp 撮像装置及び合焦状態表示方法
JP2016006981A (ja) 2015-07-22 2016-01-14 辰巳電子工業株式会社 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP2019029810A (ja) 2017-07-28 2019-02-21 辰巳電子工業株式会社 画像処理装置及び画像処理方法
JP2019186903A (ja) 2018-04-11 2019-10-24 フリュー株式会社 写真作成ゲーム機、画像表示方法、およびプログラム

Also Published As

Publication number Publication date
JP2021082916A (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
US9699383B2 (en) Image processing apparatus having a first display unit displaying a course selection screen and a second display unit displaying an adjustment screen and an editing screen
JP5223349B2 (ja) ステップ、画像撮影装置
JP6503927B2 (ja) 画像撮影装置および画像撮影方法
JP5673883B1 (ja) 写真シール作成装置および写真シール作成方法
JP7473778B2 (ja) 撮影装置、表示制御方法、およびプログラム
JP5455309B2 (ja) 画像撮影装置、および情報処理方法
JP6179655B2 (ja) 写真撮影遊戯機、制御方法、並びにプログラム
JP6712047B2 (ja) 写真作成ゲーム機および画像生成方法
JP7132492B2 (ja) 画像処理装置、表示制御方法、およびプログラム
JP5790812B2 (ja) 写真シール作成装置および写真シール作成方法
JP2021129314A (ja) 表示制御装置、表示制御方法、プログラム
JP2021044734A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5223348B2 (ja) 画像撮影装置
JP2020098316A (ja) 撮影装置および制御方法
JP7295374B2 (ja) 情報処理装置
JP7319534B2 (ja) 撮影装置
JP7280478B2 (ja) 撮影装置および制御方法
JP7364866B2 (ja) 画像処理装置、編集装置
JP7406065B2 (ja) 撮影装置、撮影方法、およびプログラム
JP5970013B2 (ja) 写真シール作成装置および写真シール作成方法
JP7319535B2 (ja) 写真作成ゲーム機、制御方法、およびプログラム
JP6933799B2 (ja) 写真作成ゲーム機および撮影方法
JP2018201183A (ja) 写真作成ゲーム機、表示方法、およびプログラム
JP7290826B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7290827B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240325