JP4851985B2 - 画像表示方法、画像表示装置、画像出力装置及びコンピュータプログラム - Google Patents

画像表示方法、画像表示装置、画像出力装置及びコンピュータプログラム Download PDF

Info

Publication number
JP4851985B2
JP4851985B2 JP2007112372A JP2007112372A JP4851985B2 JP 4851985 B2 JP4851985 B2 JP 4851985B2 JP 2007112372 A JP2007112372 A JP 2007112372A JP 2007112372 A JP2007112372 A JP 2007112372A JP 4851985 B2 JP4851985 B2 JP 4851985B2
Authority
JP
Japan
Prior art keywords
image
display
captured
foreground
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007112372A
Other languages
English (en)
Other versions
JP2008271260A (ja
Inventor
真之 向井
克教 丸山
Original Assignee
株式会社メイクソフトウェア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メイクソフトウェア filed Critical 株式会社メイクソフトウェア
Priority to JP2007112372A priority Critical patent/JP4851985B2/ja
Publication of JP2008271260A publication Critical patent/JP2008271260A/ja
Application granted granted Critical
Publication of JP4851985B2 publication Critical patent/JP4851985B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Description

本発明は、ユーザを撮影して所定の用紙に印刷出力し、写真シールを提供する画像出力装置に関し、特に、そのような画像出力装置においてユーザが自身を撮影する際にポーズを確認するためのディスプレイでの演出効果を高めることができる画像表示方法、画像表示装置、画像出力装置及びコンピュータプログラムに関する。
ユーザを被写体としてカメラで写真撮影し、撮影した画像に対する編集を受け付け、編集された画像を所定の用紙に印刷して写真シールとして提供する画像出力装置、所謂プリクラ(登録商標)が広く知られている。
このような画像出力装置には、ユーザが自身を撮影する際にポーズを確認するためのディスプレイが備えられている。ユーザを被写体として写真撮影するカメラからリアルタイムに出力される撮影画像が映像としてディスプレイに表示され、ユーザはディスプレイに表示される自身を確認しながらポーズを決定することができる。このディスプレイに表示されるリアルタイムの映像を以下「ライブ」と称する。
また、画像出力装置では、カメラで写真撮影が実行されて得られた被写体を含む静止画像を取得して所定用紙等の媒体に出力するのみならず、取得した静止画像を予め用意してある装飾用画像と合成して出力することにより娯楽性を高めている。「ライブ」は出力結果のプレビューを確認するための映像であることから、カメラから出力される撮影画像に装飾用画像をリアルタイムに合成してディスプレイに「ライブ」として表示する場合もある(特許文献1、特許文献2)。
この場合、カメラから出力される撮影画像から被写体以外の部分を透明にする処理(クロマキー処理)を行なって装飾用の背景画像と合成することにより、被写体以外の領域は背景画像が透過されて表示されるようにし、更に演出効果を高めている。そのため、カメラの設置位置に対してユーザの後方に所謂クロマキーシートが配置されている。
特許文献1には、被写体を含む撮影画像と装飾用の動画像(前景画像)とをリアルタイムに合成して「ライブ」として表示する画像出力装置(写真プリント装置)の技術が開示されている。この場合、カメラによって写真撮影された静止画像と装飾用の動画像中の静止画像との合成結果を印刷出力することが可能であり、ユーザが「ライブ」を確認しつつ合成後の動画像から好みの画像を選択して印刷出力することができる。
また、特許文献2には、撮影画像よりも画像サイズが大きい画像を用意しておき、当該画像から任意の一部領域を背景画像とすることができ、用意しておく装飾用の画像数が少なくても前景/背景画像の選択肢を増やすことができる画像出力装置(写真プリント装置)の技術が開示されている。この場合、用意してある大きな画像から任意の一部領域の選択を受け付けることが可能なマップ画面が「ライブ」と共にディスプレイに表示されている。マップ画面から選択された領域に相当する画像が前景/背景画像として撮影画像と合成され、「ライブ」の表示に反映される。
特許文献1又は2に開示されているように、所謂プリクラである画像出力装置(写真プリント装置)ではディスプレイを使用し、被写体をリアルタイムに撮影している撮影画像と前景/背景画像とを合成して出力結果のイメージを「ライブ」として表示することができる。これにより、ユーザは出力結果のイメージをリアルタイムに確認しながら写真撮影することができるので、ユーザの満足度を向上させることができ、娯楽性も向上する。
特開2005−192048号公報 特開2004−64454号公報
なお、ディスプレイには「ライブ」の表示だけでなく、種々のインタフェースを持たせることで演出効果の向上、ユーザの利便性の向上が期待される。このため、ディスプレイにはタッチパネル式の液晶パネルが使用される場合がある。特許文献2に開示されている画像出力装置(写真プリント装置)が備えるディスプレイにも、「ライブ」の表示の他に前景/背景画像を選択するためのマップ画面、ボタン等の操作画面が表示されており、タッチペン等の入力インタフェースによって画面上の操作が可能である。
ディスプレイに複数の機能を実現する画面を夫々表示する場合、従来の技術では特許文献2に開示されているように、壁紙画像に対して複数の画面を配置し、その内の一を「ライブ」の表示画面として使用する構成としている。図15は、従来の技術により合成処理後の「ライブ」を表示した画面例を示す説明図である。図15中の90は壁紙画像であり、図15中の91は、「ライブ」の表示画面である。図15の説明図に示すように、従来の技術により「ライブ」の表示画面91をディスプレイに他の画面と共に表示する場合、撮影画像の輪郭によって「ライブ」の表示画面91と壁紙画像90との境界が明確な画面構成であった。
これは、撮影画像と背景画像との合成処理後の画像を他の画面と共に別途壁紙画像に重畳させて表示する構成で実現されていることから、合成後の撮影画像と壁紙画像とが空間的に非連続であることによる。図16は、従来の技術によりディスプレイにカメラから出力される撮影画像を表示する処理の概要を模式的に示す説明図である。図16の構成図に示すように、従来の技術により「ライブ」を表示する場合は、カメラから出力される動画像から、所定のレートで静止画像にキャプチャするキャプチャ処理と、キャプチャされた静止画像を夫々クロマキー処理するクロマキー処理と、クロマキー処理された静止画像(人物画像)を所定の前景/背景画像と合成する合成処理と、合成処理後の各画像を壁紙画像に重畳してディスプレイに出力する表示処理とにより実現されていた。図16の説明図に示すように透明化された撮影画像と前景/背景画像との合成処理を行なった後に、ディスプレイに重畳して出力する表示処理を行なうことによって実現していた。
このような構成から、ディスプレイに表示される「ライブ」の表示画面91は一の画面の枠内にベタに嵌めこまれたような画面構成で表示されていた。
しかしながら、ユーザはディスプレイに表示される画面を確認しながら撮影行為を行なう。従来から、ディスプレイに表示させる画面とスピーカから出力される音声とを連動させて演出を高めたり、ディスプレイの壁紙画像を動画像に設定する等の演出効果が試みられてきた。このように、ディスプレイの画面はユーザの種々の操作を受け付けるように利便性を鑑みて構成するのみならず、演出効果を高めてユーザが楽しみながら撮影を行なうことができるようにすることが重要である。
本発明は斯かる事情を鑑みてなされたものであり、撮影画像の被写体以外の領域と、背景画像における撮影画像の画面サイズ外の領域とが空間的に連続する画像として見えるような構成とすることにより、ディスプレイ全体に表示される被写体を含む画像の物語性を強くすることができ、撮影時のディスプレイによる演出効果を高めることができる画像表示方法、画像表示装置、画像出力装置及びコンピュータプログラムを提供することを目的とする。
また、本発明の目的は、被写体以外を透明化した撮影画像を、撮影画像よりも画面サイズの大きい背景画像に、合成処理を行なうことをせずに重畳してディスプレイに表示することにより、少ない負荷で被写体以外の画像が空間的に連続して見えるように表示することができ、撮影時のディスプレイによる演出効果を高めることができる画像表示方法、画像出力装置を提供することにある。
本発明の他の目的は、背景画像に重畳した場合に空間的に連続する画像となる前景画像を撮影画像に重畳して出力することにより、撮影時のディスプレイによる演出効果を更に高めることができる画像表示方法及び画像出力装置を提供することにある。
本発明の他の目的は、重畳する背景画像及び/又は前景画像を動画像とし、背景画像及び前景画像を動画像とする場合は夫々の動きを同期させることにより、撮影時のディスプレイによる演出効果を更に高めることができる画像表示方法を提供することにある。
本発明の他の目的は、所定の媒体に出力する際は、「ライブ」を表示する際の背景画像の内の重畳される領域に相当する出力用の背景画像と撮影画像とを合成して出力することにより、撮影時のディスプレイによる演出効果を高めつつ、且つ所定の媒体への出力結果がディスプレイの「ライブ」の表示におけるイメージを再現するようにすることができる画像出力装置を提供することにある。
発明に係る画像表示方法は、被写体を撮影し、撮影している画像を出力する撮影手段から得られる撮影画像と他の画像とを重畳して表示する画像表示方法において、前記撮像画像における被写体以外の領域の一部又は全部を透明化し、透明化した撮像画像を、該撮像画像よりも画面サイズが大きい背景画像に重畳し、前記背景画像と空間的に連続する前景画像を、前記背景画像と空間的に連続するように前記撮像画像に重畳し、前記背景画像、並びに重畳した撮像画像及び前景画像を表示することを特徴とする。
発明に係る画像表示方法は、前記前景画像は撮影画像の画面サイズと略同サイズであることを特徴とする。
発明に係る画像表示方法は、前記前景画像及び/又は背景画像は動画像であることを特徴とする。
発明に係る画像表示方法は、前記前景画像及び背景画像が動画像である場合、動きが同期するように表示することを特徴とする。
発明に係る画像表示方法は、前記背景画像における撮影画像の画面サイズ外の領域に、被写体のポーズ見本を表示することを特徴とする。
発明に係る画像表示装置は、被写体を撮影し、撮影している画像を出力する撮影手段と、該撮影手段から得られる撮影画像と他の画像とを重畳して出力する画像処理手段と、該画像処理手段により出力された画像を表示する表示手段とを備える画像表示装置において、前記画像処理手段は、前記撮影画像における被写体以外の領域の一部又は全部を透明化する手段と、透明化した撮像画像を、該撮像画像よりも画面サイズが大きい背景画像に重畳する手段と、前記背景画像と空間的に連続する前景画像を、前記背景画像と空間的に連続するように前記撮像画像に重畳する手段と、前記背景画像、並びに重畳した撮像画像及び前景画像を前記表示手段へ出力する手段とを備えることを特徴とする。
発明に係る画像出力装置は、被写体を撮影し、撮影している画像を出力する撮影手段と、該撮影手段から出力される撮影画像と他の画像とを重畳して出力する画像処理手段と、画像処理手段により出力された画像を表示する表示手段と、前記撮影画像を他の画像と合成する合成手段と、合成された画像を所定の媒体に出力する手段とを備える画像出力装置において、前記画像処理手段は、前記撮影画像における被写体以外の領域の一部又は全部を透明化する手段と、透明化した撮像画像を、該撮像画像よりも画面サイズが大きい背景画像に重畳する手段と、前記背景画像と空間的に連続する前景画像を、前記背景画像と空間的に連続するように前記撮像画像に重畳する手段と、前記背景画像、並びに重畳した撮像画像及び前景画像を前記表示手段へ出力する手段とを備えることを特徴とする。
発明に係る画像出力装置は、前記合成手段は、前記他の画像として前記撮影画像と略同サイズであり前記背景画像の内の撮影画像が重畳される領域の画像に相当する出力用背景画像を用い、透明化された撮影画像を重畳して合成するようにしてあることを特徴とする。
発明に係るコンピュータプログラムは、被写体を撮影し、撮影している画像を出力する撮影手段と、画像を表示する表示手段と、所定の媒体に画像を出力する出力手段とを備えるコンピュータを、前記撮影手段から出力される撮影画像における被写体以外の領域の一部又は全部を透明化する手段、透明化された撮影画像と他の画像を重畳する画像処理手段、及び透明化された撮影画像を他の画像と合成する手段として機能させ、透明化された撮影画像を合成して前記出力手段により出力させると共に、前記撮影手段により撮影されている画像を前記表示手段に表示させるコンピュータプログラムにおいて、コンピュータに、前記画像処理手段により、被写体以外の領域の一部又は全部を透明化した撮像画像を、該撮像画像よりも画面サイズが大きい背景画像に重畳すると共に、前記背景画像と空間的に連続する前景画像を、前記背景画像と空間的に連続するように前記撮像画像に重畳するステップと、前記背景画像、並びに重畳した撮像画像及び前景画像を前記表示手段に表示するステップを実行させることを特徴とする。
本発明では、撮影手段により撮影されている画像が表示手段に表示される場合、撮影画像は、画面サイズがより大きい背景画像に重畳されて表示され、且つ、撮影画像の被写体以外の領域と背景画像の撮影画像が重畳されていない領域とで空間的に連続するように画像が表示される。
本発明では、撮影手段により撮影されている画像が表示手段に表示される場合、撮影画像における被写体以外の領域の一部又は全部が透明化された後、撮影画像よりも画面サイズが大きい背景画像に重畳されて表示される。これにより、撮影画像の画面サイズ範囲内で背面の画像が透過されて表示される領域と、撮影画像の画面サイズの外の領域とが空間的に連続する1つの画像として視認される。この場合、撮影画像と背景画像との合成処理は行なわれない。
本発明では、撮影画像の被写体の領域に重畳する前景画像も背景画像と空間的に連続する画像として視認されるので、被写体が前景画像に覆われても被写体以外の領域では全体として空間的に連続する画像として視認される。
本発明では、撮影画像に重畳される前景画像は撮影画像と略同サイズであるので、重畳する表示処理が容易となる。
本発明では、撮影画像の被写体の領域以外の空間的に連続する前景画像及び/又は背景画像は動画像でもよい。前景画像及び背景画像が両者とも動画像である場合、同期して動き、時間が経過しても夫々の時点で被写体の領域以外の画像は空間的に連続する画像として視認される。
本発明では、撮影画像の画面サイズ外の領域には被写体のポーズ見本が表示され、ポーズのイメージの想起が容易になる。
本発明では、出力用の背景画像は表示する際の背景画像の内の撮影画像が重畳される領域の画像に相当する。出力時には背景画像から撮影画像の背景となる画像を切り出す処理を行なうことなく予め対応する画像を合成する処理が可能になる。
本発明による場合、撮影手段が撮影している撮影画像即ち「ライブ」を表示するディスプレイには、嵌めこみ枠を意識させることなく大きな1つの背景画像内に被写体が表示され、背景画像のテーマをダイナミックに表現することができる。これにより、ディスプレイに表示される画面から斬新な印象を与えることができる。また、ユーザは、自身が撮影されている撮影画像以外の背景画像を含む画像全体を見ながら大きな動きでポーズをとることができ、撮影ポーズの表現力をより豊かに発揮することができる。さらに、撮影画像外の全体的な画像によって物語性が高まることによりユーザはポーズをとり易くなり、物語性の高い画像を撮影することができるので、ユーザの満足度を向上させることが期待できる。物語性の高い写真を撮影することができることにより、ユーザは撮影後に撮影画像を編集する際も文字入れ、落書き等をポーズのテーマを踏まえて楽しむことができる。また、従来のように壁紙画像を演出用に別途用意せずとも、背景画像のバリエーションで演出が可能である。
なお、本発明による場合、撮影画像の被写体以外の領域と、背景画像の領域とが空間的に連続する1つの画像として視認されるように表示できるのであれば、従来の技術のように背景画像との合成処理を行なってもよい。合成画像の背景画像に相当する画像と、従来の技術の壁紙画像とが空間的に連続する1つの画像として視認することが可能に表示されていてもよい。
本発明による場合、合成処理を行なうことなしに「ライブ」の表示画面をディスプレイに表示することが可能である。本発明のように比較的画面サイズの大きな背景画像に撮影画像を透明化処理して重畳する処理を、従来の技術のように合成処理によって実現する場合、撮影画像の大きさを背景画像の大きさに適合するようにし、更にカメラから撮影される画像をキャプチャする際も背景画像の大きさに適合するように実行しなければならない。この場合、各処理の負荷が大きくなり、フレーム落ちのような不具合が発生する原因となる。これに対して本発明による場合は、撮影画像を表示手段に表示する際に合成処理を行なわないので、このような処理の負荷を考慮することなしに、演出効果を高めることができる。
本発明による場合は更に、被写体を前景画像及び背景画像の間に挟むように表示し、場合によっては前景画像の一部が透明で被写体が透過表示されるようにすることもできる。これにより、被写体が1つの画像の中に登場するように効果的に表示することができ、ディスプレイ全体で表現される画像の物語性が高められ、演出効果を更に高めることができる。
本発明による場合、被写体に重畳される前景画像の画面サイズは撮影画像と略同サイズである。これにより、重畳処理による負荷が軽減される。したがって、他の演出効果にハードウェア資源を割り当て、全体として更に演出効果を高めることが可能になる。
本発明による場合、前景画像及び/又は背景画像は動画像でもよく、いずれも動画像である場合はその動きが同期されて表示される。したがって、ユーザはディスプレイに表示されている登場人物として、一体として動く背景画像及び前景画像の間で動きのあるポーズをとることができる。このように、動画像を使用することにより、ディスプレイでの撮影時の演出効果を更に高めることができる。
本発明による場合、撮影画像の画面サイズ外の背景画像にポーズ見本が表示される。ユーザは、ディスプレイに表示されている画面全体から想起される物語性に応じて自身のポーズをとり易くなる。
さらに、本発明による場合、所定の媒体に出力する際は、「ライブ」を表示する際の背景画像の内の撮影画像が重畳される領域の画像に相当する出力用の背景画像を使用して合成する。これにより、表示の際の処理の負荷を低減させて撮影時の演出効果を高めつつ、且つ出力結果が「ライブ」の表示画面でのイメージをより忠実に再現するようにすることができる。
なお本発明による場合、背景画像に対して撮影画像を重畳する位置を変更可能に構成してもよい。この場合、撮影のタイミングにおいて背景画像中の重畳されている領域の画像に相当する画像を取得し、当該画像を背景画像にして合成し出力する構成でもよい。
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。以下の説明では、ユーザを写真撮影し、撮影した画像に基づいて写真シールを出力する画像出力装置を例に説明する。画像出力装置には、ユーザが撮影する際に自身のポーズを確認するためのディスプレイが備えられている。本発明に係る画像表示方法は、この画像出力装置のディスプレイにおける画像の表示に関するものである。
図1及び図2は、本実施の形態における画像出力装置の外観を示す斜視図である。画像出力装置は全体として略直方体形状のボックス型の装置であり、鉛直方向に略半分に分けるように仕切りが設けられている。画像出力装置は、この仕切りによって撮影空間R1及び編集空間R2に分けられている。図1は主に画像出力装置の撮影空間R1側から観た外観斜視図を示しており、図2は主に編集空間R2側から観た画像出力装置の外観斜視図を示している。
図1の斜視図に示すように、撮影空間R1は略直方体をなすフレームに囲まれた空間である。撮影空間R1は、ユーザからの料金の投入を受け付け、ユーザの写真撮影を実行するための空間である。撮影空間R1には、所定料金を受け付ける受付部1が外側に設けられており、また、編集空間R2との仕切りに相当する内部壁面にはユーザを撮影するためのカメラ21、ディスプレイ22等の機器を含む撮影部2が設けられている。
受付部1には、硬貨の投入を受け付けるコイン投入口10と、コイン投入口10から投入される硬貨の真偽を判定するコインセレクタ11と、投入された硬貨の総額又は投入残額等の各種情報を表示するための表示パネル12とが含まれる。コインセレクタ11は、コイン投入口10から投入される硬貨の真偽を判定して判定信号を送出する。コインセレクタ11は、硬貨が偽と判定された場合、又は硬貨を受け付けないように設定されている間、図示しないコイン返却口へ硬貨を吐き出す。表示パネル12は、液晶パネル、セグメントLED等からなり、制御信号を受け付けてコインの投入を促す案内、投入すべき料金、投入総額、残額、又は他のユーザが撮影中でありコインの投入を受け付けていない旨の案内等を表示する。
受付部1に含まれている表示パネル12及びコインセレクタ11は、後述する第1筐体の内部に収納された制御機構に接続されており、制御機構との間で判定信号、制御信号等を送受信する。
ユーザは、受付部1のコイン投入口10から所定料金に相当する硬貨を投入することにより、画像出力装置によるサービスを受けることができる。
撮影空間R1の内部、即ち撮影ブース内部には、撮影部2を構成する各機器が設置されている。撮影ブース内部の編集空間R2との空間を仕切る壁面の下部には、各機器を制御する制御機構を収納した第1筐体20が設置されている。第1筐体20の上方であって、立った状態のユーザの略目線の高さの位置にカメラ21が設置されている。カメラ21の下方には、カメラ21から出力される映像信号に基づく「ライブ」を表示し、且つユーザの操作を受け付けるタッチパネル式のディスプレイ22が設定されている。また、カメラ21及びディスプレイ22を囲むように被写体に光を照射するストロボ・ランプ23が設置されている。また、第1筐体20上部には音楽、案内音声を出力するスピーカ24,24が設置されている。
撮影部2を構成するカメラ21、ディスプレイ22、ストロボ・ランプ23及びスピーカ24,24は夫々、第1筐体20の内部に設置されている制御機構に夫々接続されている。
カメラ21は、ユーザを被写体として撮影するため、内部にレンズ群、絞り、シャッター、CCD(Charge Coupled Device)等の撮像素子を含むデジタルカメラである。カメラ21は、タイマー機能によりシャッターが動作して撮像素子から静止画像を取得し記憶することにより写真撮影を実行する。また、カメラ21は起動している間、撮像素子から出力されるデジタル化された映像信号を制御機構へ出力している。制御機構からは、この映像信号に基づく「ライブ」表示用の撮影画像が出力される。
ディスプレイ22は撮影中の操作を案内する操作画面と「ライブ」とを表示するための液晶パネルを有し、カメラ21からリアルタイムに出力される映像信号に基づいて制御機構から出力されている画像を受け付けて表示する。また、ディスプレイ22はタッチパネル式であり、ユーザによってタッチされた箇所の画面上の位置の情報を含む信号が制御機構へ出力される。
ストロボ・ランプ23は、撮影ブース内の照明機器であると共に、写真撮影時にはフラッシュとして機能する。なお、本実施の形態ではストロボ・ランプ23は図に示すように7つに分けられており、制御機構に含まれる制御基盤を介して夫々の発光のタイミングがカメラ21による写真撮影(シャッターの動作)に同期して制御される。
撮影ブースの外周は遮光性を有するシート材(図示せず)によって覆われている。このシート材によって外部からの光が遮断され、且つ外部からの覗き見を防止することができ、さらにユーザが撮影ブース内で自由にポーズをとることができるプライベート空間が実現される。
また、撮影ブース内側から見たシート材は均等な色調及び明度となるようにしてある。カメラ21から観た場合にユーザの後方がシート材の均等な色調及び明度となるので、後述にて説明するようにユーザが写っている領域以外を透明化するクロマキー処理が可能になる。
ユーザは撮影ブース内に入り、ディスプレイ22に表示される案内及びスピーカ24,24から出力される案内音声に従い操作画面を操作し、ストロボ・ランプ23からの照明を受けてポーズを決め、カメラ21による写真撮影を実行することができる。まず、ユーザはタッチパネル式のディスプレイ22に表示される操作画面から、前景画像及び/又は背景画像を選択することができる。ユーザが前景画像及び/又は背景画像を選択した場合、ディスプレイ22には、カメラ21から制御機構を介してリアルタイムに出力されている画像、即ちカメラ21から出力されている撮影画像、選択された前景画像及び/又は背景画像に基づく印刷結果のプレビューに相当する「ライブ」が表示される。
本実施の形態では「ライブ」が表示される際、制御機構はカメラ21から出力されている映像信号から静止画像を撮影画像として所定のレートで取得し、取得した撮影画像の内の被写体(ユーザ)を認識し、被写体が写っている領域以外を透明化するクロマキー処理を行なう。制御機構により、クロマキー処理を行なった後の撮影画像と選択されている前景画像及び/又は背景画像とが重畳されて「ライブ」が表示される。ユーザは「ライブ」を確認しながらポーズを決め、写真撮影を実行することができる。
写真撮影が実行された場合、制御機構はカメラ21で記憶された静止画像を取得し、選択されている前景画像及び/又は背景画像と対応付けて記憶しておき、後にユーザによる編集操作を受け付ける。
次に図2の斜視図に示す編集空間R2に設置されている各構成部について説明する。編集空間R2は、上述の撮影空間R1の内部のカメラ21、ディスプレイ22、ストロボ・ランプ23、スピーカ24,24及び第1筐体20が設置されていた壁面の裏側の空間であり、ユーザが写真撮影を実行した後に画像の編集をすることができる空間である。図2に示す編集空間R2は撮影空間R1の上面から延設されているバーに取り付けられたカーテン状のシート材(図示せず)によって他の空間から仕切られる。そして編集空間R2には、以下に示す各構成部を内外に備える略直方体の第2筐体30が設置されている。
第2筐体30の一側面は撮影空間R1との仕切りである壁面に接しており、他の三側面の内の対向する面には夫々、写真撮影された画像及びその他の画像を編集するためのインタフェースを備える第1編集部4a及び第2編集部4bが設けられている。他の一の側面には編集された画像を所定の写真シール用紙に印刷出力する印刷部5が設けられている。また、第2筐体30の内部には、第1編集部4a、第2編集部4b及び印刷部5の各構成部を制御する制御機構が設置されている。
なお、第1筐体20及び第2筐体30の相互に接している面は夫々が有する開口部(図示せず)を介して内部が連通しており、第1筐体20の内部に設置されている撮影部2の制御機構と、第2筐体30の内部に設置されている第1編集部4a、第2編集部4b及び印刷部5の制御機構とは、複数のケーブル類によって接続されている。
第1編集部4aには夫々、写真撮影された画像及び他の画像を編集するための操作画面を表示するタブレットディスプレイ40aと、2つのタッチペン41a,42aと、スピーカ43aとが含まれる。第2編集部4bにもタブレットディスプレイ40bと、2つのタッチペン41b,42bと、スピーカ43bとが含まれている。第1編集部4a及び第2編集部4b夫々のタブレットディスプレイ40a,40b、2つのタッチペン41a,42a,41b,42b、及びスピーカ43a,43bは夫々、第2筐体30の対向する面に向かい合うように設置されている。また、タブレットディスプレイ40a,40b、タッチペン41a,42a,41b,42b及びスピーカ43a,43bは第2筐体30の内部の制御機構に接続されている。
印刷部5には、第2筐体30の内部に設置されており画像を所定の用紙に印刷するプリンタ50と、印刷された用紙がプリンタから吐き出されるシール吐出口51と、各種情報を表示する表示パネル52とが含まれる。表示パネル52は第2筐体30の内部に設置された制御機構に接続されており、プリンタ50も第2筐体30の内部で制御機構に接続されている。
ユーザは、撮影ブース内で撮影部2により撮影を完了した後、第1編集部4a又は第2編集部4bにより印刷する画像の選択、選択した画像に対する落書き等の作業が可能である。第1編集部4a又は第2編集部4b夫々のタブレットディスプレイ40a,40bには、写真撮影が実行されたことによって取得された画像がクロマキー処理され、選択された前景画像及び/又は背景画像と共に表示される。タブレットディスプレイ40a,40bは、共に設置されているタッチペン41a,42a,41b,42bによる操作を受け付けるようにしてあり、ユーザはタッチペン41a,42a,41b,42bにより印刷する画像の選択及び選択した画像への文字、スタンプ状の絵柄の挿入の操作が可能である。
ユーザによる編集が完了した場合、制御機構により編集結果に基づいて写真撮影された画像が前景画像及び/又は背景画像と合成され、合成された後の画像が第2筐体30内部に設置されているプリンタ50によって所定の用紙に印刷される。印刷された所定の用紙は写真シールとしてシール吐出口51に吐き出される。ユーザは、シール吐出口51から完成した写真シールを取得することができ、これにより写真シールの撮影提供サービスが実現する。
図3及び図4は、本実施の形態に係る画像出力装置の構成を模式的に示すブロック図である。図3は、主に以下に説明する制御部6、電源部7、通信部8及び受付部1の構成を示し、図4は、撮影部2、第1編集部4a、第2編集部4b及び印刷部5の構成を示している。図3及び図4に示すように画像出力装置は、各構成部を制御する制御部6と、AC電源から電力を供給する電源部7と、インターネット等の外部ネットワークNへ通信が可能な通信部8と、上述のコイン投入口10、コインセレクタ11及び表示パネル12を含む受付部1と、カメラ21、ディスプレイ22、ストロボ・ランプ23及びスピーカ24,24を含む撮影部2と、タブレットディスプレイ40a、2つのタッチペン41a,42a及びスピーカ43aを含む第1編集部4aと、タブレットディスプレイ40b、2つのタッチペン41b,42b及びスピーカ43bを含む第2編集部4bと、プリンタ50、シール吐出口51及び表示パネル52を含む印刷部5と、各部を接続するバス9とにより構成される。なお、制御部6、電源部7、通信部8及びバス9が、第1筐体20及び第2筐体30の内部に設置された制御機構に対応する。
受付部1、撮影部2、第1編集部4a、第2編集部4b及び印刷部5を夫々構成する各ハードウェアは、上述のように、画像出力装置のユーザによる操作が可能なように撮影空間R1、編集空間R2に設置されており、第1筐体20及び第2筐体30内部に設置されている制御機構内のバス9に接続されている。これに対し制御部6、電源部7及び通信部8は第1筐体20及び第2筐体30の内部に設置されている制御機構内に含まれており、制御機構内に配されたバス9に接続されている。
制御機構は、第1筐体20及び第2筐体30の内部に設置された1〜3台のパーソナルコンピュータ(PC:Personal Computer)と、上述の受付部1、撮影部2、第1編集部4a、第2編集部4b及び印刷部5を構成する各ハードウェアをPCから制御するための制御基盤とを含んで構成される。なお、複数のPCは夫々、その制御対象によって機能が分割される。例えば、撮影空間R1の受付部1を制御するPCと、撮影部2を制御するPCと、第1編集部4a及び第2編集部4bを制御するPCと機能が分割されて夫々が動作するように構成される。しかしながら、ここでは説明を簡易にするために仮想的に一のPCの動作によって各構成部が制御されるとして以下に説明する。
制御部6にはPCに備えられた、各構成部のハードウェアを制御するCPU60と、CPU60の動作により発生する情報を一時的に記憶するDRAM(Dynamic Random Access Memory)等のメモリ61と、各種データを記憶するHDD(Hard Disk Drive)62と、撮影部2のカメラ21から出力された映像信号から静止画像を撮影画像としてキャプチャし、クロマキー処理を実行するためのキャプチャ・クロマキーボード63とが含まれる。
CPU60は、HDD62に記憶されている後述の制御プログラム6Pを読み出して実行することにより、受付部1のコインセレクタ11からの判定信号を受け付け、受け付けた判定信号に応じて表示パネル12へ制御信号を送出し、所定料金の受け付けを実現する。またCPU60は、撮影部2のカメラ21による撮影と、ストロボ・ランプ23との動作を同期させる制御を行ない、カメラ21によって写真撮影されて記憶された画像の取得、さらに、カメラ21から出力される映像信号をキャプチャ・クロマキーボード63を介して表示用の撮影画像として取得し、ディスプレイ22に表示する制御を行なう等の各種制御を実行する。
HDD62には、CPU60が各構成部のハードウェアを制御するための制御プログラム6Pが記憶されている。CPU60がHDD62から制御プログラム6Pをメモリ61に読み出して実行することにより、各ハードウェアの制御及び種々のソフトウェア機能が実現される。なお、制御プログラム6Pは、CPUが制御プログラム6Pを読み出して実行することにより、写真撮影されてクロマキー処理された画像を他の画像と合成する手段及びディスプレイ22における画像の表示を制御する手段として機能するように、合成処理部64及び表示処理部65を含んで構成される。
また、HDD62には、制御プログラム6Pの他に、写真撮影された画像と合成するための前景/背景画像、撮影部2のディスプレイ22に撮影画像と共に表示するための前景/背景画像が記憶されている。HDD62に記憶されている前景/背景画像については後述にて具体例を挙げて説明する。
HDD62には更に、撮影部2のディスプレイ22に表示される操作画面に用いられる各画像、第1及び第2編集部4a,4bのタブレットディスプレイ40a,40bに表示される編集画面に用いられる画像、テキストファイル、スピーカ24,24,43a,43bに出力する案内音声などの音声データ等のデータが記憶されている。また、HDD62には、ユーザが写真撮影を実行したことでCPU60によりカメラ21から取得された画像、前景画像及び/又は背景画像と合成処理が実行されることで得られる合成画像及び編集処理によって得られる編集画像が記憶される。
キャプチャ・クロマキーボード63は、受け付けた映像信号から例えば毎秒30枚の静止画像を取得して出力するキャプチャ機能と、キャプチャされた各静止画像から所定の色調及び明度の画素を認識し、一定の範囲内で同一の色調及び明度の画素に対してα値(透明度)を設定することにより透明化し出力するクロマキー機能とを有するハードウェアである。キャプチャ・クロマキーボード63は、カメラ21から出力される映像信号を受け付けるように接続されている。また、クロマキー処理された後の静止画像は、キャプチャ・クロマキーボード63に内臓される図示しないメモリに書き込まれる。CPU60は当該メモリから静止画像を撮影画像として読み出し、ディスプレイ22に表示する表示処理を実行する。
また、キャプチャ・クロマキーボード63は、ドライバソフトにより毎秒取得する静止画像の枚数、及び透明化する所定の色調及び明度、例えばRGB値の設定が可能である。CPU60は、カメラ21によって撮影される画像の内のユーザの後方に位置するシート材が写っている領域の色調及び明度を透明化するように指示する。これにより、キャプチャ・クロマキーボード63から得られる撮影画像は、シート材が写っている領域にα値が設定された画像となり、被写体であるユーザ以外が透明な人物画像となる。また、ドライバソフトにより、映像信号から静止画像がキャプチャされ更にクロマキー処理が実行される都度、CPU60へ通知がされるので、CPU60はそのタイミングでキャプチャ・クロマキーボード63に内蔵されるメモリからクロマキー処理後の撮影画像を取得することができる。
なお、本実施の形態ではカメラ21から出力される映像信号に基づいて「ライブ」を表示するためのキャプチャ・クロマキー処理をキャプチャ・クロマキーボード63によって実現する構成とするが、ソフトウェアによって実現する構成でもよい。CPU60は、写真撮影によってカメラ21から取得した画像に対するクロマキー処理についてはソフトウェアにより実行する。
電源部7は、PCのみならず各構成部へのAC電源からの電力の供給を実現する。画像出力装置には、電源を投入する電源スイッチ(図示せず)が設けられており、電源部7に接続されている。電源部7は電源スイッチのオン/オフを検知し、画像出力装置の稼動/動作を切り替える。なお、電源部7はUPS(Uninterruptible Power Supply:無停電電源装置)ユニット70を含んで構成される。UPSユニット70により、AC電源からの電力が突然遮断された場合でも、各構成部へのダメージを減らすことができる。電源スイッチがオフに切り替えられた場合、UPSユニット70は停電信号をCPU60へ出力し、CPU60は停電信号を検知したときの所定の終了処理を行ない画像出力装置全体の電源をオフにする。
通信部8は、PHSユニット80により構成され、制御部6(CPU60)に内部バス9を介して接続されている。PHSユニット80は、インターネット等の外部ネットワークNに接続してデータの送受信を実現する。CPU60は、通信部8のPHSユニット80を介して外部ネットワークN上の他の装置と通信してデータの送受信が可能である。本実施の形態における画像出力装置では、CPU60はユーザの名前、メールアドレス等の識別情報又は送信先のURLと共に、撮影して編集した後の画像を外部ネットワークNに接続している他のサーバ装置へ送信する機能を有している。この機能により、ユーザがサーバ装置から自身が撮影して編集した画像を携帯電話機又は自宅のPCにより閲覧することができるサービス、及び携帯電話機又はPCへダウンロードすることができるサービスが実現可能である。
ここで、HDD62に記憶してある前景/背景画像について説明する。図5は、本実施の形態における画像出力装置が備えるHDD62に記憶されている前景/背景画像の内容例を示す説明図である。図5(a)は、ディスプレイ22に表示するための前景画像であり、28aで示している領域の色が透明に設定されている。図5(b)は、ディスプレイ22に表示するための背景画像である。破線で囲まれている領域は、撮影画像が重畳される領域を示している。図5(b)に示すように、背景画像の画面サイズは重畳される撮影画像の画面サイズよりも大きい。図5(b)に示す背景画像に図5(a)に示す前景画像を重畳して表示した場合、図5(b)の背景画像に表現されている「ベッドに置かれている枕」の領域が図5(a)の前景画像の内の28aで示される透明色に設定されている領域を透過して表示され、一枚の「天蓋付きのベッド」の画像のように見える。
図5(c)は、プリンタ50で印刷出力する際に、写真撮影された画像と合成するための前景画像であり、28bで示している領域の色が透明に設定されている。図5(d)は印刷出力する際に写真撮影された画像と合成するための背景画像である。このように本実施の形態ではディスプレイ22で表示するための前景/背景画像と、印刷出力する際に写真撮影された画像と合成するための前景/背景画像とを夫々別に用意してある。図5(c)(d)に示すように、印刷出力する際に使用する前景/背景画像は写真撮影される画像と画面サイズがほぼ同サイズである。図5(d)に示す背景画像に図5(c)に示す前景画像を重畳して表示した場合も図5(a)及び図5(b)と同様に、図5(d)の背景画像に表現されている「ベッドに置かれている枕」の領域が図5(c)の前景画像の内の28bで示される透明色に設定されている領域を透過して表示される。
HDD62には、図5の説明図に示したようなディスプレイ22に表示するための前景/背景画像及び印刷出力する際に写真撮影された画像と合成するための前景/背景画像が対応付けられて記憶してある。なお、テーマと対応付けられて記憶してある構成でもよい。ユーザからのテーマの選択を受け付け、選択されたテーマに対応付けられている表示するための前景/背景画像、及び合成するための前景/背景画像をHDD62から読み出して、表示処理及び合成処理を行なうようにする。なお、「ライブ」の表示画面に撮影画像の画像サイズに相当する枠を表示するために「枠」の画像を別途記憶しておいてもよい。
また、図5の説明図に示したHDD62に記憶される、ディスプレイ22に表示するための前景/背景画像と、印刷出力する際に写真撮影された画像と合成するための前景/背景画像とは、夫々静止画像とは限らない。前景画像及び背景画像は、両方又はいずれかが複数のフレームを有する動画像であってもよい。静止画像である背景画像に動画像である前景画像が重畳されて1つの画像として視認されるような画像でもよいし、動画像である背景画像に静止画像である前景画像が重畳される構成でもよい。両方が動画像である場合は動きが同期されるようにフレーム群が構成されるようにしておくことが望ましい。写真撮影された画像と合成するための前景/背景画像が動画像である場合は、写真撮影が実行された時点でディスプレイ22に表示されたフレームに対応する前景/背景画像と合成できるように制御されてもよい。
なお、本実施の形態で図5の説明図に示したように、テーマ毎にデザインされた前景/背景画像が、ディスプレイ22に表示するための前景/背景画像と、印刷出力する際に写真撮影された画像と合成するための前景/背景画像とに別々に用意されているのは、以下の理由による。ディスプレイ22に表示する際の背景画像と、プリンタ50で印刷出力する際に合成するための背景画像とでは、夫々の解像度が異なるため、適した解像度で各画像を用意しておくことが望ましい。ディスプレイ22に表示する際の背景画像から相当する領域を切り出して編集のためのタブレットディスプレイ40a,40bへの表示、プリンタ50における印刷に用いた場合、夫々の解像度が異なるために拡大、縮小が必要となり画質が劣化するからである。
また、図5の説明図に示すように、ディスプレイ22に表示する際の前景画像は撮影画像の画面サイズと略同サイズである。前景画像に含まれる画像が撮影画像の画面サイズよりも外側に空間的に連続する場合であっても、前景画像は、撮影画像の画面の大きさに切り取られた画像に相当している。これは、CPU60が表示処理部65として機能し、背景画像、撮影画像、前景画像の順に画像を重畳する際、前景画像のデザインによって重畳する位置が異なるのでは処理が煩雑になるからである。前景画像を撮影画像の画面サイズと略同サイズにしておくことにより、表示処理部65として機能する際の負荷が低減される効果を奏する。
このように構成される画像出力装置で、ユーザが写真プリントの提供サービスを受ける場合に、CPU60により実行される一通りの処理について説明する。図6及び図7は、本実施の形態における制御部6のCPU60が写真撮影、編集、印刷を実行する処理手順を示すフローチャートである。
CPU60は、受付部1のコインセレクタ11から出力される真偽の判定信号を受け付けてコイン投入口10から所定料金を満たす硬貨が投入されたか否かを判断する(ステップS101)。CPU60は、所定料金を満たす硬貨が投入されていないと判断した場合(S101:NO)、処理をステップS101へ戻して所定料金を満たす硬貨が投入されたと判断するまで待機する。なお、この間CPU60は、表示パネル12に投入済みの硬貨の総額を表示させるように制御信号を表示パネル12へ出力する。
CPU60は、ステップS101において所定料金を満たす硬貨が投入されたと判断した場合(S101:YES)、表示パネル12に案内情報を表示し、スピーカから案内音声を出力し(ステップS102)、ユーザに撮影ブース内に入るように促す。これにより、写真プリントサービスの提供が開始される。
CPU60は、撮影部2のディスプレイ22に前景画像及び/又は背景画像の選択を受け付けるための操作画面を表示する(ステップS103)。このとき、前景画像及び/又は背景画像はテーマ毎に対応付けられており、ユーザはテーマを選択することができる。CPU60は、ステップS103で表示した操作画面を介して前景画像及び/又は背景画像が選択されたか否かを判断する(ステップS104)。
CPU60は、前景画像及び/又は背景画像が選択されていないと判断した場合(S104:NO)、処理をステップS104へ戻し、前景画像及び/又は背景画像が選択されたと判断するまで待機する。CPU60は、前景画像及び/又は背景画像が選択されたと判断した場合(S104:YES)、シャッターを動作させるためのカウントを開始する(ステップS105)。このときCPU60は、秒数をカウントする。ディスプレイ22に残り時間(秒)を表示し、残り時間を読み上げる音声をスピーカ24,24から出力してもよい。
CPU60は、ステップS105においてカウントを開始すると共に、カメラ21から出力されている映像信号に基づく撮影画像を、表示用の前景画像及び/又は背景画像と共に「ライブ」としてディスプレイ22に表示する(ステップS106)。なお、この際の表示処理については後述にて詳細を説明する。
次にCPU60は、ステップS105で開始したカウントが所定の回数、即ち所定時間を経過してカウントアップされたか否かを判断する(ステップS107)。CPU60は、カウントアップされていないと判断した場合(S107:NO)、処理をステップS107へ戻してカウントアップされたと判断するまで待機する。
CPU60は、カウントアップされたと判断した場合(S107:YES)、カメラ21のシャッターを動作させて写真撮影を実行する(ステップS108)。CPU60は、シャッターが動作されて写真撮影された画像をカメラ21から取得し、選択された前景画像及び/又は背景画像と関連付けてメモリ61に保存する(ステップS109)。なおこのときCPU60は、ディスプレイ22に、写真撮影された時点の撮影画像を選択された前景画像及び/又は背景画像と共に表示する(ステップS110)。
CPU60は、所定の回数の写真撮影が終了したか(シャッターが動作したか)否かを判断する(ステップS111)。本実施の形態では、画像出力装置では一回の写真プリントサービス提供で例えば6回の写真撮影が可能であり、後に編集する際に6回の写真撮影から得られた6枚の画像から選択が可能な構成とする。
CPU60は、所定の回数の写真撮影が終了していないと判断した場合(S111:NO)、処理をステップS104へ戻して前景画像及び/又は背景画像の選択を受け付け、以降の処理を繰り返す。
CPU60は、所定の回数の写真撮影が終了したと判断した場合(S111:YES)、ディスプレイ22に案内情報を表示し、スピーカ24,24によって案内音声を出力する(ステップS112)。これにより、ユーザに編集空間R2への移動を促す。
次にCPU60は、第1編集部4a又は第2編集部4bのタブレットディスプレイ40a,40bに操作画面を表示し、スピーカ43a,43bから編集操作の案内音声を出力する(ステップS113)。このとき操作画面には、複数回写真撮影されてカメラ21から取得してある画像をクロマキー処理し、関連付けられている前景画像及び/又は背景画像と共に表示し、いずれの画像を印刷し編集対象とするかの選択を受け付けるようにしてある。CPU60は、編集対象の画像が選択されたか否かを判断し(ステップS114)、編集対象の画像が選択されていないと判断した場合は(S114:NO)、処理をステップS114へ戻して編集対象の画像が選択されたと判断するまで待機する。
CPU60は、編集対象の画像が選択されたと判断した場合は(S114:YES)、選択された編集対象の画像、即ち写真撮影された画像、前景画像及び/又は背景画像をタブレットディスプレイ40a,40bの操作画面に表示し(ステップS115)、編集処理を受け付ける(ステップS116)。
次にCPU60は、編集完了を指示する操作がされたか否かにより編集が完了したか否かを判断し(ステップS117)、編集が完了していないと判断した場合は(S117:NO)、処理をステップS117へ戻して編集が完了したと判断するまで待機する。
CPU60は、編集が完了したと判断した場合は(S117:YES)、編集処理を反映して写真撮影された画像、背景画像及び/又は前景画像と、編集結果の文字、その他の画像とに対し合成処理を実行して合成画像を生成する(ステップS118)。CPU60は、生成された合成画像を操作画面に表示して印刷レイアウトの選択を受け付け(ステップS119)、選択された印刷レイアウトに基づいて印刷画像を生成する(ステップS120)。CPU60は、生成した印刷画像を印刷部5のプリンタ50へ出力して印刷出力を指示し(ステップS121)、印刷が完了したか否かを判断し(ステップS122)、印刷が完了していないと判断した場合は(S122:NO)、処理をステップS122へ戻して印刷が完了したと判断するまで待機する。
CPU60は、プリンタ50における印刷が完了したと判断した場合は(S122:YES)、印刷が完了した旨を示す案内表示を印刷部5の表示パネル52、第1編集部4a又は第2編集部4bのタブレットディスプレイ40a,40bに表示し、スピーカ43a,43bから案内音声を出力し(ステップS123)、処理を終了する。
このとき、印刷された写真シールがシール吐出口51に排出されているので、ユーザは自身が撮影された写真シールを取得することができる。このように、写真プリントサービスの提供が実現される。
次に、図6及び図7のフローチャートで示したCPUの処理手順の内の、撮影部2のディスプレイ22に「ライブ」を表示する処理(ステップS106)について詳細を説明する。図8は、本実施の形態における制御部6のCPU60が、ディスプレイ22に「ライブ」を表示する処理手順を示すフローチャートである。
CPU60は、図6及び図7のフローチャートに示したステップS105の処理によってカウントを開始した場合、カメラ21から出力された映像信号が制御部6のキャプチャ・クロマキーボード63に入力され、キャプチャ・クロマキーボード63における処理によりキャプチャされて且つクロマキー処理された撮影画像を取得する(ステップS21)。CPU60は、表示処理部65として機能することにより、取得した撮影画像を、選択されている背景画像に重畳する(ステップS22)。このとき、前景画像も選択されている場合は、取得した撮影画像に更に前景画像を重畳する。
CPU60は、表示処理部65として機能することにより、重畳した画像をディスプレイ22へ出力し(ステップS23)、ステップS21へ処理を戻し、キャプチャ・クロマキーボード63における処理により得られる撮影画像の取得、前景画像及び/又は背景画像との重畳及びディスプレイ22への出力処理を繰り返し実行する。図8のフローチャートに示す処理は、図6及び図7のフローチャートに示す処理手順の内のステップS107においてCPU60によってカウントアップされたと判断され、カウントアップされたことがCPU60自身に通知されるまで「ライブ」がディスプレイ22に表示されている間、繰り返し実行される。
なお、図6及び図7のフローチャートに示した処理手順の内の一部は、CPU60によって並行して実行することが可能である。撮影部2に関する処理、即ちステップS101からステップS112までの処理は、ハードウェアが一の画像出力装置に対して単数しか用意されていないので平行して実行することはできないが、ステップS101からステップS112までの処理を実行してステップS113以降の処理を実行すると共に、ステップS101からの処理を改めて開始することができる。これにより、前のユーザが編集処理を行っている間に次のユーザは写真撮影を実行することができる。また、ステップS113からステップS123までの処理の内、プリンタ50による印刷処理以外は第1編集部4a及び第2編集部4b夫々を構成するハードウェア夫々によって並行して処理が可能である。これにより、ユーザは撮影後、前のユーザの編集作業を長時間待たされることがない。
図9は、本実施の形態においてディスプレイ22に「ライブ」表示がされる際の処理の概要を模式的に示す説明図である。従来の技術により「ライブ」をディスプレイ22に表示する際の処理の概要を模式的に示した図16に対応する。
図9に示すように、本発明による場合は、カメラにより撮影されて出力されている映像信号に基づいてキャプチャ・クロマキーボード63により所定のレート(毎秒30フレーム)でキャプチャするキャプチャ処理が行なわれ、静止画像である撮影画像25が得られる。キャプチャされた撮影画像25は同じくキャプチャ・クロマキーボード63によって人物(ユーザ)以外の領域が透明化されるクロマキー処理が行なわれる。また、クロマキー処理された撮影画像(人物画像)26はCPU60の表示処理部64としての機能により背景画像27と重畳され、場合によっては撮影画像26に前景画像28が重畳されてディスプレイ22に出力する表示処理が行なわれる。これにより、「ライブ」表示が実現される。
図16に示す従来の技術の処理の概要と比較して分かるように、本発明による場合は撮影画像26と前景/背景画像27,28との合成処理を行なわず、単純にディスプレイ22へ重畳して出力する簡易な構成によって実現される。これにより、背景画像27を大きな1つの画像として表示し、人物以外の領域が空間的に連続する1つの画像として視認できるような「ライブ」表示を実現することができ、斬新な印象を与えることができる。さらに、前景/背景画像27,28以外に他の画像を重畳したい場合であっても、CPU60が表示処理部65の機能により複数の画像を重畳してディスプレイ22に出力する構成により、容易に実現可能である。
図10は、本実施の形態におけるCPU60が表示処理部65として機能することにより重畳される背景画像27、撮影画像26及び前景画像28の関係を示す説明図である。なお、図10に示す説明図の前景/背景画像27,28は、図5の説明図に示した表示用の前景/背景画像27,28に対応する。
CPU60が表示処理部65として機能することにより、背景画像27、撮影画像26及び前景画像28は夫々、各レイヤ上のオブジェクトとして取り扱われ、レイヤの順序が設定されることにより画像の重なりの順序が制御される。より背面に設定されるレイヤ上の画像がより前面に設定されるレイヤ上の画像により遮蔽されて表示されるようにすることが可能である。図10に示すようにCPU60は、背景画像27を配置するレイヤを最背面のレイヤに設定し、撮影画像26を配置するレイヤを背景画像27のレイヤよりも前面のレイヤに設定し、更に前景画像28を配置するレイヤを最前面のレイヤに設定してディスプレイ22へ出力する。
これにより、より前面のレイヤ上に配置されている撮影画像26及び前景画像28の内の、透明色に設定されている領域で、背面のレイヤに配置されている画像が透過されて表示される。
なお、CPU60が表示処理部65として機能することにより、撮影画像26、前景画像28を配置する位置を、背景画像27に対応させて変更することも容易に可能である。図10の説明図では、背景画像27と前景画像28とが空間的に連続するように構成されているので前景画像28の位置をずらした場合問題になるが、背景画像27のみである場合、前景画像28がいずれの場所に配置されても空間的に連続するように見えることに問題がない場合等であれば、撮影画像26及び前景画像28の表示位置を変更してもよい。ただしこの場合、印刷出力用の画像は予めHDD62に保存してある画像ではなく、シャッター動作時に、背景画像27から撮影画像26が配置されている領域に相当する画像を用いる等の工夫が必要となる。
また、前景画像28及び背景画像27が動画像である場合、CPU60は表示処理部65として機能することにより、夫々の動画像が同期するように出力する。前景画像28及び背景画像27が動画像である場合、夫々の動きが同期するように各フレームが構成されているので表示するタイミングを合わせて出力する。これにより、「ライブ」の表示画面の演出効果を更に高めることができる。
なお、前景画像を配置するレイヤよりも更に前面にレイヤを設け、最前面のレイヤにタッチパネルによる操作を受け付けるオブジェクトを配置する構成でもよい。また、前景/背景画像を配置するレイヤは夫々、複数のレイヤによって構成され、表示の優先度がより高いオブジェクトが配置されるレイヤがより前面に設定されるようにしてもよい。
次に、図8及び図9に示した処理によってディスプレイ22に実際に表示される「ライブ」の画面例について説明する。図11、図12及び図13は、本実施の形態における撮影部2のディスプレイ22に表示される「ライブ」表示の画面例を示す説明図である。なお、図11、図12及び図13の説明図に示される画面例で表示される前景/背景画像は、図5の説明図に示した前景/背景画像が選択された場合に対応する。
図11は、撮影画像の画像サイズに相当する枠を表示した場合の例を示す。画像サイズに相当する枠から写らない範囲にユーザが移動した場合は、「ライブ」の表示画面からユーザが消える。図12は、図11に対し画像サイズに相当する枠を表示しない場合の例を示す。この場合も画像サイズに相当する範囲から外にユーザが移動した場合は「ライブ」画面からユーザが消える。図13は、図11に対しポーズ見本29a及び過去に撮影した画像29bを更に表示した場合の例を示す。
図11、図12及び図13の説明図に示す例ではいずれも、ディスプレイ22の画面サイズとほぼ等しい背景画像内の略中央に、背景画像の面積の3分の1以下の面積を占めるようにクロマキー処理された撮影画像が重畳されている。撮影画像はクロマキー処理されているので、ユーザが写っている範囲以外は背景画像が透過表示されている。したがって、ユーザの写っている範囲以外は前景画像が表示されていても、1つの画像のように空間的に連続する画像が表示される。リアルタイムに出力される撮影画像に対してクロマキー処理が行なわれて重畳されているので、ユーザが動いて透明化される領域が変わり、背景画像の内の透過表示される領域も変化する。ユーザが動くことにより、ユーザに隠れて表示されていなかった背景画像の内の一部分も表示される。
図11、図12及び図13の説明図に示すように、撮影画像よりも大きな背景画像に、クロマキー処理された撮影画像を重畳して表示した場合、撮影画像に含まれるユーザは、背景画像の中に登場する人物のように表現される。図11、図12及び図13の説明図に示した具体例では、「お姫様」を想起させるような天蓋付きのベッドを背景画像とし、ベッドカバーを前景画像としている。これにより、被写体であるユーザは「ライブ」の表示画面に「お姫様のようなベッドの中にいる人」として写る。ユーザは自身が「ライブ」の表示画面に写っている様子に基づいてポーズを決めることができることから、本具体例では、女性である二人のユーザが「寝る」ポーズをとっている。これにより、「ライブ」の表示画面には「お姫様のようなベッドに眠る二人の女の子」というような物語性が表される。
従来の技術により合成処理後の撮影画像を「ライブ」の表示画面に表示する場合(図15参照)と比較して、本発明による場合、背景画像及び前景画像は単にユーザの装飾画像としてではなく、ユーザのポーズの物語性をさらに高める要素となる。ユーザは「ライブ」画面を見ながら前景/背景画像から想起されるイメージに合わせてポーズをとる楽しさを体験することができ、撮影された結果にもそれに合わせた落書きやメッセージを追加するなど、娯楽性を向上させることができる。
なお、本実施の形態の画像出力装置の撮影ブース内に、ユーザが多様なポーズで撮影を実行することができるように踏み台、バーなどが設置されている場合、これらを利用してポーズをとることにより、例えば背景画像内に描かれた虹の上にユーザが座っているように見えるポーズが可能になる。このように本発明による場合、謂わば「ライブ」の表示画面に表示される背景画像上の仮想空間において様々なポーズで撮影し、写真シールに印刷して仲間と共有することによる楽しさを味わうことができるなど、画像出力装置としての娯楽性が高められ優れた効果を奏す。
なお、図12の説明図に示されるように、画像サイズに相当する枠を表示しない場合、ユーザに「ライブ」の表示画面から自身が消える驚き感、面白みを更に与えることができる。また、図13の説明図に示されるように、背景画像の撮影画像の範囲外の位置に、背景画像に応じたポーズ見本29aを表示した場合、ユーザはその見本を参考にポーズをイメージすることができる。
最後に、撮影された画像にユーザが文字、スタンプ等の絵柄を書き加えることができる編集処理について説明する。図14は、本実施の形態における画像出力装置の第1編集部4a及び第2編集部4bのタブレットディスプレイ40a,40bに表示される編集画面例を示す説明図である。図14の説明図に示すように、編集画面にはユーザが写っている画像が表示されている。なお、図14の説明図に示すように、編集画面は左右二つに分けられており、1つのタブレットディスプレイ40a(40b)に対応する二つのタッチペン41a,42a(41b,42b)を用い、2人のユーザが夫々同時に画像の編集作業を行うことが可能である。
また、図14の説明図に示すように、編集画面には編集のための各種操作を行なうための操作画面が表示されている。なお、このような操作画面はより前面のレイヤに配置されて表示されている。操作画面は落書きするためのペン、スタンプ、定型文字、顔文字、フレーム(額縁イメージ)、消しゴム等のインタフェースが選択できるように構成されている。ユーザはタブレットディスプレイ40a,40bに夫々付属している2本のタッチペン41a,42a,41b,42bの内のいずれかにより、操作画面からインタフェースを選択し、選択したインタフェースによって落書きを実行することが可能である。
また、本発明では、図14に示すように「ライブ」画面上に表わされるイメージに基づいて決定したポーズにあわせた「おやすみなさぁい」等のメッセージを追加することにより、写真撮影時のポーズに連想されるイメージをさらに演出するような文字、スタンプ、絵柄等を追加する楽しみを味わうことができる。
編集処理を受け付けている間のタブレットディスプレイ40a,40bへの表示の際も、CPU60により、図10に示したように各レイヤが重畳されて出力される表示処理が実行されている。タブレットディスプレイ40a,40bへの表示の際は、背景画像が配置されているレイヤと写真撮影された画像が配置されているレイヤとの間、及び写真撮影された画像が配置されているレイヤと前景画像が配置されているレイヤとの間にも、他のスタンプ、ブラシ、ペン、テキスト等によるオブジェクトが配置されるレイヤが挿入され、これらを編集することが可能である。編集処理が完了したことをCPU60が検知するまで合成処理は行なわれない。
このように、本発明による場合は、ディスプレイ22の「ライブ」の表示画面において、撮影画像よりも画面サイズが大きい背景画像に、ユーザが写っている領域以外がクロマキー処理された撮影画像が重畳されて表示されることにより、ユーザに斬新な印象を与え、撮影画像のはめ込み枠を意識させることなく背景画像のテーマをダイナミックに表現することができる。これにより、ユーザは背景画像全体を見ながら大きな動きでポーズをとることができ、表現力をより豊かに発揮して楽しむことができる。さらに、物語性の高い画像を撮影することができるので、撮影後もその物語性、ポーズのテーマに応じたメッセージ等を想起して文字入れ、落書きを楽しむことができる。
なお、本実施の形態では、撮影画像に対して人物以外の領域を透明化するクロマキー処理を行なった後、その処理後の撮影画像を一の背景画像に重畳して出力する構成とした。しかしながら、撮影画像の人物以外の領域と、背景画像の領域とが空間的に連続する一の画像としてユーザから認識されるように表示できれば、従来の技術のように背景画像との合成処理を行なってから表示処理を実行してもよい。即ち、合成画像の背景画像に相当する画像と、従来の技術の壁紙画像とが空間的に連続する一の画像として認識可能に表示されていてもよい。背景画像が静止画像であれば、画像のずれなどの問題発生の可能性は低いからである。また、本発明の範囲は本実施の形態に限定されるものではないことは勿論である。
本実施の形態における画像出力装置の外観を示す斜視図である。 本実施の形態における画像出力装置の外観を示す斜視図である。 本実施の形態に係る画像出力装置の構成を模式的に示すブロック図である。 本実施の形態に係る画像出力装置の構成を模式的に示すブロック図である。 本実施の形態における画像出力装置が備えるHDDに記憶されている前景/背景画像の内容例を示す説明図である。 本実施の形態における制御部のCPUが写真撮影、編集、印刷を実行する処理手順を示すフローチャートである。 本実施の形態における制御部のCPUが写真撮影、編集、印刷を実行する処理手順を示すフローチャートである。 本実施の形態における制御部のCPUが、ディスプレイに「ライブ」を表示する処理手順を示すフローチャートである。 本実施の形態においてディスプレイに「ライブ」表示がされる際の処理の概要を模式的に示す説明図である。 本実施の形態におけるCPUが表示処理部として機能することにより重畳される背景画像、撮影画像及び前景画像の関係を示す説明図である。 本実施の形態における撮影部のディスプレイに表示される「ライブ」表示の画面例を示す説明図である。 本実施の形態における撮影部のディスプレイに表示される「ライブ」表示の画面例を示す説明図である。 本実施の形態における撮影部のディスプレイに表示される「ライブ」表示の画面例を示す説明図である。 本実施の形態における画像出力装置の第1編集部及び第2編集部のタブレットディスプレイに表示される編集画面例を示す説明図である。 従来の技術により合成処理後の「ライブ」を表示した画面例を示す説明図である。 従来の技術によりディスプレイにカメラから出力される撮影画像を表示する処理の概要を模式的に示す説明図である。
符号の説明
2 撮影部
21 カメラ
22 ディスプレイ
5 印刷部
50 プリンタ
6 制御部
60 CPU
62 HDD
63 キャプチャ・クロマキーボード
64 合成処理部
65 表示処理部

Claims (9)

  1. 被写体を撮影し、撮影している画像を出力する撮影手段から得られる撮影画像と他の画像とを重畳して表示する画像表示方法において、
    前記撮像画像における被写体以外の領域の一部又は全部を透明化し、
    透明化した撮像画像を、該撮像画像よりも画面サイズが大きい背景画像に重畳し、
    前記背景画像と空間的に連続する前景画像を、前記背景画像と空間的に連続するように前記撮像画像に重畳し、
    前記背景画像、並びに重畳した撮像画像及び前景画像を表示する
    ことを特徴とする画像表示方法。
  2. 前記前景画像は撮影画像の画面サイズと略同サイズである
    ことを特徴とする請求項に記載の画像表示方法。
  3. 前記前景画像及び/又は背景画像は動画像である
    ことを特徴とする請求項1又は2に記載の画像表示方法。
  4. 前記前景画像及び背景画像が動画像である場合、動きが同期するように表示する
    ことを特徴とする請求項に記載の画像表示方法。
  5. 前記背景画像における撮影画像の画面サイズ外の領域に、被写体のポーズ見本を表示する
    ことを特徴とする請求項1乃至のいずれかに記載の画像表示方法。
  6. 被写体を撮影し、撮影している画像を出力する撮影手段と、該撮影手段から得られる撮影画像と他の画像とを重畳して出力する画像処理手段と、該画像処理手段により出力された画像を表示する表示手段とを備える画像表示装置において、
    前記画像処理手段は、
    前記撮影画像における被写体以外の領域の一部又は全部を透明化する手段と、
    透明化した撮像画像を、該撮像画像よりも画面サイズが大きい背景画像に重畳する手段と、
    前記背景画像と空間的に連続する前景画像を、前記背景画像と空間的に連続するように前記撮像画像に重畳する手段と、
    前記背景画像、並びに重畳した撮像画像及び前景画像を前記表示手段へ出力する手段と
    を備えることを特徴とする画像表示装置。
  7. 被写体を撮影し、撮影している画像を出力する撮影手段と、該撮影手段から出力される撮影画像と他の画像とを重畳して出力する画像処理手段と、画像処理手段により出力された画像を表示する表示手段と、前記撮影画像を他の画像と合成する合成手段と、合成された画像を所定の媒体に出力する手段とを備える画像出力装置において、
    前記画像処理手段は、
    前記撮影画像における被写体以外の領域の一部又は全部を透明化する手段と、
    透明化した撮像画像を、該撮像画像よりも画面サイズが大きい背景画像に重畳する手段と、
    前記背景画像と空間的に連続する前景画像を、前記背景画像と空間的に連続するように前記撮像画像に重畳する手段と、
    前記背景画像、並びに重畳した撮像画像及び前景画像を前記表示手段へ出力する手段と
    を備えることを特徴とする画像出力装置。
  8. 前記合成手段は、前記他の画像として前記撮影画像と略同サイズであり前記背景画像の内の撮影画像が重畳される領域の画像に相当する出力用背景画像を用い、透明化された撮影画像を重畳して合成するようにしてあること
    を特徴とする請求項に記載の画像出力装置。
  9. 被写体を撮影し、撮影している画像を出力する撮影手段と、画像を表示する表示手段と、所定の媒体に画像を出力する出力手段とを備えるコンピュータを、前記撮影手段から出力される撮影画像における被写体以外の領域の一部又は全部を透明化する手段、透明化された撮影画像と他の画像を重畳する画像処理手段、及び透明化された撮影画像を他の画像と合成する手段として機能させ、透明化された撮影画像を合成して前記出力手段により出力させると共に、前記撮影手段により撮影されている画像を前記表示手段に表示させるコンピュータプログラムにおいて、
    コンピュータに、
    前記画像処理手段により、被写体以外の領域の一部又は全部を透明化した撮像画像を、該撮像画像よりも画面サイズが大きい背景画像に重畳すると共に、前記背景画像と空間的に連続する前景画像を、前記背景画像と空間的に連続するように前記撮像画像に重畳するステップと、
    前記背景画像、並びに重畳した撮像画像及び前景画像を前記表示手段に表示するステップ
    を実行させることを特徴とするコンピュータプログラム。
JP2007112372A 2007-04-20 2007-04-20 画像表示方法、画像表示装置、画像出力装置及びコンピュータプログラム Active JP4851985B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007112372A JP4851985B2 (ja) 2007-04-20 2007-04-20 画像表示方法、画像表示装置、画像出力装置及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007112372A JP4851985B2 (ja) 2007-04-20 2007-04-20 画像表示方法、画像表示装置、画像出力装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2008271260A JP2008271260A (ja) 2008-11-06
JP4851985B2 true JP4851985B2 (ja) 2012-01-11

Family

ID=40050168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007112372A Active JP4851985B2 (ja) 2007-04-20 2007-04-20 画像表示方法、画像表示装置、画像出力装置及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP4851985B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5565640B2 (ja) * 2012-02-09 2014-08-06 フリュー株式会社 写真シール作成装置および方法、並びにプログラム
JP6202560B2 (ja) * 2013-08-16 2017-09-27 株式会社メイクソフトウェア 写真撮影遊戯装置、写真シール作成装置、写真撮影遊戯装置の制御方法、及び写真撮影遊戯装置の制御プログラム
JP6618764B2 (ja) * 2015-10-26 2019-12-11 加賀デバイス株式会社 写真撮影遊戯機

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000287127A (ja) * 1999-03-31 2000-10-13 Hitachi Software Eng Co Ltd 画像合成装置
JP2003348388A (ja) * 2002-05-22 2003-12-05 Yappa Corp 3dコマーシャルビデオ制作システム
JP4452086B2 (ja) * 2004-02-02 2010-04-21 辰巳電子工業株式会社 自動写真作成装置および自動写真作成方法
JP2006262328A (ja) * 2005-03-18 2006-09-28 Hitachi Software Eng Co Ltd 画像プリント装置およびその画像処理方法

Also Published As

Publication number Publication date
JP2008271260A (ja) 2008-11-06

Similar Documents

Publication Publication Date Title
JP2008158389A (ja) 写真シート作成方法および写真シート作成装置
JP2007240887A (ja) 自動写真撮影装置及びその方法
JP5802911B2 (ja) 写真撮影遊戯機
JP2006262328A (ja) 画像プリント装置およびその画像処理方法
JP4851985B2 (ja) 画像表示方法、画像表示装置、画像出力装置及びコンピュータプログラム
JP6614644B2 (ja) 写真撮影遊戯装置、写真シール作成装置、写真撮影遊戯装置の制御方法、及び写真撮影遊戯装置の制御プログラム
JP5041246B2 (ja) 写真シール作成装置および方法、並びに、プログラム
JP2009083457A (ja) 写真シール作成方法および写真シール作成装置
JP2004320091A (ja) 写真プリント提供装置および方法ならびにプログラム
JP2001100305A (ja) 写真自販機
JP2004357018A (ja) 写真自動販売機および写真自動販売機における写真の提供方法
JP5076911B2 (ja) 画像撮影編集装置および方法、並びにプログラム
JP2007241199A (ja) 自動写真撮影装置及びその方法
JP5870431B2 (ja) 写真撮影遊戯機及びその制御プログラム
JP2005176207A (ja) 写真プリント提供装置、写真プリント提供方法、写真プリント提供プログラムおよび印刷媒体
JP6820478B2 (ja) 画像撮影装置
JP5895394B2 (ja) 遊戯用撮影装置、遊戯用撮影方法、および遊戯用撮影プログラム
JP3043855U (ja) デジタル写真自販機
JP5854333B2 (ja) 画像出力装置
JP2015130589A (ja) 画像編集装置、画像編集方法、及び制御プログラム
JP6028246B2 (ja) 写真撮影遊戯機
JP5776031B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2004320077A (ja) 写真プリント提供装置および方法ならびにプリント用紙ユニット
JP2009164904A (ja) 写真シール作成装置および方法、並びにプログラム
JP3051933U (ja) 電子写真自販機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111021

R150 Certificate of patent or registration of utility model

Ref document number: 4851985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141028

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250